Status melding gesloten.

Alle post-checks zijn succesvol afgerond en sinds 12:43 CET is HA hersteld en draait het desbetreffende storage cluster weer redundant mee als onderdeel van ons IAAS Platform. Hiermee sluit ook dit communicatie kanaal.
Mochten er vragen zijn n.a.v. deze verstoring kunt u contact opnemen met support@previder.nl of bellen naar 088 33 23 355
Nogmaals onze oprechte excuses voor de onverwachte impact en de verlengde hersteltijd.

Hardware vervanging is zojuist afgerond.
Unit wordt nu geboot voor post-checks.
Aansluitend starten de acties voor het herstellen van de clusterconfiguratie.
Monitoring van de actieve node toont geen alarmen.

De engineer vanuit de leverancier is on site.
Voorbereidende werkzaamheden voor hardware vervanging zijn gestart.
Updates volgen zo spoedig mogelijk.

Verwachte aankomsttijd van de engineer 11:00 uur CET.
Aansluitend zal in samenspraak met de leverancier de hardware vervanging uitgevoerd worden. Bij een succesvolle systeemtest zal vervolgens de redundantie in het cluster hersteld worden.

Op dit moment wachten wij nog op de engineer en de vervangende onderdelen.
Er is contact geweest met de leverancier met het verzoek om een ETA af te geven.

Uit verder onderzoek is gebleken dat er meer defect is dan in eerste instantie vastgesteld.
In samenspraak met de leverancier is zojuist besloten om de aanvullende hardware componenten te gaan vervangen.
Het streven is om deze hardware vervanging voor de reguliere kantoortijden uit te voeren.
Ondertussen is een ander team bij de leverancier de onverwachte verstoring van de actieve node aan het onderzoeken.
Previder heeft de hiervoor de gevraagde en beschikbare informatie aangeleverd.

Het team is weer terug in de situatie zoals bij aanvang van de herstelwerkzaamheden.
Hetgeen betekent dat de storage node met hardware issues nog niet is hersteld.
Er is wederom een call opgezet met de leverancier voor verder onderzoek.
Mogelijk dat er meer aan de hand is dan in de vooravond van 2 maart jl. is vastgesteld.
Wanneer er meer bekend is, volgt een update.

Sneller dan verwacht zijn de vervangende onderdelen ontvangen zodat gestart kon worden met de herstelwerkzaamheden.
Tijdens deze werkzaamheden aan de defecte storage node is de actieve storage node door een vooralsnog onverklaarbare reden kortstondig offline gegaan. Hierbij hebben Premium en/of Performance/Express VM's / STAAS omgevingen in PDC2 mogelijk impact ondervonden.
Ondanks de spijtige samenkomst van omstandigheden heeft het team de volumes in relatief korte tijd weer online gekregen.
Het kan echter zijn dat VM's van de eerder genoemde typen een herstart hebben gehad of dat door het wegvallen van het STAAS volume, deze niet meer beschikbaar is binnen uw VM of omgeving.
Op dit moment worden er controles uitgevoerd, waarmee ook direct de impact van dit incident voor zover als mogelijk in kaart wordt gebracht.
Wanneer u één van eerder genoemde VM-typen of STAAS afneemt, dan adviseren wij u een controle uit te voeren.
Indien noodzakelijk verzoeken wij u uw VM te herstarten.

Ondertussen is vastgesteld welke onderdelen vervangen dienen te worden.
Deze onderdelen worden nu verzameld en afgestuurd.
ETA in de vroege ochtend van 3 maart.
We doen ons uiterste best om de hardware replacement incl. de benodigde controles voor productie uren afgerond te hebben.

In de afgelopen uren is er meermaals contact geweest met de leverancier.
Mede hierdoor is nu duidelijk in welk component het hardware defect zich voordoet.
Het aankomende uur verwachten we helderheid te krijgen welke onderdelen van dit component vervangen dienen te worden.

Kort na het plaatsen van deze melding is de oorzaak gevonden. Er is een failover geinitieerd waarna het platform stabiliseerde. De oorzaak van de verstoring betreft hardware failure. De leverancier is opgeschaald voor het uitvoeren van de benodigde herstel acties.

Op dit moment kunt u traagheid ervaren binnen het Previder IAAS platform.
De oorzaak hiervan is op dit moment nog niet bekend maar heeft onze volle aandacht. Updates volgen zsm.