Disaster Recovery

Dutch language haystack
User avatar
Rasta
Gold Member
Posts: 1479
Joined: 07 Oct 2011, 15:16

Disaster Recovery

Post by Rasta »

Nou dat was schrikken. Server opeens weg, en provider die de server ook niet meer kan vinden. In het datacenter blijkt een voeding van de server uitgebrand. Na het vervangen werkt het nog steeds niet, processor stuk. Daarna moet infrastructuur moet ook vervangen worden. En dan is het weekend. Geen response, geen status update, onbereikbaar en server nog steeds down.

Het duurde even, maar we draaien nu Disaster Recovery, op een tijdelijke Virtuele Machine van een andere hoster (uiteraard). Het kan daarom zijn dat de site (iets of behoorlijk?) trager is dan gewend.

Het plan is om maandag de status te evalueren, en dan misschien terug te keren afhankelijk van hoe (of) dat het wordt opgelost naar tevredenheid.

En voor de oplettende poster: we zijn wat data kwijt vanaf de laatste offsite backup: dat is donderdag ochtend vroeg ergens 3 uur. Dat is het bijkomende effect van een behoorlijke disaster.

Excuses voor het ongemak.

Image
power supply stuk: check

ImageImage

chips en processor stuk: check

Image
server uitgebrand: onbekend
Eventually there will be an awakening, a balancing of the scales and a bill to be paid, and for that I hold gold - Jim Sinclair
User avatar
Rasta
Gold Member
Posts: 1479
Joined: 07 Oct 2011, 15:16

Re: Disaster Recovery

Post by Rasta »

Tussenstand: 96 uur zonder werkende server, met zo'n beetje alles vervangen behalve harde schijf, en nog steeds niet werkend. Waarom ze het niet ompluggen in een werkende server is mij een raadsel, maar het wordt dus steeds waarschijnlijker dat we definitief niet terugkeren naar de oude hoster. Deze maakt er een potje van. Ik neem wel even de tijd om een oplossing te kiezen waar - mochten we weer tegen een soortgelijk scenario aanlopen - de oplossing wat minder tijd en frustratie kost.
Eventually there will be an awakening, a balancing of the scales and a bill to be paid, and for that I hold gold - Jim Sinclair
User avatar
Indiana Jones
Freegold Member
Posts: 4765
Joined: 05 Oct 2011, 16:00
Contact:

Re: Disaster Recovery

Post by Indiana Jones »

Veel succes en HEEL VEEL DANK voor al je inspanningen.

grtz. Indy
Everything that needs to be said has already been said.
But since no one was listening, everything must be said again.
User avatar
Spruitje
Freegold Member
Posts: 2579
Joined: 19 Oct 2011, 01:34

Re: Disaster Recovery

Post by Spruitje »

Inderdaad, het werk achter de schermen wordt niet altijd gezien of gewaardeerd. Bedankt Rasta, je bent onze rots in de branding!
Succes!
Study while others are sleeping; work while others are loafing; prepare while others are playing; and dream while others are wishing.
- William Arthur Ward -
Adamus
Gold Member
Posts: 1495
Joined: 06 Oct 2011, 08:29

Re: Disaster Recovery

Post by Adamus »

Spruitje wrote:Inderdaad, het werk achter de schermen wordt niet altijd gezien of gewaardeerd. Bedankt Rasta, je bent onze rots in de branding!
Succes!
Laten we nimmer vergeten waar we vandaan komen :D we waren al eerder dakloos.
User avatar
Rasta
Gold Member
Posts: 1479
Joined: 07 Oct 2011, 15:16

Re: Disaster Recovery

Post by Rasta »

Hoe een ogenschijnlijk eenvoudige taak extreem gecompliceerd kan worden.

De oude server was inderdaad volledig in de vernieling. Na overplaatsing in een ander rack - nadat alle componenten al waren vervangen - bleken ook de harde schijven niet meer consistent. Gelukkig waren we al eerder verder gegaan met de offsite backup, het was maar zeer de vraag in hoeverre er nog data terug te halen viel.

Nu heeft de hoster in het huidige contract maar een andere machine toegewezen. De machine was uiteraard de verkeerde, met inferieure specificaties. Na aandringen de goede gekregen, maar die blijkt uitgerekend nu onbereikbaar. En, jawel, het is weer weekend dus doen ze er niets aan.

Kan allemaal gebeuren, maar meestal volgt een aaneenschakeling van gebeurtenissen, waarbij alle kleine fouten cumulatief werken, en het eind resultaat een niet werkende service is. Tot zover de oude hoster.

De nieuwe hoster is een interim oplossing (een VPS). Zo uitgezocht omdat het snel moest. In de tussentijd al een vastloper gehad, wat correct was opgelost, zonder een aanwijsbare reden waarom hij vastgelopen was. Daarnet (17.00 uur) zag ik dat hij weer offline was. Uitgevonden dat de hoster vond dat de betaling niet gedaan was. Enigszins vreemd, aangezien hij de week ervoor gekocht was. En zo'n machine wordt niet opgezet zonder betaling. Na een tijdje in de online chat (hier werken ze wel in het weekend!) uitgevonden dat het een administratieve fout was. Niet leuk, maar goed kan gebeuren.

Het gekke is dus dat er wel degelijk voor betaald wordt, het is dus niet zo dat het een "bijna gratis" service is. En dat daarbij de nieuwe hoster (en oude ook trouwens) uitgekozen is na zorgvuldige bestudering van reviews. Dat dat niet alles zegt blijkt weer als je ze echt nodig hebt, iets wat meestal niet uit de reviews blijkt.

Aan een definitieve oplossing wordt nog gewerkt. Dit zal niet zoveel anders zijn dan wat het was, maar dan bij een andere provider, en een fallback scenario waar minder verlies van data is, en minder downtime is voorzien.
Eventually there will be an awakening, a balancing of the scales and a bill to be paid, and for that I hold gold - Jim Sinclair
User avatar
Rasta
Gold Member
Posts: 1479
Joined: 07 Oct 2011, 15:16

Re: Disaster Recovery

Post by Rasta »

Nog maar even een update. De originele hoster heeft het nu voor elkaar, na twee weken staat er een vervangende server klaar. Ik ben echter al afgehaakt, en heb ze gevraagd om de resterende huurperiode te restitueren. Hebben ze toegezegd, maar nog even zien of ze het ook doen. Intussen al een alternatieve hoster gevonden, alhoewel de huidige hoster het allerminst slecht vanaf brengt.

Wat leren we van het geheel? Nou trek de parallel eens naar "de echte wereld" waar wij ons op focussen, vanuit het perspectief van de gewone man. Wie gaat er nu uit van een complete verandering van het systeem? Maar enkelen. En als het besef er dan is, wat moet je eigenlijk doen? Kijk, ik had wel een off-site backup voor het geval dat, maar geen plannen klaar voor als het noodlot toeslaat. Want wie verwacht dat nu op een 6 maanden oude server, compleet redundant uitgevoerd? Onprettig, maar geen groot drama, als je die off-site backup hebt. Maar hoeveel hebben er nu een off-site backup, compleet getest op validiteit? Dus de lijn doortrekken: de grote menigte gaat zoiezo geschoren worden, want die gaan paniekeren, en doen dan het verkeerde. Maar ook van diegenen die er al half rekening mee houden, gaan er nog wel wat geschoren worden.

Plan for the worst, hope for the best.

En wat er gaat komen: ik plan een nieuwe server die dan ingericht moet worden, waarna er een korte migratie volgt. Dit zou binnen een week of twee moeten gebeuren. Geen rocketscience, want dit hebben we al een aantal keren gedaan.
Eventually there will be an awakening, a balancing of the scales and a bill to be paid, and for that I hold gold - Jim Sinclair
User avatar
doubleyou
Gold Member
Posts: 1685
Joined: 05 Oct 2011, 22:25

Re: Disaster Recovery

Post by doubleyou »

Rasta, hoed af voor je aanpak en voor je aftoetsing die je maakt in je vorige post. Klasse.

Heb zelf weinig gemerkt van heel dit "disaster", maar ben de laatste tijd slechts sporadisch langsgeweest. Daar komt wel weer eens verandering in, en bij gelegenheid zal ik wel terug wat actiever worden, als er "nieuws" is...
"Feeling good, safe and prepared for the future with my own created Central Bank" (doubleyou)
Adamus
Gold Member
Posts: 1495
Joined: 06 Oct 2011, 08:29

Re: Disaster Recovery

Post by Adamus »

Rasta wrote:Nog maar even een update. De originele hoster heeft het nu voor elkaar, na twee weken staat er een vervangende server klaar. Ik ben echter al afgehaakt, en heb ze gevraagd om de resterende huurperiode te restitueren. Hebben ze toegezegd, maar nog even zien of ze het ook doen. Intussen al een alternatieve hoster gevonden, alhoewel de huidige hoster het allerminst slecht vanaf brengt.

Wat leren we van het geheel? Nou trek de parallel eens naar "de echte wereld" waar wij ons op focussen, vanuit het perspectief van de gewone man. Wie gaat er nu uit van een complete verandering van het systeem? Maar enkelen. En als het besef er dan is, wat moet je eigenlijk doen? Kijk, ik had wel een off-site backup voor het geval dat, maar geen plannen klaar voor als het noodlot toeslaat. Want wie verwacht dat nu op een 6 maanden oude server, compleet redundant uitgevoerd? Onprettig, maar geen groot drama, als je die off-site backup hebt. Maar hoeveel hebben er nu een off-site backup, compleet getest op validiteit? Dus de lijn doortrekken: de grote menigte gaat zoiezo geschoren worden, want die gaan paniekeren, en doen dan het verkeerde. Maar ook van diegenen die er al half rekening mee houden, gaan er nog wel wat geschoren worden.

Plan for the worst, hope for the best.
Alsof ik de crashcourse van chris martenson langs zie komen :D

En wat er gaat komen: ik plan een nieuwe server die dan ingericht moet worden, waarna er een korte migratie volgt. Dit zou binnen een week of twee moeten gebeuren. Geen rocketscience, want dit hebben we al een aantal keren gedaan.
User avatar
Indiana Jones
Freegold Member
Posts: 4765
Joined: 05 Oct 2011, 16:00
Contact:

Re: Disaster Recovery

Post by Indiana Jones »

Thanks Rasta voor al je inspanningen.

En tsjah .... voor al het elementaire moet je contingencyplannen hebben en die plannen, ongeacht de stand van zaken, tussentijds op realiteits scenario's toetsen. Je wilt niet weten hoeveel bedrijven bij een crash hun data kwijt zijn vanwege onvoldoende backup contingency, electriciteitsbedrijven etc.etc. . Zelfs voor geld en ook goud moet je een contingencyplan hebben. Ik heb die en toets ze met regelmaat, maar ik voel me soms wel eens eenoog in het land der blinden .... :?
Everything that needs to be said has already been said.
But since no one was listening, everything must be said again.
Post Reply