Vasárnap délután egy élelmiszeripari gyártócégnél véget ért a tervezett áramszünet. Visszakapcsolták az áramot, az eszközök sorra elindultak – kettő kivételével. A hálózat központi switch-stackjének három tagjából kettő nem indult újra. Ezen a két dobozon múlt, hogy a cég aznap el tud-e kezdeni dolgozni.

Egy ilyen üzemben a hét vasárnap délután kezdődik, mert az árunak hétfő reggel az üzletek polcain kell lennie. Ha áll a hálózat, nem megy a rendelések feldolgozása, a címkenyomtatás és a kiszállítás tervezése. Minden kiesett óra egy hétfő reggeli üres polc.

Mi történt pontosan?

Az áramszünetre a cég rendben felkészült: a gépeket leállították, az áramszolgáltató elvégezte a munkát, majd visszajött az áram. A hálózat közepén egy úgynevezett switch-stack dolgozik: három, egymáshoz kötött switch, amelyek egyetlen nagy eszközként működnek. A switch az az eszköz, amelyen keresztül a hálózat összes gépe, szervere és nyomtatója beszél egymással. A háromból kettő nem indult el – a rájuk kötött gépek, nyomtatók és szerverek így elérhetetlenné váltak, a cég informatikája gyakorlatilag állt. Mindkét eszköz régi volt, a cseréjük már napirenden szerepelt.

Csereeszközt vittünk ki, és vasárnap délután beüzemeltük a hálózatot. A műszak elindulhatott, az áru kiment. A történet jól végződött. De csak azért, mert volt kéznél csereeszköz, megvoltak a beállítások, és volt, aki vasárnap délután ki tudott menni.

Miért éppen újraindításkor romlik el?

A régi hálózati eszközök évekig hibátlanul működhetnek, amíg folyamatosan áram alatt vannak. A gyenge pont a ki- és bekapcsolás. Az elöregedett tápegység-alkatrészek üzem közben még bírják a terhelést, egy hideg indításét viszont már nem. Olyan ez, mint egy régi autó akkumulátora: amíg jár a motor, nem derül ki, hogy gyenge. A fagyos reggeli indításnál igen.

Egy tervezett áramszünet ezért valójában stresszteszt. Ami évek óta nem volt kikapcsolva, annak a visszakapcsolás az első igazi próbája.

Első tanulság: a visszakapcsolást is meg kell tervezni

A legtöbb cég a lekapcsolást tervezi meg: ki mit állít le, mikor, milyen sorrendben. A visszakapcsolás legalább ennyire fontos. Milyen sorrendben induljanak az eszközök? Ki ellenőrzi, hogy minden működik? És mi a teendő, ha valami nem indul el?

Ökölszabály: a visszakapcsolás és a műszak kezdete között legyen legalább két-három óra, és ez idő alatt legyen elérhető valaki, aki ismeri a rendszert. Ha az áramszünet vasárnap délelőtt van, a hibát is vasárnap kell megtalálni, nem hétfő reggel hatkor.

Második tanulság: csereeszköz és mentett beállítás

Egy központi switch nem kapható a sarki boltban vasárnap délután. Ha nincs kéznél tartalék, a beszerzés napokig is eltarthat. A csereeszköz önmagában viszont kevés: a beállításai nélkül csak egy doboz. A portok, a hálózati szegmensek, a címzések – ezeket ugyanúgy menteni kell, mint a szerverek adatait. Tervezett áramszünet előtt pedig külön érdemes friss mentést készíteni róluk.

A mentésről általában azt gondoljuk, hogy fájlokról szól. A hálózati eszközök beállítása is adat, és pont akkor hiányzik a legjobban, amikor a legkevesebb idő van. Erről a visszaállítási tesztről szóló cikkünkben is írtunk.

Harmadik tanulság: a régi eszköz nem olcsó

Mindkét switch cseréje már tervben volt. Ez a történet legtanulságosabb része: a csere halasztása nem spórolás, hanem kockázatvállalás, amelynek az ára egy rossz pillanatban egyszerre jelentkezik. A régi eszközökhöz a gyártó egy idő után már javítást és biztonsági frissítést sem ad – a nagy gyártók ezt nyilvános életciklus-szabályzatban rögzítik. Hogy melyik eszközt meddig éri meg üzemben tartani, arról az eszközcsere-ciklusról szóló cikkünkben írtunk részletesen.

Negyedik tanulság: a stack nem tartalék

A switch-stack kényelmes megoldás: három eszköz, egyetlen kezelőfelület, egy közös beállítás. De a három tag nem egymás tartaléka. Minden tagra más gépek vannak kötve, és ha egy tag kiesik, a rá kötött eszközök is kiesnek. Ráadásul a három switch egyidős volt, ugyanannyit üzemelt, és ugyanaz az áramszünet érte őket – ami az egyiknek sok volt, az a másiknak is. Ha a hálózat egy része nem állhat le, a fontos eszközöket (szervereket, tárolókat) két különböző switchre kell bekötni, és a tagokat nem egyszerre, egyidős példányokra kell cserélni. Erről a redundanciáról szóló cikkünkben írtunk bővebben.

Tévhitek

„Eddig működött, ezután is fog.” Folyamatos üzemben igen, de egy újraindítás egészen más terhelés. A régi eszközök nem működés közben, hanem indításkor szoktak cserbenhagyni.

„A tervezett áramszünet nem veszélyes, hiszen tudunk róla.” A lekapcsolás valóban kiszámítható. A visszakapcsolás nem az – erre kell felkészülni.

Összegzés

A vasárnap délután jól végződött, mert volt B terv: csereeszköz, mentett beállítás és egy szakember, aki ráért. Egy tervezett áramszünet előtt érdemes végiggondolni, mi a legrégebbi eszköz a hálózatban, van-e friss mentés a beállításairól, és ki veszi fel a telefont, ha valami nem indul el.

Ha szeretné tudni, mi a saját kockázata, kérjen IT auditot: abakusz.hu/itaudit