
Zarządzanie incydentem krytycznym: kto do kogo dzwoni i macierz eskalacji ustalona z góry
Zarządzanie incydentem krytycznym to to, co dzieje się, gdy staje pół firmy i wszyscy naraz do kogoś dzwonią. W tej chwili rzadko zawodzi technologia: zawodzi to, że nikt nie wie, kto decyduje, kto dzwoni do dostawcy i kiedy zarząd cokolwiek usłyszy. Oto jak to ustalić w spokojny wtorek, żeby było gotowe, gdy będzie potrzebne.
Incydent krytyczny to awaria o tak dużym wpływie, że zwykły proces już nie wystarcza. Kryteria ustalasz z góry, żeby nikt się o nie nie spierał w trakcie awarii.
Jedna osoba prowadzi, jedno zgłoszenie jest nadrzędne, a aktualizacje wychodzą w stałym rytmie, nawet gdy nie ma nic nowego do powiedzenia.
Macierz eskalacji mówi, kto do kogo dzwoni i po jakim czasie, także do innych dostawców. Decyzje o Twojej działalności i o tym, co usłyszą klienci, zostają po Twojej stronie.
Kiedy awaria staje się incydentem krytycznym
Incydent krytyczny to nie dramatyczna nazwa irytującej usterki. To awaria, przy której zwykła droga, zgłoszenie w kolejce i inżynier nad nim pracujący, już nie działa, bo wpływ jest zbyt duży albo rośnie zbyt szybko. Wtedy przechodzisz na inny sposób pracy: jeden prowadzący, jedna otwarta rozmowa mostowa, aktualizacje w rytmie.
Ustal kryteria z góry, w postaci listy. Nikt nie chce w trakcie awarii debatować, czy jest „dość źle”. Kryteria, które się sprawdzają:
- stanął proces krytyczny dla biznesu (kasy, przyjmowanie zamówień, dokumentacja pacjenta, linia produkcyjna) i nie ma użytecznego obejścia;
- cały oddział albo duża część użytkowników nie może pracować;
- klienci widzą awarię albo zagrożone jest zobowiązanie wobec podmiotu zewnętrznego;
- są wątpliwości, czy dane są kompletne lub dostępne.
Jeśli to atak albo go podejrzewasz, obowiązują inne zasady: tam ważniejsze jest to, czego nie ruszasz. Ten artykuł dotyczy awarii.
Kto ogłasza i kto może odwołać
Ustal, kto może ogłosić incydent krytyczny, i trzymaj ten próg nisko. Incydent ogłoszony za wcześnie i obniżony po dwudziestu minutach kosztuje kilka osób pół godziny. Ogłoszony godzinę za późno kosztuje wszystkich poranek.
Potem jest garść ról, a w mniejszej organizacji dwie osoby czasem je dzielą:
- Prowadzący incydent (w ITIL: major incident manager). Koordynuje, pilnuje zegara, decyduje o następnym kroku. Sam niczego nie naprawia, i o to chodzi: kto ma ręce w systemie, nie widzi czasu.
- Prowadzący technicznie. Kieruje pracą nad przywróceniem i pilnuje, żeby dwie osoby nie zmieniały naraz tego samego systemu.
- Komunikacja. Pisze aktualizacje i trzyma pytania z dala od zespołu.
- Osoba decyzyjna w organizacji. Ktoś, kto może powiedzieć: zamykamy sklep, opóźniamy dostawę, dzwonimy do klienta.
Ustal też, kto zamyka incydent. Nie wtedy, gdy inżynier uważa, że działa, tylko wtedy, gdy potwierdzi to użytkownik.
Macierz eskalacji: kto do kogo dzwoni i po jakim czasie
Macierz eskalacji to tabela, którą można wydrukować na jednej stronie. Na jednej osi są priorytety, na drugiej czas od zgłoszenia, a każda komórka mówi, kto jest wtedy informowany lub włączany. Są dwa rodzaje eskalacji i oba do niej należą:
- Funkcjonalna: w stronę większej wiedzy. Pierwsza linia włącza specjalistę, specjalista włącza dostawcę systemu.
- Hierarchiczna: w stronę większej władzy. Po uzgodnionym czasie o sprawie dowiaduje się kierownik IT, potem zarząd, bo mogą być potrzebne decyzje, których zespół techniczny podjąć nie może.
O użyteczności macierzy decydują nudne szczegóły: imię i nazwisko oraz zastępca w każdej komórce, numery telefonów, które da się znaleźć poza dotkniętymi systemami, i godziny, w których każda osoba jest osiągalna. Macierz odsyłająca do książki adresowej w systemie poczty, który właśnie padł, nie jest macierzą.
To, jak ustala się priorytety według wpływu i jakie czasy reakcji im towarzyszą, wynika z SLA. Macierz eskalacji się na tym opiera.
Pierwsza pół godziny zarządzania incydentem krytycznym
Pierwsze trzydzieści minut wyznacza kurs na resztę. To, co trzeba w tym czasie zrobić, jest krótkie:
- Jedno zgłoszenie nadrzędne. Każde zgłoszenie użytkownika jest z nim powiązane, więc widać zasięg wpływu bez czytania pięćdziesięciu osobnych zgłoszeń.
- Jedna rozmowa mostowa, która pozostaje otwarta do zamknięcia incydentu. Kto jest potrzebny, dołącza; kto nie, wychodzi.
- Oś czasu z każdą obserwacją i każdym działaniem wraz z godziną. Przyda się do przeglądu, a w trakcie incydentu nie pozwala powtórzyć kroku.
- Najpierw obejście, potem przyczyna. Jeśli ludzie mogą znów pracować inną drogą, łączem zapasowym lub poprzednią wersją, to idzie pierwsze. Przyczynę można spokojnie znaleźć potem.
I jedna zasada, która wydłuża więcej awarii niż jakakolwiek inna: nie zmieniaj dwóch rzeczy naraz. Wypróbuj trzy poprawki razem, a potem nie będziesz wiedzieć, która zadziałała ani co wycofać, jeśli problem wróci.
Aktualizacje w stałym rytmie, nawet gdy nic się nie zmieniło
W incydencie krytycznym najdroższą rzeczą, jaką można przekazać, jest cisza. Ludzie, którzy nic nie słyszą, zaczynają dzwonić, a każdy dzwoniący odciąga kogoś od przywracania. Ustal rytm i się go trzymaj, nawet gdy aktualizacja brzmi, że nic się jeszcze nie zmieniło.
Dobra aktualizacja za każdym razem odpowiada na te same cztery pytania: co nie działa, u kogo, co teraz robimy i kiedy usłyszysz od nas następną wiadomość. Napisz do niej szablon z góry, zwykłym językiem i bez nazw systemów, które zna tylko zespół IT.
Rozdziel dwa kanały: most techniczny dla tych, którzy naprawiają, i osobny kanał dla wszystkich, których trzeba informować. Wybierz ten drugi tak, żeby nie zależał od tego, co jest zepsute. Jeśli nie działa Microsoft 365, e-mail o awarii nie dotrze do nikogo.
Gdy przyczyna leży po stronie innego dostawcy
Wiele incydentów krytycznych zaczyna się poza Twoim środowiskiem: u dostawcy internetu, na platformie chmurowej, w systemie kasowym albo u dostawcy aplikacji branżowej. Wygrywa organizacja, która z góry wie, jak się do nich dodzwonić.
- Umieść każdego krytycznego dostawcę w macierzy eskalacji, z jego linią awarii, Twoim numerem klienta lub umowy i osobą, która może dzwonić w Twoim imieniu.
- Ustal, czy Twój partner IT może zgłaszać awarie w Twoim imieniu. Wielu dostawców przyjmuje zgłoszenie tylko od znanej osoby kontaktowej i wolałbyś nie odkrywać tego w trakcie awarii.
- Zanotuj, co obiecuje umowa tego dostawcy. Wtedy wiesz, kiedy możesz eskalować dalej, a kiedy możesz tylko czekać.
Tymczasem dalej prowadź. Nawet gdy przyczyna jest gdzie indziej, kontrola nad obejściami, aktualizacjami i decyzjami zostaje przy Tobie.
Zamknięcie, przegląd i to, co zostaje
Incydent krytyczny jest zamknięty dopiero wtedy, gdy użytkownicy znów pracują i to potwierdzili. Wynikają z tego dwie rzeczy, które często pomija się, bo presja zelżała.
Przegląd, w ciągu kilku dni roboczych, gdy wszyscy jeszcze pamiętają. Połóż obok oś czasu i zadaj trzy pytania: kiedy się dowiedzieliśmy, kiedy zadziałaliśmy i co nas zatrzymało. Szukaj miejsca w procesie, które kosztowało czas, a nie winnego. Macierz z błędnym numerem to ustalenie, a nie czyjaś wina.
Problem, który zostaje. Obejście zatrzymało awarię, ale przyczyna często nadal istnieje. Kontynuuje się ją jako osobny problem z właścicielem i datą, żeby ta sama awaria nie wróciła za miesiąc.
Na koniec zaktualizuj macierz eskalacji o to, co było błędne, i raz w roku przećwicz ją na wymyślonej awarii. W macierzy, której nigdy nie użyto, zawsze znajdzie się ktoś, kto dawno odszedł.
Gdzie kończy się nasza praca
Co robimy. Gdy incydent krytyczny dotknie środowiska, którym zarządzamy, prowadzimy stronę techniczną: ogłaszamy go według uzgodnionych kryteriów, prowadzimy zgłoszenie nadrzędne i oś czasu, koordynujemy przywracanie i eskalację do innych dostawców oraz wysyłamy aktualizacje o stanie IT w uzgodnionym rytmie. Z własnymi lokalnymi inżynierami w każdym kraju przyjeżdżamy, gdy nie da się tego zrobić zdalnie, przy awarii w ciągu kilku godzin. Potem dostarczamy przegląd i śledzimy problem, aż przyczyna zniknie.
Czego nie robimy. Decyzje o Twojej działalności, takie jak zamknięcie oddziału czy opóźnienie dostawy, należą do Ciebie. To, co usłyszą Twoi klienci, prasa lub regulator, decydujesz i wysyłasz Ty; nie jesteśmy agencją komunikacji i nie oceniamy obowiązków zgłoszeniowych. A jeśli przyczyna leży w platformie podmiotu trzeciego, eskalujemy do niego w Twoim imieniu, ale sami tej platformy nie naprawiamy: może to zrobić tylko jej dostawca.
Pytania, które słyszymy najczęściej
Pięć, które wracają najczęściej.
Czym jest zarządzanie incydentem krytycznym?
To osobny sposób pracy, na który przechodzisz, gdy awaria ma tak duży wpływ, że zwykły proces nie wystarcza, na przykład gdy stanął proces krytyczny dla biznesu albo cały oddział nie może pracować. Oznacza jednego prowadzącego, jedno zgłoszenie nadrzędne, otwartą rozmowę mostową i aktualizacje w stałym rytmie. Kryteria jego ogłoszenia ustala się z góry.
Czym różni się incydent krytyczny od P1?
Priorytet 1 to klasyfikacja według wpływu i pilności, która ustala czas reakcji. Incydent krytyczny to decyzja o zmianie sposobu pracy, bo jeden inżynier i zgłoszenie już nie wystarczą. Większość incydentów krytycznych to P1, ale nie każde P1 musi stać się incydentem krytycznym.
Co zawiera macierz eskalacji?
Macierz eskalacji pokazuje dla każdego priorytetu, kto jest informowany lub włączany po jakim czasie. Obejmuje dwa rodzaje eskalacji: funkcjonalną, w stronę większej wiedzy, i hierarchiczną, w stronę większej władzy. W każdej komórce jest imię i nazwisko, zastępca i numer telefonu, który działa także wtedy, gdy dotknięte systemy nie działają, a inni dostawcy są w niej wraz ze swoimi liniami awarii.
Co robi prowadzący incydent krytyczny?
Prowadzący incydent koordynuje, pilnuje zegara i decyduje o następnym kroku, ale sam nie naprawia. To celowo ktoś inny niż inżynier przywracający działanie, bo tamten nie widzi czasu. Przy zewnętrznym service desku rolę tę zwykle pełni partner IT, z osobą decyzyjną po stronie własnej organizacji.
Czy zajmujecie się komunikacją z naszymi klientami?
Nie. Wysyłamy aktualizacje o stanie IT w uzgodnionym rytmie do wskazanych przez Ciebie osób. To, co usłyszą Twoi klienci, prasa lub regulator, decydujesz i wysyłasz Ty, a my nie oceniamy obowiązków zgłoszeniowych. Dostarczamy za to fakty i oś czasu.
Czytaj dalej
Z czym łączy się zarządzanie incydentem krytycznym.
Przyłożymy Twoją macierz eskalacji do praktyki?
Wyślij nam to, co masz teraz, choćby listę numerów telefonów. Powiemy, których kryteriów, ról i dostawców brakuje oraz jak to wygląda, gdy prowadzimy service desk.
Praktyczna wiedza o IT w Twojej skrzynce
Nowe poradniki o zarządzaniu, bezpieczeństwie i stanowiskach pracy, pisane przez ludzi, którzy wykonują tę pracę. Bez sprzedażowego gadania, a z subskrypcji zrezygnujesz jednym kliknięciem.