
Et major incident: hvem ringer til hvem, og eskaleringsmatricen, der ligger klar
Et major incident er det nedbrud, hvor halvdelen af virksomheden står stille, og alle ringer til nogen på samme tid. Det, der går galt, er sjældent teknikken. Det er, at ingen ved, hvem der beslutter, hvem der ringer til leverandøren, og hvornår direktionen hører noget. Sådan skrives det ned en rolig tirsdag, så det ligger klar, når der er brug for det.
Et major incident er et nedbrud med så stor påvirkning, at den normale arbejdsgang ikke rækker. Kriterierne fastlægges på forhånd, så ingen skal diskutere dem undervejs.
Én person leder hændelsen, én ticket er den førende, og opdateringer kommer i en fast rytme, også når der ikke er noget nyt at sige.
Eskaleringsmatricen siger, hvem der ringer til hvem og efter hvor lang tid, også andre leverandører. Beslutninger om forretningen, og hvad kunderne hører, bliver hos jer.
Hvornår et nedbrud er et major incident
Et major incident er ikke et stort ord for et irriterende nedbrud. Det er et nedbrud, hvor den normale håndtering, en ticket i køen og en tekniker på sagen, ikke længere rækker, fordi påvirkningen er for stor eller vokser for hurtigt. Så skiftes der til en anden arbejdsform: én leder, en fast mødelinje og opdateringer i en rytme.
Fastlæg kriterierne på forhånd, som en liste. Under et nedbrud vil ingen diskutere, om det er »slemt nok«. Brugbare kriterier er:
- en forretningskritisk proces står stille (kasser, ordreindtastning, patientjournalen, produktionslinjen), og der er ingen brugbar omvej;
- en hel lokation eller en stor del af brugerne kan ikke arbejde;
- nedbruddet er synligt for kunderne, eller en ekstern aftale kommer i fare;
- der er tvivl om, hvorvidt data er korrekte eller tilgængelige.
Handler det om et angreb eller en mistanke om et, gælder andre regler: dér er det vigtigere, hvad der ikke røres. Se it-beredskabsplanen. Denne artikel handler om nedbrud.
Hvem erklærer det, og hvem må aflyse det
Aftal, hvem der må erklære et major incident, og gør tærsklen lav. En hændelse, der erklæres for tidligt og nedskaleres efter tyve minutter, koster nogle få personer en halv time. En hændelse, der erklæres en time for sent, koster alle en formiddag.
Derefter er der nogle få roller, og i en lille organisation bæres de nogle gange af to personer tilsammen:
- Hændelseslederen (i ITIL major incident manager). Koordinerer, holder øje med tiden, beslutter næste skridt. Løser ikke selv noget, og det er pointen: den, der har hænderne i systemet, ser ikke uret.
- Den tekniske leder. Styrer gendannelsen og sørger for, at to personer ikke ændrer det samme system på samme tid.
- Kommunikationen. Skriver opdateringerne og holder spørgsmålene væk fra teamet.
- Beslutningstageren i organisationen. En, der må sige: vi lukker butikken, vi udskyder leverancen, vi ringer til kunden.
Fastlæg også, hvem der lukker hændelsen. Det er ikke, når teknikeren tror, det virker, men når en bruger bekræfter det.
Eskaleringsmatricen: hvem ringer til hvem, og efter hvor lang tid
En eskaleringsmatrix er en tabel, der kan printes på én side. Ad den ene akse står prioriteterne, ad den anden tiden siden meldingen, og i hvert felt står, hvem der på det tidspunkt informeres eller kaldes ind. Der er to slags eskalering, og begge hører med:
- Funktionel: mod mere viden. Første linje kalder specialisten, specialisten systemets leverandør.
- Hierarkisk: mod mere myndighed. Efter en aftalt tid hører den it-ansvarlige det, derefter direktionen, fordi der kan blive brug for beslutninger, teknikken ikke kan træffe.
Det, der gør matricen brugbar, er de kedelige detaljer: et navn og en stedfortræder i hvert felt, telefonnumre, der kan findes uden de ramte systemer, og tiderne, hvor nogen kan træffes. En matrix, der henviser til en adressebog i den mail, der netop er faldet ud, er ingen matrix.
Den første halve time
De første tredive minutter afgør, hvordan resten forløber. Det, der skal ske, er kort:
- Én førende ticket. Alle meldinger fra brugere kobles til den, så omfanget kan ses uden at læse halvtreds løse tickets.
- Én mødelinje, der forbliver åben, indtil hændelsen er lukket. Den, der skal med, ringer ind. Den, der ikke er brug for, forlader den.
- En tidslinje, hvor hver observation og hvert indgreb står med klokkeslæt. Den er nødvendig til evalueringen, og undervejs forhindrer den, at nogen gentager et skridt.
- Først en omvej, så årsagen. Kan folk arbejde igen via en anden vej, en reservelinje eller en tidligere version, går det forud. Årsagen kan søges i ro bagefter.
Og én regel, der forlænger flere nedbrud end nogen anden: ændr ikke to ting på samme tid. Den, der prøver tre løsninger samtidig, ved bagefter ikke, hvilken der virkede, og ved ikke, hvad der skal rulles tilbage ved en ny fejl.
Opdateringer i fast rytme, også når der ikke er noget nyt
Ved et major incident er stilhed det dyreste, der kan kommunikeres. Folk, der intet hører, begynder at ringe, og hver opkalder trækker nogen væk fra arbejdet. Aftal derfor en rytme, og hold den, også når opdateringen er, at intet er ændret.
En opdatering, der virker, besvarer altid de samme fire spørgsmål: hvad virker ikke, for hvem, hvad gør vi nu, og hvornår hører I fra os igen. Skriv en skabelon på forhånd, på almindeligt sprog og uden systemnavne, kun it-afdelingen kender.
Hold to kanaler adskilt: den tekniske mødelinje for dem, der gendanner, og en særskilt kanal til alle, der skal informeres. Vælg den anden kanal, så den ikke afhænger af det, der er nede. Falder Microsoft 365 ud, når en mail om nedbruddet ingen.
Når årsagen ligger hos en anden leverandør
En stor del af major incidents begynder uden for det egne miljø: hos internetudbyderen, en cloudplatform, kassesystemet eller leverandøren af en fagapplikation. Så vinder den organisation, der på forhånd ved, hvordan den kommer ind dér.
- Skriv hver kritisk leverandør ind i eskaleringsmatricen med fejlnummer, kunde- eller kontraktnummer, og hvem der må ringe på jeres vegne.
- Fastlæg, om it-partneren må melde på jeres vegne. Mange leverandører accepterer kun en melding fra en kendt kontaktperson, og det er bedre ikke at opdage under nedbruddet.
- Notér, hvad leverandørens kontrakt lover. Så vides det, hvornår der kan eskaleres videre, og hvornår der kun kan ventes.
Bevar imens selv ledelsen. Også når årsagen ligger andetsteds, ligger styringen af omveje, opdateringer og beslutninger hos jer.
Lukning, evaluering og det, der bliver tilbage
Et major incident er først lukket, når brugerne arbejder igen og har bekræftet det. Derefter kommer to ting, som ofte springes over, fordi presset er væk.
Evalueringen, inden for få arbejdsdage, mens alle kan huske det. Læg tidslinjen frem, og stil tre spørgsmål: hvornår vidste vi det, hvornår handlede vi, og hvad holdt os tilbage. Led ikke efter en skyldig, men efter det sted i arbejdsgangen, hvor det kostede tid.
Problemet, der bliver tilbage. Omvejen stoppede nedbruddet, men årsagen er der ofte endnu. Den fortsætter som et særskilt problem med en ejer og en dato, så samme nedbrud ikke vender tilbage om en måned.
Opdater til sidst eskaleringsmatricen med det, der ikke passede, og øv den en gang om året med et opdigtet nedbrud. En matrix, der aldrig er brugt, indeholder altid en, der for længst er rejst.
Hvor vores arbejde stopper
Det gør vi. Ved et major incident i et miljø, vi driver, leder vi den tekniske del: vi erklærer det ud fra de aftalte kriterier, holder den førende ticket og tidslinjen, koordinerer gendannelsen og eskaleringen til andre leverandører og sender opdateringer om it-status i den aftalte rytme. Vores egne lokale engineers kommer ud i hvert land, når det ikke kan klares på afstand. Bagefter leverer vi evalueringen og følger problemet, til årsagen er væk.
Det gør vi ikke. Beslutninger om forretningen, som at lukke en lokation eller udskyde en leverance, træffer I selv. Hvad kunder, presse eller en tilsynsmyndighed hører, bestemmer og sender I selv. Vi er ikke et kommunikationsbureau og vurderer ikke anmeldelsespligter. Og ligger årsagen på en tredjeparts platform, eskalerer vi dér på jeres vegne, men genopretter ikke selv platformen: det kan kun dens leverandør.
Spørgsmål, vi får om emnet
De spørgsmål, der oftest dukker op, før det går galt.
Hvad er et major incident?
Et major incident er et nedbrud med så stor påvirkning, at den normale håndtering ikke rækker, for eksempel fordi en forretningskritisk proces står stille, eller en hel lokation ikke kan arbejde. Så skiftes der til en særskilt arbejdsform med én leder, én førende ticket og opdateringer i fast rytme. Kriterierne fastlægges på forhånd.
Hvad er forskellen på et major incident og et prioritet 1-incident?
Et prioritet 1-incident er en inddeling efter påvirkning og hast, og den afgør reaktionstiden. Et major incident er en beslutning om at ændre arbejdsformen, fordi én tekniker og en ticket ikke længere rækker. De fleste major incidents er prioritet 1, men ikke alle prioritet 1-incidents behøver blive et major incident.
Hvad står der i en eskaleringsmatrix?
En eskaleringsmatrix siger for hver prioritet, hvem der efter hvor lang tid informeres eller kaldes ind. Der er to slags eskalering: funktionel, mod mere viden, og hierarkisk, mod mere myndighed. I hvert felt står et navn, en stedfortræder og et telefonnummer, der kan nås, når de ramte systemer falder ud, og også andre leverandører med deres fejlnummer.
Hvem er major incident manager?
Det er den person, der leder hændelsen: koordinerer, holder øje med tiden og beslutter næste skridt, men løser ikke selv noget. Det er bevidst en anden end den tekniker, der udbedrer, fordi denne ikke ser uret. Ved en outsourcet servicedesk ligger rollen som regel hos it-partneren, med en beslutningstager hos organisationen selv.
Står I også for kommunikationen til vores kunder?
Nej. Vi sender opdateringer om it-status i den aftalte rytme til dem, I udpeger. Hvad kunder, presse eller en tilsynsmyndighed hører, bestemmer og sender I selv, og vi vurderer ikke anmeldelsespligter. Vi leverer fakta og tidslinje til det.
Læs videre
Det, et major incident hænger sammen med.
Skal vi holde jeres eskaleringsmatrix op mod virkeligheden?
Send os det, I har nu, også hvis det er en liste med telefonnumre. Vi siger, hvilke kriterier, roller og leverandører der mangler, og hvordan det ser ud, hvis vi kører servicedesken.
Praktisk IT-viden i din indbakke
Nye guides om drift, sikkerhed og arbejdspladser, skrevet af de folk, der laver arbejdet. Ingen salgssnak, og du afmelder dig med ét klik.