
Un incident majeur : qui appelle qui, et la matrice d’escalade fixée à l’avance
Un incident majeur, c’est la panne qui arrête la moitié de l’entreprise et où tout le monde appelle quelqu’un en même temps. Ce qui lâche alors est rarement la technique : c’est que personne ne sait qui décide, qui appelle le fournisseur et quand la direction est prévenue. Voici comment le fixer un mardi calme, pour que ce soit prêt le jour où vous en avez besoin.
Un incident majeur est une panne dont l’impact est tel que le traitement habituel ne suffit plus. Les critères se fixent à l’avance, pour que personne n’en débatte pendant la panne.
Une seule personne pilote, un seul ticket fait foi, et les points de situation partent à un rythme fixe, même quand il n’y a rien de nouveau.
La matrice d’escalade dit qui appelle qui et au bout de combien de temps, autres fournisseurs compris. Les décisions sur votre activité et ce qu’entendent vos clients restent les vôtres.
Quand une panne devient un incident majeur
Un incident majeur n’est pas un nom dramatique pour une panne agaçante. C’est une panne pour laquelle la voie normale, un ticket dans la file et un technicien dessus, ne suffit plus parce que l’impact est trop large ou grandit trop vite. On change alors de mode de fonctionnement : un pilote, une conférence téléphonique ouverte, des points de situation à un rythme donné.
Fixez les critères à l’avance, sous forme de liste. Personne ne veut débattre en pleine panne pour savoir si c’est « assez grave ». Des critères qui fonctionnent :
- un processus critique est à l’arrêt (les caisses, la prise de commande, le dossier patient, la ligne de production) et il n’existe pas de contournement utilisable ;
- un site entier ou une grande partie des utilisateurs ne peut plus travailler ;
- la panne est visible de vos clients ou un engagement externe est menacé ;
- il existe un doute sur l’intégrité ou la disponibilité des données.
S’il s’agit d’une attaque, ou d’un soupçon d’attaque, d’autres règles s’appliquent : ce que l’on ne touche pas compte alors davantage. C’est l’objet de notre article sur la première heure après un incident. Celui-ci traite des pannes.
Qui le déclare, et qui peut le lever
Convenez de qui peut déclarer un incident majeur, et gardez ce seuil bas. Un incident déclaré trop tôt et rétrogradé au bout de vingt minutes coûte une demi-heure à quelques personnes. Un incident déclaré une heure trop tard coûte une matinée à tout le monde.
Viennent ensuite quelques rôles, que deux personnes se partagent parfois dans une petite structure :
- Le pilote de l’incident (dans ITIL, le major incident manager). Coordonne, surveille l’horloge, décide de l’étape suivante. Ne répare rien lui-même, et c’est voulu : celui qui a les mains dans le système ne voit pas l’heure.
- Le responsable technique. Dirige la remise en service et veille à ce que deux personnes ne modifient pas le même système en même temps.
- La communication. Rédige les points de situation et tient les questions à l’écart de l’équipe.
- Le décideur côté organisation. Quelqu’un qui peut dire : on ferme le magasin, on reporte la livraison, on appelle le client.
Fixez aussi qui clôt l’incident. Ce n’est pas le moment où le technicien pense que cela marche, mais celui où un utilisateur le confirme.
La matrice d’escalade : qui appelle qui, et au bout de combien de temps
Une matrice d’escalade est un tableau qui tient sur une page imprimée. Sur un axe figurent les priorités, sur l’autre le temps écoulé depuis le signalement, et chaque case indique qui est informé ou mobilisé à ce moment-là. Il existe deux types d’escalade et les deux y ont leur place :
- Fonctionnelle : vers plus de compétence. Le premier niveau fait appel au spécialiste, le spécialiste à l’éditeur ou au fournisseur du système.
- Hiérarchique : vers plus d’autorité. Passé un délai convenu, le responsable informatique est prévenu, puis la direction, parce que des décisions peuvent être nécessaires que l’équipe technique ne peut pas prendre.
Ce qui rend une matrice utile, ce sont les détails ennuyeux : un nom et un suppléant dans chaque case, des numéros accessibles en dehors des systèmes touchés, et les plages où chacun est joignable. Une matrice qui renvoie au carnet d’adresses de la messagerie qui vient de tomber n’est pas une matrice.
La manière de fixer les priorités selon l’impact, et les délais de réponse qui vont avec, est décrite dans notre article sur des SLA que l’on peut réellement tenir. La matrice d’escalade s’appuie dessus.
La première demi-heure d’un incident majeur
Les trente premières minutes fixent la suite. Ce qui doit se passer pendant ce temps tient en peu de lignes :
- Un ticket maître. Tous les signalements des utilisateurs y sont rattachés, pour voir l’étendue sans lire cinquante tickets séparés.
- Une conférence téléphonique qui reste ouverte jusqu’à la clôture. Ceux qui sont utiles s’y connectent ; les autres la quittent.
- Une chronologie où chaque constat et chaque intervention figurent avec leur heure. Elle servira au retour d’expérience, et pendant l’incident elle évite qu’on refasse une étape.
- D’abord un contournement, ensuite la cause. Si les gens peuvent retravailler par une autre voie, une ligne de secours ou une version précédente, cela passe en premier. La cause se cherche ensuite, au calme.
Et une règle qui prolonge plus de pannes que toute autre : ne changez pas deux choses à la fois. Qui essaie trois correctifs ensemble ne sait pas ensuite lequel a fonctionné, ni quoi annuler en cas de rechute.
Des points de situation à rythme fixe, même sans nouveauté
Pendant un incident majeur, le silence est ce que vous pouvez communiquer de plus coûteux. Ceux qui n’entendent rien se mettent à appeler, et chaque appel retire quelqu’un de la remise en service. Convenez d’un rythme et tenez-le, même quand le point est que rien n’a encore changé.
Un point utile répond toujours aux quatre mêmes questions : qu’est-ce qui ne marche pas, pour qui, que faisons-nous maintenant, et quand aurez-vous de nos nouvelles. Préparez un modèle à l’avance, en langage courant et sans noms de systèmes que seule l’équipe informatique connaît.
Séparez deux canaux : la conférence technique pour ceux qui réparent, et un canal distinct pour tous ceux qui doivent être informés. Choisissez ce second canal pour qu’il ne dépende pas de ce qui est en panne. Si Microsoft 365 est tombé, un e-mail sur la panne n’atteint personne.
Quand la cause se trouve chez un autre fournisseur
Bon nombre d’incidents majeurs commencent hors de votre environnement : chez l’opérateur internet, sur une plateforme cloud, dans le système de caisse ou chez l’éditeur d’un logiciel métier. L’organisation qui s’en sort est celle qui sait à l’avance comment les joindre.
- Inscrivez chaque fournisseur critique dans la matrice d’escalade, avec son numéro de support, votre numéro de client ou de contrat et qui peut appeler en votre nom.
- Précisez si votre partenaire informatique peut ouvrir des tickets pour vous. Beaucoup de fournisseurs n’acceptent un signalement que d’un contact connu, et mieux vaut ne pas le découvrir en pleine panne.
- Notez ce que promet le contrat de ce fournisseur. Vous saurez ainsi quand vous pouvez escalader davantage et quand vous ne pouvez qu’attendre.
Continuez à piloter pendant ce temps. Même si la cause est ailleurs, la maîtrise des contournements, des points de situation et des décisions reste chez vous.
Clôture, retour d’expérience et ce qui reste
Un incident majeur n’est clos que lorsque les utilisateurs travaillent de nouveau et l’ont confirmé. Deux choses suivent, souvent sautées parce que la pression retombe.
Le retour d’expérience, dans les quelques jours ouvrés, tant que chacun s’en souvient. Posez la chronologie à côté et posez trois questions : quand l’avons-nous su, quand avons-nous agi, et qu’est-ce qui nous a ralentis. Ne cherchez pas de coupable ; cherchez l’endroit du processus qui a coûté du temps. Une matrice avec un mauvais numéro est une découverte, pas la faute de quelqu’un.
Le problème qui subsiste. Le contournement a arrêté la panne, mais la cause est souvent toujours là. Elle se poursuit comme problème distinct, avec un responsable et une date, pour que la même panne ne revienne pas le mois suivant.
Enfin, corrigez la matrice d’escalade avec ce qui n’allait pas, et exercez-la une fois par an sur une panne fictive. Une matrice jamais utilisée contient toujours quelqu’un qui est parti depuis longtemps.
Là où notre travail s’arrête
Ce que nous faisons. Lorsqu’un incident majeur touche un environnement que nous gérons, nous pilotons la partie technique : nous le déclarons selon les critères convenus, tenons le ticket maître et la chronologie, coordonnons la remise en service et l’escalade vers les autres fournisseurs, et envoyons les points de situation sur l’état informatique au rythme convenu. Ensuite, nous livrons le retour d’expérience et suivons le problème jusqu’à ce que la cause disparaisse.
Ce que nous ne faisons pas. Les décisions sur votre activité, comme fermer un site ou reporter une livraison, vous reviennent. Ce qu’entendent vos clients, la presse ou une autorité, c’est à vous de le décider et de l’envoyer ; nous ne sommes pas une agence de communication et nous n’évaluons pas les obligations de notification. Et si la cause se trouve sur la plateforme d’un tiers, nous escaladons auprès de lui en votre nom, mais nous ne réparons pas cette plateforme nous-mêmes : seul son fournisseur le peut.
Les questions qu’on nous pose
Les cinq qui reviennent le plus souvent.
Qu’est-ce qu’un incident majeur ?
Un incident majeur est une panne dont l’impact est tel que le traitement habituel ne suffit plus, par exemple parce qu’un processus critique est à l’arrêt ou qu’un site entier ne peut plus travailler. On passe alors à un mode de fonctionnement distinct, avec un pilote, un ticket maître et des points de situation à rythme fixe. Les critères se fixent à l’avance.
Quelle différence entre un incident majeur et un incident de priorité 1 ?
La priorité 1 est un classement selon l’impact et l’urgence, et elle fixe le délai de réponse. L’incident majeur est la décision de changer de mode de fonctionnement, parce qu’un technicien et un ticket ne suffisent plus. La plupart des incidents majeurs sont de priorité 1, mais tout incident de priorité 1 ne devient pas forcément majeur.
Que contient une matrice d’escalade ?
Elle indique, par priorité, qui est informé ou mobilisé au bout de combien de temps. Elle couvre deux types d’escalade : fonctionnelle, vers plus de compétence, et hiérarchique, vers plus d’autorité. Chaque case porte un nom, un suppléant et un numéro joignable même si les systèmes touchés sont en panne, et les autres fournisseurs y figurent avec leur numéro de support.
Quel est le rôle du gestionnaire d’incident majeur ?
Il pilote l’incident : il coordonne, surveille l’horloge et décide de l’étape suivante, mais ne répare pas lui-même. C’est volontairement une autre personne que le technicien qui remet en service, car celui-ci ne voit pas l’heure. Avec un service desk externalisé, ce rôle revient en général au partenaire informatique, avec un décideur côté organisation.
Vous chargez-vous de la communication vers nos clients ?
Non. Nous envoyons les points de situation sur l’état informatique au rythme convenu, aux personnes que vous désignez. Ce qu’entendent vos clients, la presse ou une autorité, c’est à vous de le décider et de l’envoyer, et nous n’évaluons pas les obligations de notification. Nous fournissons en revanche les faits et la chronologie.
Pour aller plus loin
Ce à quoi la gestion des incidents majeurs se rattache.
Confrontons votre matrice d’escalade à la pratique
Envoyez-nous ce que vous avez aujourd’hui, même s’il s’agit d’une liste de numéros. Nous vous dirons quels critères, rôles et fournisseurs manquent, et à quoi cela ressemble quand nous gérons le service desk.
Des connaissances informatiques concrètes dans votre boîte mail
De nouveaux guides sur la gestion, la sécurité et le poste de travail, écrits par ceux qui font le travail. Sans discours commercial, et la désinscription se fait en un clic.