Surveillance et continuité de service

Se connecter pour s'inscrire

Monitoring et gestion des incidents

Mesurer la disponibilité d’un service, détecter les dégradations et tester une procédure de reprise après incident.

  1. Public cible

    Débutants, étudiants et professionnels qui souhaitent acquérir une pratique structurée dans ce domaine.

  2. Objectifs

    Comprendre les notions essentielles et les appliquer dans un projet vérifiable.

  3. Prérequis

    Aucune connaissance préalable n’est strictement obligatoire ; les prérequis détaillés sont précisés dans les ateliers.

  4. Niveau

    Bac+2

  5. Ressources

    • Documentation officielle et références citées dans les ateliers.
    • Exercices, examens et projet de synthèse du catalogue.
  6. Validation des compétences

    La validation repose sur les évaluations actives et les livrables pratiques du cours.

  7. Besoins techniques

    Un ordinateur, un navigateur et les outils indiqués dans le premier atelier sont suffisants pour commencer.

Exercices, examens et projets

Indicateurs et alertes

Exercice

Atelier supervision

Configurer des indicateurs et une alerte pour un service critique.

Obligatoire Consulter
Examen

Examen continuité

Évaluer la supervision, la reprise et l'analyse des incidents.

Obligatoire Consulter
Projet

Projet continuité

Construire un tableau de bord et un plan de reprise testé.

Livrables :

  • Tableau de bord
  • Plan de reprise
  • Rapport d'incident
Obligatoire Consulter

Reprise après incident

Exercice

Atelier supervision

Configurer des indicateurs et une alerte pour un service critique.

Obligatoire Consulter
Examen

Examen continuité

Évaluer la supervision, la reprise et l'analyse des incidents.

Obligatoire Consulter
Projet

Projet continuité

Construire un tableau de bord et un plan de reprise testé.

Livrables :

  • Tableau de bord
  • Plan de reprise
  • Rapport d'incident
Obligatoire Consulter

Surveillance et continuité de service

Mesurer la santé d’un service, détecter les dégradations et préparer une continuité de service testée plutôt que théorique.

À la fin du cours

  • Définir des indicateurs de service avec une source, un seuil et une action associée.
  • Calculer une disponibilité et convertir un objectif de service en minutes d’arrêt autorisées.
  • Régler des seuils et une escalade par palier sans fabriquer de fatigue d’alerte.
  • Interroger les équipements en SNMP v3 et justifier l’abandon de v1 et v2c.
  • Construire une stratégie de sauvegarde 3-2-1, tester une restauration et mesurer RPO et RTO.
  • Conduire une analyse d’incident, documenter l’exploitation et piloter une mise à jour constructeur.

Organisation

Le cours articule indicateurs, alertes, continuité et retour d’expérience.

Prérequis : Bases de monitoring, réseau et sauvegardes.

Indicateurs de service et objectifs

Commencer par le service vu par l’utilisateur : disponibilité, latence, taux d’erreur, saturation et fraîcheur des données. Un processeur chargé n’est un incident que si une capacité métier est affectée : 95 % de charge à trois heures du matin pendant la sauvegarde n’appelle personne, 95 % à neuf heures un lundi matin si.

Un indicateur se définit par cinq éléments : une unité, une source de mesure, une fenêtre de calcul, un seuil et une action décidée à l’avance. Sans action associée, la mesure remplit un graphique et ne sert à rien.

Fixer la fenêtre et la fréquence de mesure avant de comparer quoi que ce soit : une latence relevée sur une minute et une latence relevée sur cinq minutes ne se comparent pas. Les mesures doivent être historisées, sinon une dérive lente reste invisible et seul le pic se voit.

Indicateur .. disponibilite du service applicatif
Source ..... sonde HTTPS toutes les 60 s, deux points de mesure
Fenetre ..... 5 minutes glissantes
Seuil ...... taux d erreur superieur a 2 % sur 5 min consecutives
Action ..... ticket P2 vers l equipe d exploitation
Indicateur Source de mesure Seuil Action associée
Disponibilité du service Sonde HTTPS toutes les 60 s depuis deux points de mesure Moins de 99,5 % sur 30 jours Ouvrir un incident et informer le responsable de service
Latence Temps de réponse de la sonde, 95e centile sur 5 min Au-delà de 300 ms Avertissement, contrôle du lien et de la charge
Taux d’erreur Codes HTTP 5xx des journaux du serveur web Plus de 2 % pendant 5 min Alerte et ouverture d’un ticket d’incident
Saturation Occupation disque, mémoire, sessions du pare-feu Au-delà de 85 % de la capacité Alerte et plan d’extension avant la date butoir
Fraîcheur des données Horodatage du dernier lot importé Plus de 30 min de retard Contrôle du traitement puis relance manuelle

Une alerte qui ne demande aucune action est un journal, pas une alerte. Si la seule conduite possible est « attendre et voir », il faut la supprimer ou la transformer en tableau de bord : sinon elle use le crédit des vraies alertes.

Point de contrôle : Chaque indicateur a une unité, une source, un seuil et une action associée.

Calculer une disponibilité

La disponibilité se calcule sur une période donnée : Disponibilité = (durée totale − durée d’indisponibilité) / durée totale. La formule est élémentaire ; c’est le choix de la période qui décide du résultat. Douze heures d’arrêt étalées sur un mois pèsent moins que deux heures d’arrêt un mardi matin, alors que le ratio est identique.

Le raisonnement doit aussi se mener à l’envers : quel budget d’indisponibilité l’engagement autorise-t-il ? Un service tenu à 99,9 % ne tolère que 43 minutes d’arrêt par mois de 30 jours. Au-delà, la pénalité s’applique et le client le voit. On surveille donc le cumul consommé, pas seulement l’incident en cours.

Les arrêts planifiés entrent dans le calcul : soit la fenêtre de maintenance est déclarée dans l’engagement et sort du périmètre, soit elle est ignorée et le chiffre annoncé est faux. Cette décision s’écrit dans le contrat de service, elle ne se devine pas le jour du litige.

Sur 30 jours (720 h) avec 4 h 20 d indisponibilite :
Disponibilite = (720 - 4,33) / 720 = 99,40 %

Objectif 99,9 %  ->  budget de 43 minutes par mois
Objectif 99,5 %  ->  budget de 3 h 36 par mois
Objectif 99 %    ->  budget de 7 h 12 par mois
Niveau de service Indisponibilité par mois (30 jours) Indisponibilité par an Ce que cela représente
90 % 72 heures 36,5 jours Service interne non critique, contournement accepté
99 % 7 h 12 87,6 heures Service interne avec un contournement organisé
99,5 % 3 h 36 43,8 heures Objectif courant pour un service de gestion
99,9 % 43 minutes 8 h 45 Engagement contractualisé fréquent
99,99 % 4 min 22 s 53 minutes Équipements redondés et changements à chaud
graph TD D["Durée totale de la période"] --> C["Soustraire l’indisponibilité constatée"] C --> R["Diviser par la durée totale"] R --> V["Disponibilité en pourcentage"] V --> B["Budget consommé sur 30 jours" B -->|"dépassement du seuil"| A["Alerte de dérive de service"]

Un chiffre de disponibilité calculé sur une seule journée flatte toujours le résultat : 23 h de service sur 24 donnent 95,8 %, ce qui ressemble à une catastrophe alors que l’incident a duré une heure. Mesurer sur 30 jours et publier le cumul consommé face au budget.

Point de contrôle : Je calcule une disponibilité, je convertis un objectif en minutes d’arrêt autorisées et je dis ce qui est exclu du périmètre.

Seuils, alertes et escalade

Un seuil n’est pas une valeur technique, c’est une décision : à partir de quand quelqu’un doit-il être dérangé ? Il se règle selon trois principes. Premier principe : le seuil est relatif au service concerné — 80 % d’occupation sur un lien de 100 Mbit/s et 80 % sur un lien de 1 Gbit/s ne racontent pas la même histoire, et 85 % de disque sur un serveur de fichiers n’a pas le même poids que sur un serveur de sauvegarde.

Deuxième principe : une durée minimale, de trois à cinq minutes consécutives, pour absorber les pics. Une sauvegarde nocturne fait monter le disque et le processeur pendant deux minutes : ce n’est pas un incident. Troisième principe : l’escalade par palier — avertissement à 80 %, alerte à 90 %, critique à 100 % — chaque palier ayant son destinataire et son délai de traitement.

Le piège le plus courant est le seuil trop bas. Il fabrique trente alertes par jour, l’équipe coupe les notifications sonores, puis toutes les notifications. Une alerte que personne ne lit ne protège plus rien : c’est la fatigue d’alerte, et elle transforme la supervision en bruit de fond. À l’inverse, un seuil trop haut arrive après l’incident et ne sert plus qu’à le raconter.

Regle ......... processeur du commutateur B2
Declencheur .. charge superieure a 80 %
Duree ........ 5 minutes consecutives
Severite ..... AVERTISSEMENT
Destinataire . equipe-reseau@centre-formation.fr
Action ....... ouvrir un ticket P2, ne pas deranger l astreinte
Escalade ..... plus de 95 % pendant 10 min -> ASTREINTE + telephone

Méthode

  1. Nommer le service concerné et la capacité mesurée.
  2. Fixer le seuil à partir de la valeur normale observée sur un mois d’historique, pas d’une intuition.
  3. Imposer une durée minimale de trois à cinq minutes consécutives.
  4. Définir les paliers d’escalade avec, pour chacun, un destinataire et un délai de traitement.
  5. Rédiger l’action attendue dans le runbook et mettre le lien vers ce runbook dans l’alerte.
  6. Compter chaque mois les alertes non actionnées et remonter le seuil si cette part dépasse 20 %.
Point de contrôle : Je justifie chaque seuil par le service visé, je donne sa durée minimale et son palier d’escalade.

Alertes et diagnostic

Une alerte doit être peu nombreuse, contextualisée et routée vers un propriétaire. Elle porte le service concerné, la période, la valeur mesurée, le seuil franchi et le lien vers le runbook. Une alerte sans propriétaire ni runbook produit une discussion, pas une réparation.

Corréler métriques, journaux et traces avant de conclure : commencer par la portée — un seul service ou tout le site ? — puis mesurer la propagation dans le temps, puis rechercher la première anomalie. La première anomalie n’est presque jamais celle qui a déclenché l’alerte.

Regle ......... erreurs HTTP 5xx du service applicatif
Declencheur .. plus de 2 % des reponses sur 5 minutes consecutives
Severite ..... alerte
Destinataire . equipe-exploitation@centre-formation.fr
Action ....... ouvrir un ticket P2 puis appliquer le runbook RUN-APP-01

Une alerte sans propriétaire ni runbook produit une conversation, pas une réparation. Le propriétaire est une équipe nommée, pas « l’informatique ».

Point de contrôle : L’alerte contient le service, la période, la valeur et le lien vers le runbook.

SNMP : interroger les équipements

SNMP, Simple Network Management Protocol, est le langage de la supervision réseau. Un manager interroge des agents installés sur les équipements. Chaque indicateur est identifié par un OID, une suite de nombres dans une arborescence mondiale : 1.3.6.1.2.1.1.3.0 donne la date de démarrage de l’équipement.

Quatre opérations suffisent à décrire le protocole. GET lit une valeur, GET-NEXT parcourt la table suivante, SET modifie une valeur — ce qui peut déclencher un redémarrage à distance, usage à réserver aux cas documentés — et TRAP pousse une alerte de l’équipement vers le manager sans confirmation de réception. INFORM est la version confirmée du trap : l’agent retransmet jusqu’à acquittement.

L’écart entre les versions est décisif. En v1 et v2c, la communauté circule en clair sur le réseau : une simple capture sur le segment la révèle. En v3, USM apporte l’authentification par utilisateur et le chiffrement de la charge utile. La communauté public laissée par défaut est l’anomalie la plus signalée dans les audits.

snmpwalk -v3 -l authPriv -u supervision -a SHA -A MOTDEPASSE -x AES -X MOTDEPASSE 10.10.20.60 1.3.6.1.2.1.1.3.0
 iso.3.6.1.2.1.1.3.0 = Timeticks: (12938400) 36 days, 3:56:24

show snmp user
 snmpv3 supervision grpname Supervision v3 auth sha priv aes 128
Version Authentification Chiffrement Décision d’exploitation
v1 Communauté en clair Aucun À désactiver, aucun usage acceptable
v2c Communauté en clair Aucun À désactiver, la communauté se lit par capture réseau
v3 noAuthNoPriv Aucune Aucun Uniquement en laboratoire isolé
v3 authNoPriv Utilisateur, SHA ou MD5 Aucun Acceptable si seule la lecture compte
v3 authPriv Utilisateur, SHA AES Le standard en production

La communauté public en lecture n’est « que » de la lecture : elle révèle pourtant les versions installées, les interfaces, les tables de routage et la topologie. C’est exactement le relevé dont un indiscret a besoin. On la renomme, on passe en v3 authPriv et on restreint l’accès par une liste de contrôle au seul serveur de supervision.

Point de contrôle : Je justifie le passage en v3 authPriv et je sais lire un OID renvoyé par snmpwalk.

Sauvegardes : règle 3-2-1, RPO et RTO

La règle 3-2-1 est le minimum : trois copies des données, sur deux supports de nature différente, dont une copie hors site. La copie hors site est celle qui protège d’un sinistre local — incendie, inondation, vol du châssis. Une sauvegarde branchée en permanence sur le serveur qu’elle protège ne survit pas à un rançongiciel qui chiffre aussi les partages montés.

Trois stratégies se combinent. La sauvegarde complète copie tout et restaure vite, mais coûte du temps et de l’espace. L’incrémentale ne copie que ce qui a changé depuis la dernière sauvegarde, complète ou incrémentale : elle est rapide, mais la restauration doit rejouer toute la chaîne. La différentielle copie ce qui a changé depuis la dernière complète : compromis entre les deux, avec une restauration en deux étapes.

Ces choix se traduisent par deux engagements. Le RPO, quantité maximale de données que l’on accepte de perdre, fixe la fréquence. Le RTO, durée maximale de rétablissement acceptée par le métier, fixe la méthode. Un RPO d’une heure annoncé avec une sauvegarde quotidienne est une promesse que la sauvegarde ne tient pas.

--- politique de sauvegarde : SERVEUR-APP-01 ---
complete ........... dimanche 02:00, 6 h, 1,2 To
differentielle ...... mercredi 02:00, 1 h 30
incrementale ........ du lundi au samedi 02:00, 20 min
copie hors site ..... vendredi, bande deconnectee apres ecriture
conservation ........ 4 semaines en ligne, 12 mois hors site
rpo vise ............ 24 h        rto a respecter ...... 4 h
Type Ce qui est copié Restauration Emploi typique
Complète Toute la sélection Une seule étape Hebdomadaire, sert de référence
Incrémentale Ce qui a changé depuis la dernière sauvegarde Rejoue la complète puis toutes les incrémentales Quotidienne ou horaire, coût minimal
Différentielle Ce qui a changé depuis la dernière complète Rejoue la complète puis une différentielle Quotidienne, compromis rapidité et espace

Une sauvegarde n’est une garantie que si elle a été restaurée au moins une fois. Une restauration réussie prouve trois choses : la sauvegarde est lisible, elle est complète, et l’équipe sait la rejouer dans le délai annoncé.

Point de contrôle : Je choisis complète, incrémentale ou différentielle selon le RPO et je justifie le RTO par une mesure.

Sauvegardes et reprise

Définir RPO, RTO, périmètre, fréquence et durée de conservation. Une sauvegarde non testée ne constitue pas une garantie de reprise.

Préparer une restauration isolée, valider les données et applicatifs après reprise, puis documenter les accès et la décision de bascule.

Méthode

  1. Capturer la sauvegarde.
  2. Restaurer sur un environnement isolé.
  3. Vérifier données et applicatif.
  4. Mesurer le temps réel.
Point de contrôle : Le temps de restauration est mesuré et inférieur à l’objectif annoncé.

RAID et stockage : ce que le RAID ne protège pas

Le RAID assemble plusieurs disques pour gagner en tolérance de panne ou en performance. RAID 1 met en miroir deux disques : la panne de l’un est transparente, mais la moitié de la capacité est perdue. RAID 5 répartit données et parité sur au moins trois disques et survit à une panne. RAID 6 porte deux parités et survit à deux pannes simultanées. RAID 10 combine miroir et répartition : excellent en écriture, coûteux en capacité.

Le RAID protège d’une panne de disque, et de rien d’autre. Une suppression volontaire ou accidentelle se réplique instantanément sur tous les disques du volume, miroir compris. Un rançongiciel qui atteint le volume monté chiffre aussi la copie synchronisée. Un disque qui se remplit n’est pas une panne : c’est une saturation qui arrête le service sans qu’aucun disque ne soit en défaut.

Un contrôle SMART signale une dégradation naissante bien avant la panne : secteurs réalloués, erreurs de lecture en hausse. Une reconstruction de volume RAID 5 sur un disque de grande capacité prend plusieurs heures et laisse le volume fragilisé : une deuxième panne pendant la reconstruction perd le volume. C’est l’argument principal pour RAID 6 sur les baies de forte capacité.

cat /proc/mdstat
 md0 : active raid5 sda1[0] sdb1[1] sdc1[2]      1953378816 blocks level 5

smartctl -a /dev/sda | grep -i reallocated
 5 Reallocated_Sector_Ct   0x0033   100   100   036    Pre-fail  Always   -  24

mdadm --detail /dev/md0
 State : clean, degraded, reconstructing   Rebuild Status : 43 % complete
Niveau Disques minimum Tolérance en panne Capacité utile Emploi
RAID 1 2 1 disque 50 % Système, petite base
RAID 5 3 1 disque n − 1 disques Serveurs de fichiers, coût optimisé
RAID 6 4 2 disques n − 2 disques Baies de forte capacité
RAID 10 4 1 disque par miroir 50 % Bases transactionnelles, écriture intensive
graph TD S["Suppression accidentelle"] --> R1["Volume RAID 1"] S --> R2["Volume RAID 10"] R1 -->|"réplication immédiate"| X["Données perdues"] R2 -->|"réplication immédiate"| X S -->|"restauration depuis la sauvegarde"| OK["Données récupérées"]

Un RAID ne remplace jamais une sauvegarde. Suppression, rançongiciel, remplissage, formatage par erreur, mise à jour ratée : aucune de ces situations n’est réparée par la redondance disque, parce que la faute est logique, pas matérielle.

Point de contrôle : Je choisis un niveau de RAID selon le service et je dis précisément ce que le RAID ne couvre pas.

Mises à jour constructeur

Une mise à jour constructeur se prépare comme une intervention : on sait ce que l’on installe, pourquoi, et comment on revient en arrière. Le bulletin de correctif se lit avant : ce qu’il corrige, ce qu’il casse, les versions sources acceptées et les prérequis. Une mise à jour appliquée « parce qu’elle est récente » n’est pas une raison.

La fenêtre de maintenance est le cadre contractuel du changement : créneau annoncé, périmètre, durée prévue, mode dégradé accepté et communication aux utilisateurs. On y ajoute une sauvegarde fraîche de la configuration et du système, prise juste avant l’intervention et non la veille.

Le retour arrière se décide avant, pas pendant : on écrit le critère d’échec — par exemple le service métier injoignable trente minutes après l’installation — et le délai au-delà duquel on restaure. Sans critère écrit, la fenêtre se prolonge et la décision se prend à trois heures du matin, fatigué.

--- fenetre de maintenance : commutateur relais B3 ---
Perimetre ........ site B uniquement
Horaire ......... samedi 06:00 a 08:00
Sauvegarde ...... conf B3 + systeme, prise a 05:40 et verifiee a 05:52
Version .......... 15.2(7)E7 -> 15.2(7)E9
Critere d echec .. relais DHCP injoignable 30 min apres installation
Retour arriere ... restaurer B3-15.2.7E7.cfg puis reload
Communication ... mel aux utilisateurs vendredi 16:00

Une mise à jour qui impose un redémarrage s’annonce comme un arrêt de service, même si le redémarrage ne dure que trois minutes. L’utilisateur qui travaillait à cet instant ne distingue pas un redémarrage planifié d’une panne.

Méthode

  1. Lire le bulletin du constructeur et confirmer que la version corrige un problème réel du parc.
  2. Vérifier les prérequis : versions sources acceptées, licences, espace disque, compatibilité des modules.
  3. Planifier la fenêtre de maintenance, informer les utilisateurs et obtenir l’accord du responsable de service.
  4. Sauvegarder la configuration et le système juste avant l’intervention, puis vérifier que la sauvegarde est lisible.
  5. Appliquer la mise à jour sur un équipement ou une machine de référence, puis valider la fonction métier concernée.
  6. Déployer sur le reste du parc pendant la fenêtre, en notant l’heure de chaque action dans le registre.
  7. Vérifier la supervision après redémarrage : agent joignable, indicateurs qui remontent, alertes qui se taisent.
  8. En cas d’échec au-delà du critère fixé, restaurer la sauvegarde, confirmer le retour à l’état initial et replanifier.
Point de contrôle : Je récite les huit étapes et je sais écrire le critère de retour arrière avant de commencer.

Astreinte et accès distant

L’astreinte ne fonctionne que si l’astreint peut agir depuis l’extérieur, sans être sur place et sans qu’on ait à installer un pont de connexion. Le canal se sécurise par un VPN — IPsec ou TLS — qui n’ouvre que les réseaux d’administration, puis par SSH version 2 avec compte nominatif et authentification à deux facteurs.

Telnet est à proscrire sans discussion : il transmet mot de passe et commandes en clair, et une capture sur le segment suffit à prendre la main sur l’équipement. La console HTTP d’administration se remplace par HTTPS, et SNMP par la version 3.

Deux gestes sont interdits en intervention. Supprimer un objet « pour voir si c’est la cause » : la session est coupée, la cause disparaît avec le journal et l’on ne sait plus ce que l’on a modifié. Redémarrer « pour débloquer » : c’est une modification, pas un diagnostic, et elle détruit les indices qui permettraient de comprendre. La séquence correcte est lecture complète de l’état, corrélation, puis action mesurée.

show users | include vty
 Line       User       Host(s)              Idle       Location
 * 2 vty 0  nferrand   idle                 00:00:12   10.10.99.24

clear line vty 2

ip ssh version 2
ip ssh time-out 60
line vty 0 4
 transport input ssh
Élément Exigence Conséquence si absent
Canal VPN IPsec ou TLS, jamais d’accès direct Le trafic d’administration circule en clair
Identité Compte nominatif et second facteur Le compte partagé est intraçable par personne
Portée Le VPN n’ouvre que les réseaux d’administration Le tunnel donne accès à tout le réseau
Traçabilité Journalisation des sessions et des commandes On ignore qui a modifié la configuration
Repli Procédure si le VPN ne monte pas Personne ne peut intervenir à distance
graph LR A["Astreint à distance"] -->|"VPN IPsec ou TLS"| B["Pare-feu périmétrique"] B -->|"SSH v2 + second facteur"| C["Réseau administration"] C --> D["Journal de session"] D -->|"non résolu"| E["Escalade vers le constructeur"

Un accès distant ouvert « pour une intervention » puis jamais refermé est le début de la plupart des compromissions. L’accès se ferme à la fin de l’intervention et la fermeture se vérifie dans le registre, pas dans la mémoire de l’intervenant.

Point de contrôle : Je justifie VPN plus SSH, j’interdis Telnet et je connais les deux gestes à ne jamais faire.

Documentation d’exploitation

La documentation d’exploitation décrit l’état en service, pas l’état livré. Elle répond à une question précise : un collègue qui n’était pas là peut-il reprendre lundi matin sans moi ? Si la réponse est non, la documentation est incomplète, quelle que soit sa taille.

Trois documents portent l’essentiel. La cartographie donne le schéma physique et logique, les réseaux locaux virtuels et le plan d’adressage : sans elle, un diagnostic part à l’aveugle. Le runbook donne, par équipement ou par service, les commandes de diagnostic, la procédure de redémarrage et le retour arrière. Les registres — accès, changements, incidents — donnent la mémoire de ce qui a été fait.

Une documentation se met à jour à un moment défini : à chaque changement pour la cartographie, après chaque incident pour le runbook, à chaque création pour le registre des accès. Un runbook écrit pendant une panne puis jamais relu décrit un état qui n’existe plus, et fait perdre du temps le jour où il servira.

RUNBOOK SRV-APP-01
 1) systemctl status app              etat du service
 2) journalctl -u app --since -30 min journaux applicatifs
 3) df -h /var                       occupation disque
 4) ss -ltnp | grep 8080             ecoute applicative
 retour arriere : restaurer conf-app-01.tar.gz puis systemctl restart app
 contacts : responsable applicatif 06 00 00 00 00
Document Contenu Déclencheur de mise à jour
Cartographie physique et logique Baies, liens, réseaux locaux virtuels, plan d’adressage Chaque changement de topologie
Tableau des équipements Référence, version, licence, numéro de série, emplacement Chaque livraison ou mise à jour
Runbook par équipement Diagnostic, redémarrage, retour arrière, contacts Après chaque incident
Procédures d’exploitation Ajout d’un utilisateur, ajout d’un réseau local virtuel, extension Chaque semestre
Registre des accès Qui détient quel accès, depuis quand, pourquoi Chaque création ou suppression
Registre des incidents et changements Date, cause, action, durée, prévention Chaque événement
Point de contrôle : Je produis un runbook qu’un collègue peut suivre à trois heures du matin et je dis quand chaque document se met à jour.

Qualifier un incident avant d’agir

Avant toute commande, qualifier : quel service est touché, depuis quand, pour qui, et ce qui a changé récemment. Une modification, une mise à jour ou un changement de câblage survenus dans les minutes qui précèdent expliquent la majorité des incidents. Cette question évite des heures de diagnostic dans la mauvaise couche.

Quatre questions structurent l’analyse. Quel est le périmètre exact — un utilisateur, un site, tout le monde ? Qu’est-ce qui fonctionne encore, ce qui réduit le champ ? Quand le symptôme a-t-il commencé et que s’est-il passé juste avant ? Qu’a-t-on changé récemment, même en pensant que c’était sans risque ?

La pile OSI sert alors de guide de dépouillement, de la couche physique vers la couche applicative. On remonte tant que la couche examinée est saine, et l’on s’arrête à la première couche en défaut : c’est elle que l’on corrige, pas celle du dessus ni celle du dessous.

Couche OSI Question à se poser Vérification typique Symptôme associé
1 — Physique Le lien est-il établi ? Voyant, câble, alimentation, port Aucune liaison, équipement éteint
2 — Liaison Adresses et réseaux locaux virtuels sont-ils justes ? show interfaces, show mac address-table Voisinage absent, erreurs CRC
3 — Réseau Routage et adressage sont-ils corrects ? show ip route, ping de la passerelle Passerelle injoignable, routage asymétrique
4 — Transport Le port et la session passent-ils ? Vérification du port, ss, listes de contrôle Connexion refusée ou qui expire
5 à 7 — Session, présentation, application Le service répond-il correctement ? Journaux applicatifs, sonde HTTPS Erreurs 5xx, réponse lente
graph TD Q["Incident signalé"] --> A["Quel service, depuis quand, pour qui"] A --> B["Qu’est-ce qui a changé récemment"] B --> C["Couche 1 physique"] C -->|"saine"| D["Couche 2 liaison"] D -->|"saine"| E["Couche 3 réseau"] E -->|"saine"| F["Couche 4 transport"] F -->|"saine"| G["Couches applicatives" G -->|"défaut trouvé"| H["Correction mesurée" H --> I["Vérification puis retour d’expérience"]

Le diagnostic raté le plus fréquent consiste à corriger une couche alors que le défaut est ailleurs : on remplace un câble parce que la couche physique est facile à tester, alors qu’une route manquante en couche 3 explique tout. On remonte la pile dans l’ordre et l’on s’arrête à la première couche en défaut.

Point de contrôle : Je qualifie l’incident en quatre questions avant toute commande et je remonte la pile OSI sans sauter d’étape.

Retour d’expérience

Après un incident, décrire la chronologie, les signaux manqués, l’impact et les décisions. Chercher les causes de système et les actions qui rendent la détection plus rapide.

Le retour d’expérience ne désigne pas un coupable : il cherche ce qui a permis à l’incident de durer. Un signal était-il disponible et non surveillé ? Le runbook était-il à jour ? La sauvegarde avait-elle été restaurée au moins une fois ?

Mettre à jour les alertes, runbooks, sauvegardes et indicateurs. Une action sans propriétaire ni échéance n’est pas un plan d’amélioration.

Fait : saturation mémoire; Impact : 12 % d’erreurs; Action : seuils mémoire et test de charge avant le 30/06.
Point de contrôle : Le retour d’expérience contient au moins une action testée et une échéance.

Livrables et validation

Le livrable doit montrer une compréhension personnelle, des choix explicités et une vérification par un cas de test ou une procédure reproductible.

  • Un tableau de bord avec objectifs, sources de mesure et seuils justifiés.
  • Une matrice de tests : chaque alerte du tableau des seuils est déclenchée artificiellement et la réception par le bon destinataire est vérifiée.
  • Une procédure de sauvegarde 3-2-1 et une restauration testée, avec durée mesurée.
  • Un runbook d’exploitation avec cartographie, procédure de retour arrière et registres.
  • Un relevé d’indicateurs mensuels : disponibilité réelle, latence au 95e centile, taux d’erreur, saturation maximale et cumul d’indisponibilité comparé au budget du service.
  • Un modèle de retour d’expérience d’incident avec actions, propriétaires et échéances.
Critère de réussite : La continuité est validée par une alerte reçue et actionnée, une restauration mesurée dans le délai annoncé et un exercice documentant le temps de récupération, comparé chaque mois aux indicateurs du service.

Publié le 29/11/2025