PostMortem : Incident core/svn/zone.spip.net : 05-07 mars 2020

Bonjour

Un incident a eu lieu entre le 05 et le 07 mars 2020. Voici le
récapitulatif de ce qui est a eu lieu.

05/03/2020 : Intervention à proximité de la baie serveur
  15h08 : Micro coupure électriques
               Alerte des sondes incident
  15h10 : Alerte des sondes rétablissement
               Aucun impact sur les machines
  15h13 : Micro coupure électriques
               Alerte des sondes incident
  15h16 : Alerte des sondes rétablissement
  15h20 : Contrôle manuel des machines (comme git, et autre services internes)
               Aucun incident identifié sur les machines controlèes (+
uptime complet)

06/03/2030
  13h44 : Notification par SMS de maieul
  15h00 : Consultation du message
  17h30 : Redémarrage du service trac
               Redémarrage du service core
               Redémarrage du serveur hébergeant svn
  22h40 : Redémarrage du service svn
               Redémarrage du service de messagerie personnelle

07/03/2020
   11h50 : Redémarrage du service svn

Autrement dit il y a plusieurs problèmes suite à l'incident électrique :
* certains serveurs physiques ont été plus sensibles que d'autres
* la salve d'alerte (incident et rétablissement) a caché le fait que
tout n'était pas remonté
* j'étais sur d'autres actions ce qui a réduit ma disponibilité pour
traiter sereinement toute les alertes
* un des serveur était actif mais sans lancer les services spip (faux positif)
* ma messagerie personnelle était tombée en même temps et je n'ai reçu
des notifications que tardivement (et n'étant pas scotché dessus, 24
ou 48h sans lire de mail ne m'a pas choqué)


Km