Re: PostMortem : Incident core/svn/zone.spip.net : 05-07 mars 2020

Le 07/03/2020 à 12:13, [email protected] a écrit :
> Bonjour
>
> Un incident a eu lieu entre le 05 et le 07 mars 2020. Voici le
> récapitulatif de ce qui est a eu lieu.
>
> 05/03/2020 : Intervention à proximité de la baie serveur
>    15h08 : Micro coupure électriques
>                 Alerte des sondes incident
>    15h10 : Alerte des sondes rétablissement
>                 Aucun impact sur les machines
>    15h13 : Micro coupure électriques
>                 Alerte des sondes incident
>    15h16 : Alerte des sondes rétablissement
>    15h20 : Contrôle manuel des machines (comme git, et autre services internes)
>                 Aucun incident identifié sur les machines controlèes (+
> uptime complet)
>
> 06/03/2030
>    13h44 : Notification par SMS de maieul
>    15h00 : Consultation du message
>    17h30 : Redémarrage du service trac
>                 Redémarrage du service core
>                 Redémarrage du serveur hébergeant svn
>    22h40 : Redémarrage du service svn
>                 Redémarrage du service de messagerie personnelle
>
> 07/03/2020
>     11h50 : Redémarrage du service svn
>
> Autrement dit il y a plusieurs problèmes suite à l'incident électrique :
> * certains serveurs physiques ont été plus sensibles que d'autres
> * la salve d'alerte (incident et rétablissement) a caché le fait que
> tout n'était pas remonté
> * j'étais sur d'autres actions ce qui a réduit ma disponibilité pour
> traiter sereinement toute les alertes
> * un des serveur était actif mais sans lancer les services spip (faux positif)
> * ma messagerie personnelle était tombée en même temps et je n'ai reçu
> des notifications que tardivement (et n'étant pas scotché dessus, 24
> ou 48h sans lire de mail ne m'a pas choqué)
>
>
> Km
> _______________________________________________
> liste: https://listes.rezo.net/mailman/listinfo/spip-dev
> doc: https://www.spip.net/
> dev: https://core.spip.net/
> irc://irc.freenode.net/spip
> .

Bravo pour les explications (précises), mais d'abord MERCIS pour le 
travail (permanent)....

-- 
YannX
http://www.spippourlesnuls.fr