Panne OVH du 13 Octobre 2021

Aujourd'hui, à partir de 9h24, une panne générale touche tous les services OVH : réseau, datacenter, téléphonie IP, stockage, etc... Il n'y a pas lieu de penser que les données soient en danger pour le moment.

---

9h24 : Tout clignote, chef !

Notre supervision nous indique que tous nos services hébergés chez OVH sont down. Après un rapide état des lieux, les failover sont activés pour les clients qui en dispose. Nous communiquons en direct sur Twitter et LinkedIN et nous mettons un message d'information sur notre numéro de téléphone.

Nos 2 autres centres de données, dont le microdatacenter d'Angers sont pleinement fonctionnels et accueillent la nouvelle charge induite par cette panne pour les clients qui ont souscrit à la solution de secours.

Cause de la panne ?

Nous savons qu'une maintenance était prévue sur l'un des datacenters d'OVH en vue d'en améliorer le routeur, mais qu'aucun impact n'était prévu. Quelque chose s'est donc mal passé, mais il est trop tôt pour savoir quoi.

Network and racks:: VIN/DC: We will do a maintenance on our routers on VIN DC to improve our routing.
Maintenance is planned for 13/Oct/21 9:00 AM to 10:30 AM ( UTC+2). No impact expected, device will be isolated before the change.

10h38 : fin d'incident.

La cause est connue : une erreur humaine a fait tomber le backbone (c'est à dire le réseau principal, véritable dorsale de tous les services). Le datacenter en cause est isolé et le réseau revient progressivement en ligne. Nous contactons nos clients pour nous assurer que tous les services sont opérationnels pour eux et leur expliquer les raisons de la panne.