L’incendie s’est déclaré cette nuit et vers 4h du matin, l’annonce est tombée : SBG2 détruit, SBG1 partiellement touché, SBG3 et SBG4 intact mais à l’arrêt. Pas de blessé dans les équipes OVH. L’activation des plans de PRA est recommandée par OVH.
Chronologie de l’incident.
A 23h42, une tâche travaux est ouverte, indiquant une perturbation dans SBG1. Jusque là, rien de bien grave, les équipe d’OVH surveillent les datacenter 24/7 et interviennent rapidement, même la nuit.
A 1h22, les équipes annonce que 2 salles sont principalement touchée, mais n’indiquent pas encore qu’il s’agit d’un incendie : « Plusieurs services sont actuellement impactés majoritairement dans les salles 71 et 72 du datacentre de SBG(Strasbourg). »
A 3h53, l’annonce officielle tombe :
Nous faisons actuellement face à un incident majeur au sein de notre datacentre de Strasbourg, avec un feu déclaré dans le bâtiment SBG2.
Les pompiers sont intervenus immédiatement sur place mais ne sont pas parvenus à contrôler l’incendie de SBG2.
Par mesure de précaution, l’électricité a été coupée sur l’ensemble du site, ce qui impacte tous nos services à SBG1, SBG2, SBG3 et SBG4.
Si votre production est à Strasbourg, nous vous recommandons d’activer votre Plan de Reprise d’Activité.
Toutes nos équipes sont mobilisées aux côtés des pompiers.
Nous vous tiendrons informés à ce sujet dès que nous aurons davantage d’éléments.
L’information était ensuite confirmée par le fondateur d’OVH, Octave KLABA, sur son compte Twitter.
A 7h20, il annoncait que le feu était maitrisé, mais que les équipes d’OVH n’ont pas accès au site. Par conséquent, les serveurs encore fonctionnels ne pourront pas être redémarrés dans la journée.
A 7h36, un journaliste des DNA publie une vidéo des pompiers encore en intervention. On peut avoir une idée de la force de l’incendie et de l’étendue des dégâts.
A 11h40, Octave Klaba communique par son compte Twitter. Les serveurs restent éteints mais SBG3 n’est pas touché, dans SBG1, 4 salles sont détruite. L’intégralité de SBG2 est détruite. Il n’est pas possible pour le moment d’avoir une précision sur la remise en activité. Un communiqué officiel est diffusé sur le site d’OVH.
A 13h07, nouvelle communication sur le délai nécessaire à une remise en service de ce qui n’est pas détruit sur le site. Il faudra entre 1 et 2 semaines pour reconstruire les arrivées et circuits électriques et rétablir le réseau fibre vers les autres datacenter du groupe. Les clients doivent reprendre leurs sauvegardes. Le portail de gestion « Manager OVH » est fortement sollicité et ne répond plus par moment. Un beau geste serait que les clients qui ne sont pas concernés par le problème de Strasbourg ne l’utilisent pas pour laisser ceux qui en ont besoin y accéder.
Le 11/03/2021, on commence à avoir une idée de l’étendue des sites concernés : 3.6 millions de sites web hors ligne correspondant à presque 500 000 noms de domaines (source Netcraft)! Soit 18% des adresses IP attribuées à OVH.
Tous les datacenters encore instacts de SBG seront remis en ligne la semaine prochaine. Dès Lundi pour SBG1 et 4 et Vendredi pour SBG3.
Peut-être y aura-t-il un RETEX (Retour d’expérience) dans quelques semaines, OVH étant habitué à une certaine transparence lors des évènements majeurs.
Aucun impact pour les services LEMNIA chez OVH.
Un incendie de cette ampleur, dans un datacenter réputé pour être un endroit extrêmement contrôlé, est un évènement rarissime. Mais l’actualité montre que ce n’est pas impossible.
Aucun de nos serveurs de production n’est situé sur le site d’OVH Strasbourg. Il n’y a donc pas de rupture dans nos services.
Mais si cela arrivait…
Nous avons choisi de faire appel à plusieurs sites et plusieurs salles chez OVH, qui n’est pas notre seul fournisseur. Les sauvegardes sont stockées en dehors de l’infrastructure OVH.
Cette situation a donc été anticipée. Mais il reste néanmoins qu’il s’agit d’un évènement majeur. Le pire qui puisse se produire dans un datacenter. Il est impossible de ne pas avoir un impact sur la production dans ce type de situation, même si tout est fait pour que les conséquences soient les plus limitées possibles. On en peut que rappeler que la stratégie de sauvegarde est essentielle. Elle trouve son sens lors de ce genre d’évènement.
Nous souhaitons un bon courage aux équipes d’OVH, ainsi qu’à leurs clients impactés.