Incendie d'OVH : l'heure du bilan

Chargement de votre vidéo
"Incendie d'OVH : l'heure du bilan"

Incendie d'OVH : l'heure du bilan 120 000 services d'OVHCloud ont été totalement ou partiellement touchés. L'événement a engendré un séisme sur le marché de l'assurance des data centers.

L'incendie qui a touché le campus d'OVH à Strasbourg le 10 mars 2021 a engendré un petit séisme sur le marché du data center. "Les appels d'offres des clients requièrent désormais des informations sur l'assurance de l'infrastructure, mais aussi des certifications APSAD (qui concernent le mode de construction et de fonctionnement d'un bâtiment en termes de sécurité, ndlr)", indique Arnaud de Bermingham, président de Scaleway, dans un podcast au JDN. Qu'en est-il des politiques des assureurs ? "Les primes de risque sont revues, voire même des clients résiliés. Les contrats seront conditionnés par des prérequis de certification complémentaires. Ce mouvement ne concerne pas uniquement la France", constate Arnaud de Bermingham. 

Ces informations interviennent alors qu'un rapport d'expertise de Bureau Veritas sur la sécurité incendie du site de Roubaix, où l'opérateur héberge plus de 130 000 serveurs (contre 62 000 pour le site de Strasbourg), révèle les manques de la sécurité incendie de l'implantation historique. Comme à Strasbourg, le campus Roubaix n'est pas équipé de système automatique d'extinction (PJ N°4 de l'Etude d'impact) : "les installations ne sont pas équipées de RIA actifs, de systèmes de brouillard d'eau ou d'extinction automatique par sprinklage." Pas de mention d'extinction par gaz non plus (lire l'article Un rapport de Bureau Veritas révèle les manques de la sécurité incendie du site de Roubaix).

Suite à un premier incendie le 10 mars qui a détruit un des datacenters d'OVHCloud à Strasbourg et endommagé un second, un nouveau feu a pris vendredi 19 mars à 19h sur l'implantation. Il s'est déclaré au sein d'un conteneur hors tension du centre de données Strasbourg 1 (SBG 1), faisant office de local de stockage de batteries. 300 batteries de 25 kg ont été impactées. "Aucun blessé n'est à déplorer parmi les équipes d'OVHcloud ou de ses partenaires. Deux personnes de la sécurité ayant été incommodées par les fumées ont été examinées par des professionnels de santé", précise le groupe. L'incendie a été rapidement maitrisé par les pompiers. Mobilisant 130 personnes, les opérations visant à remettre les infrastructures en production suite au premier incendie ont été interrompues pour la nuit. L'alimentation de SBG 1 dont les serveurs étaient en cours de redémarrage, a été coupée par mesures de précaution. Dans la foulée, OVHCloud a annoncé que tous les serveurs SBG 1 seraient finalement déplacés sur d'autres datacenters situés sur le site de Strasbourg, ou sur ses campus de Gravelines et Roubaix, avec un passage par son usine de Croix pour être dépollués suite au dégagement de fumée. Une décision qui a semble-t-il été prise en lien avec son assureur. L'origine de ce second incident est toujours indéterminée.

Photo de l'incendie du site d'OVH à Strasbourg le 10 mars au matin. © Service d'incendie et de secours du Bas-Rhin

OVH avait commencé dans la nuit du 17 mars à rebooter progressivement les machines encore fonctionnelles sur Strasbourg 3 et 4 après vérification de l'état de chacune.  Le 22 mars, la Cnil a publié sur son site web une note le lundi 22 mars. Son titre est sans équivoque : "Incendie OVH : faut-il notifier à la CNIL ?" . Dans ce document, la commission rappelle qu'une notification est nécessaire "si des données personnelles ont été définitivement perdues ou si elles sont restées indisponibles suffisamment longtemps, de telle sorte que cela a engendré un risque pour les personnes." Elle ajoute : "Si la violation est susceptible d'engendrer des risques élevés pour les personnes, celles-ci doivent également être directement informées par le responsable de traitement." 

Six mois offerts en cas de perte de données

Le 22 mars dans l'après-midi, Octave Klaba a posté une troisième vidéo sur Twitter pour faire le point sur la situation. Concernant l'enquête en cours sur l'incendie, le CEO insiste sur le nombre d'intervenants : police judiciaire, BEA, assureurs, experts indépendants, huissiers... "Cette enquête va prendre plusieurs mois. Nous en partagerons évidemment toutes les conclusions", insiste le PDG. Mais Octave Klaba entend tirer les enseignements du sinistre sans attendre. "Nous avons décidé de créer un laboratoire pour travailler sur les différents cas de départ de feu au sein d'un datacenter, sur la capacité des portes et cloisons à maintenir le feu, et sur les méthodes d'extinction les plus efficaces selon les cas de figure. Nous comptons publier ces méthodes en open source pour en faire bénéficier le maximum d'entreprises".

Dans une vidéo précédente diffusée le 16 mars, Octave Klaba avait indiqué que les clients bénéficieraient de trois mois gratuits en cas d'une coupure de service et de six mois gratuit en cas de perte de données. 

L'offre Private Cloud touchée en plein cœur

Le groupe a dressé un état des lieux des sauvegardes de données non-récupérables ou en cours d'investigation en fonction du centre de données utilisé et du service souscrit. Une information cruciale pour permettre à ses clients de restaurer leur site web et autres applications cloud sans attendre. Principale surprise : au sein de SBG1, l'offre de cloud privé d'OVH (Private Cloud) était hébergée dans une salle, et son backup dans une autre salle du même datacenter. Les deux ont été détruites dans l'incendie. A moins d'avoir pris la précaution de mettre en œuvre un second backup chez un autre provider, les données sont donc perdues. 

Rappelons que la solution Private Cloud est historiquement positionnée sur le haut de gamme. Par ailleurs, 20% des sauvegardes des VPS/PCI basés sur l'infrastructure alsacienne d'OVH sont aussi parties en fumée. Les clients dont les backups font partie de ses 20% n'ont plus qu'à espérer que leur(s) serveur(s) privé(s) virtuel(s) ont été épargnés (lire l'article Comment réagir si mon site web est impacté par l'incendie d'OVH ?).

De nombreux backups irrécupérables

La facturation a par ailleurs été suspendue à la date de l'incendie pour tous les clients utilisant les services sur les les datacentres d'OVH à Strasbourg. En attendant leur remise en service, des infrastructures alternatives leur on été proposées gratuitement (serveur bare metal, Hosted Private Cloud et Public Cloud) sur les centres de données du groupe à Roubaix et Gravelines. OVH a par ailleurs mis en ligne un questions-réponses à destination de ses clients pour leur permettre de faire face à la situation. 

Le feu aurait pris dans un onduleur

Le PDG du groupe, Octave Klaba, a pris la parole une première fois sur Twitter le 11 mars. Une vidéo de 8 minutes dans laquelle il revient sur les circonstances de l'événement. Le CEO présente ses excuses aux clients et promet qu'un tel événement ne se reproduira pas. Voici ce qu'il faut retenir :

  • L'incendie a pris dans le datacenter SBG2 qui a été entièrement détruit. Les alertes incendie ont bien fonctionnées. Mais le feu s'est répandu trop rapidement pour permettre aux agents sur site d'intervenir. 
  • OVH met à disposition des clients impactés des ressources alternatives (serveurs dédiés, Public Cloud, Private Cloud) dans ses datacenters de Roubaix et de Gravelline.
  • Le rythme de fabrication dans l'usine d'OVHCloud à Croix passe à 2500-3000 serveurs par jour pour répondre à la demande. 
  • Les caméras thermiques des pompiers arrivés sur place 15mn après la première alerte ont détecté deux onduleurs en feu au sein de SBG2, dont l'un avait fait l'objet d'interventions le jour même dans la matinée avant d'avoir été remis en service dans l'après-midi. 
  •  SBG2 repose sur une technologie qui remonte à 2011. Il s'agit d'une tour autoventilée qui fonctionne par la différence de pression entre le haut et le bas de l'édifice.  De génération 2016, SBG3 repose sur une technologie qui a évité son embrasement.
  • OVH compte utiliser les vidéos des 300 caméras de surveillance de son site de Strasbourg pour retracer l'historique de l'incendie, comprendre précisément ce qui s'est passé en vue d'en tirer tous les enseignements.

Un déflagration pour la  French Tech

Suite à l'incendie qui s'est déclaré dans la nuit du 9 au 10 mars sur le site d'OVHCloud à Strasbourg, 3,6 millions de serveurs HTTP représentant 464 000 noms de domaines se sont retrouvés hors ligne. Le chiffre est publié par Netcraft, spécialiste américain du monitoring d'Internet. "Plus de 18% des adresses IP attribuées à OVH dans notre dernière Web Server Survey publiée il y a deux semaines ne répondaient plus le 10 mars entre 7h et 8h du matin", indique Netcraft. De son côté, Downdetector recensait au même moment plusieurs centaines de rapports d'erreur. OVHCloud évoque quant à lui 12 000 à 16 000 clients touchés. Alors que les GAFAM pénètrent l'Europe avec une force concurrentielle sans merci, c'est une véritable déflagration pour la French Tech dont l'image va de facto se ternir. Son porte-flambeau a subi la plus importante catastrophe industrielle de son histoire.

Le datacenter Strasbourg 2 (SBG2) du cloud français a été entièrement ravagé par les flammes. Du côté du SBG1, quatre salles serveurs ont été détruites. Huit ont échappé à l'incendie, ainsi que les salles réseau. Les serveurs de SBG3 n'ont pas non plus été touchés. 

Un communiqué de presse a été diffusé par l'entreprise dans les heures suivant la déclaration de l'incendie :  "Ce mercredi 10 mars 2021, à 00h47, un incendie s'est déclaré dans une salle d'un de nos quatre datacentres strasbourgeois, SBG2. Nous précisons que le site ne fait pas l'objet d'une classification Seveso. Les pompiers sont immédiatement intervenus sur site afin de protéger les équipes et limiter la progression de l'incendie. Ils ont ainsi procédé à l'isolation complète du site et de son périmètre dès 2h54.  À 4h09, le feu a détruit SBG2 et continuait de présenter des risques pour les datacentres voisins jusqu'à ce que les pompiers prennent le contrôle complet de l'incendie." Le PDG d'OVHCloud a immédiatement recommandé à tous ses clients d'activer le "Disaster Recovery Plan". 

115 pompiers mobilisés

L'implantation d'OVHCloud à Strasbourg est situé sur un ancien site du sidérurgiste ArcelorMittal dans le quartier du Port du Rhin. Mobilisant 115 pompiers, 43 véhicules, six lances-canons et deux échelles, l'incendie a finalement été circonscrit aux alentours de 5h30 du matin le 10 mars. "Des moyens opérationnels ont également été mobilisés par les autorités allemandes", souligne  la préfecture du Bas-Rhin dans un communiqué. Les quelques collaborateurs présents sur site ont rapidement été pris en charge par les pompiers. 

Aux côtés de SBG2 qui a été entièrement détruit, le datacenter SBG1 aura donc été largement touché. "Les pompiers ont pu protéger SBG3. Pas d'impact sur SBG4 ", a tweeté Octave Klaba. 

SBG2, le datacenter où le feu s'est déclaré, compte cinq étages et s'étend sur un total de 1900 m2. Les flammes sont montées à plusieurs dizaines de mètres. Inauguré en 2012, il possède une capacité de 14 000 serveurs. Il abrite une partie de la très stratégique offre Hosted Private Cloud ciblant les grands clients d'OVHCloud. Cette solution d'IaaS basée sur la technologie de virtualisation de  VMware est entièrement infogéree par les équipes du groupe. SBG2 héberge également des serveurs dédiés utilisés par de nombreux sites web français.

S'exprimant sur Twitter, certains clients ayant omis de faire une sauvegarde de leurs données se sont retrouvé en grande difficulté. C'est le cas du jeu Rust, ou encore du cabinet d'huissiers Leroi & Associés qui a indiqué avoir perdu ses mails suite à l'incendie. A l'image de ce cabinet, de nombreux utilisateurs issus de presque toutes les régions de France s'inquiétaient le 10 mars sur le forum de Downdetector de l'impossibilité d'accéder à leur messagerie chez OVH. Le service de Mail du groupe a été remis en service le 11 mars à 1h22 du matin.

Des conséquences qui démontrent l'importance de souscrire à un service de sauvegarde sur un datacenter situé sur une autre géographie, voire chez un autre provider pour pallier les pannes qui pourraient affecter tous les centres de données du fournisseur, tel un crash réseau se répercutant par richochet à tous les services. 

Un plan de reprise d'activité a été immédiatement déployé. Au programme : la remise en service de l'alimentation électrique du datacenter SBG3 (de 20 KV), mais aussi celles de SBG4 (de 240 KV). Une salle réseau temporaire a été mis en place pour le SBG5. Enfin, le raccordement en fibre optique aux datacenters d'OVHCloud de Paris et Frankfurt a d'ores et déjà été contrôlé et n'a pas été touché par l'incendie.

De multiples sites web touchés

On a relevé évidemment de nombreux sites touchés : data gouv (qui a depuis été remis en ligne), les sites d'Esri France, du Centre Pompidou à Paris, du CREPS Rhône-Alpes, de la Fédération des Médecins de France, de Génération 5, du Kiosque So Press, de l'Office de tourisme de Colmar... 

Nos confrères des DNA ont également recensés les sites suivants : ceux de l'aéroport de Strasbourg, de l'ENT (espace numérique de travail) ONE & NEO à Sarreguemines, de la ville de Cherbourg, du comité d'entreprise de Peugeot-Sochaux, de la brasserie Meteor, du site de réservation de scooters électriques Cityscoot (en région parisienne), de la ville de Vichy, du club de rugby de Clermont-Ferrand, du site de l'UPR (le parti politique de François Asselineau), du stade de Caen, de l'office de tourisme de Saverne, celui de Recyclivre, de l'université populaire européenne. A noter que des sites allemands, italiens, espagnols, polonais ou turcs sont aussi touchés par la panne.

BFM a évoqué de son côté les sites et services suivants : ceux des villes d'Arras ou de Saint-Ouen, plusieurs médias, dont Le Nouveau détective et Front populaire, le média lancé par Michel Onfray. Le site Internet de la chaîne a également cité des clubs sportifs, dont l'ASM Rugby, l'US Créteil Handball ou encore l'AS Saint-Priest.

Un système anti-incendie peu efficace

Reste à savoir si le système anti-incendie déployé dans les datacenters d'OVH à Strasbourg a bien fonctionné. Un dispositif de détection des feux y est bien installé, et des exercices anti-incendie y sont réalisés tous les 6 mois. Mais les premières flammes qui se sont déclarées au sein du datacenter SBG2 ont-elles été identifiées par ce système ? Les procédures prévues ont-elles été correctement mises en œuvre ? Au-delà de ces questions, une certitude demeure : Les centres de données d'OVHCloud à Strasbourg ne sont pas dotés de réseaux d'extinction. Ils ne sont pas équipés de gicleurs d'eau comme c'est le cas dans les datacenters d'OVHCloud à Beauharnois au Canada, ni de brumisateurs haute pression permettant de résorber les flammes tout en protégeant les machines contre l'eau, ni de gaz inerte, à l'instar de la plupart des datacenters du marché. Des gaz qui ont pour vocation de vider les salles serveurs de leur oxygène pour étouffer l'incendie en évitant là-encore de causer des dégâts aux équipements. 

Le vendredi 26 mars, l'intégralité du data center SBG4 était de nouveau fonctionnelle, ce qui n'était pas encore le cas de SBG3

L'information intervient alors qu'OVHCloud a annoncé ce 9 mars son intention d'entrée en bourse. Octave Klaba et sa famille entendent néanmoins conserver la majorité des actions suite à l'opération.