Quelles solutions de stockage pour les sites à fort trafic ?

Les problématiques de stockage de gros volumes concernent désormais les sites Web, mais avec des problématiques nouvelles. Avec la montée des contenus photos, vidéos, des espaces personnels ou de produits en téléchargements, le contenu disponible se multiplie et le coût du stockage enfle parallèlement. De plus, les sites de réseaux sociaux et communautaires doivent rendre disponible en temps réel le contenu dont ils disposent et gérer des milliers de connexions simultanées.

«La problématique du prix se décline sur différents aspects : le prix d'acquisition, les aspects énergétiques, l'administration et l'exploitation, puis enfin l'évolutivité de la plate-forme. En tenant compte de tous ces aspects, plusieurs solutions peuvent répondre à ce type de problématique et même des solutions traditionnelles comme EMC ou Network Appliance. Sur de très grosses volumétries, les offres de grands constructeurs peuvent devenir attractives», déclare Philippe Reynier, directeur en charge de la division stockage chez Bull France.

Autre solution pour réduire sa facture, le recours à des baies de disques en environnement 100% libre. «Nous proposons des solutions NAS ou SAS de stockage sur disque à des coûts inférieurs à 1000 euros le To administré. Et nous sommes en capacité de livrer jusqu'à 90 To d'espace sur un encombrement de moins de 16 U en salle serveur, ce qui est très intéressant dans un environnement d'exploitation où l'espace est cher», affirme Jérôme Relinger, directeur général de NetAktiv.

Mais c'est principalement l'architecture retenue qui déterminera les produits à sélectionner. Ainsi, selon Philippe Reynier : «Il est possible d'envisager un système de stockage capacitif, et de monter jusqu'à 1 millier de disques sur un seul système. L'avantage de ce système étant sa simplicité et donc son faible coût d'administration et d'exploitation. A l'inverse, les sites Web optent aussi pour des systèmes de stockage de capacité plus réduite mais avec un adressage unique pour relier l'ensemble».

Un constat que confirme Pierre Gilles Miallon, ingénieur système et réseau chez NetAktiv : «Le NAS est possible, mais adapté a très peu de besoins et coûte très cher. Dans une logique d'exploitation des données, c'est souvent la clusterisation qui est préférée. Les sites Web ont intérêt à ne pas opter pour un espace massif de données sur un point. Car même s'il est possible en terme de capacité de tout mettre sur une baie, elle ne pourrait pas servir autant d'utilisateur. Il faut imaginer que la tête de lecture des disques va passer son temps à sauter si vous traitez des dizaines de milliers d'accès concurrents»

«Le point d'engorgement du Web, ce sont les entrées / sorties au niveau des disques. Le réseau est capable de fournir suffisamment de bande passante en revanche. Une carte réseau moderne est capable de sortir davantage en débits que ne le font 4 disques en RAID. Et plus vous avez à traiter des petits morceaux de fichiers, plus les disques vont être sollicités et donc surchargés», complète l'ingénieur système et réseau.

Les sites comme YouTube ou Google ont donc opté pour une solution de stockage interne, développée à partir d'une infrastructure distribuée. Le principe étant de disposer d'une solution de stockage isolée, dupliquée mais qui n'est pas consultable directement par l'internaute. En amont, des serveurs Web frontaux se chargent de dupliquer partiellement ces données sur des disques durs internes économiques. Ainsi, pour traiter davantage d'accès concurrents simultanés, il suffit de rajouter des serveurs Web sans nécessairement mettre à jour l'infrastructure de stockage.

Sur ce type d'architecture, la maintenance est facilitée puisque la donnée est redondée, et les serveurs Web peuvent être mis en mode répartition de charge de manière à s'assurer qu'une panne sur l'un des serveurs ne fasse pas tomber tout le service. Sur ce type de solutions internes, il est toutefois nécessaire de s'appuyer sur un système de fichier robuste, comme ZFS de Sun, EXP3, ReizerFS, XFS ou UFS sous Linux.

«Sur des problématiques de stockage de petite capacité, les produits Optima 1200 offrent une architecture modulaire intéressante. Pour de grosses volumétries en revanche, nous travaillons avec Data Direct Network sur des systèmes optimisés. C'est avec ce type de produits que nous avons réalisé pour le CEA une infrastructure de stockage de 1 Po, avec 4 Po en espace de stockage secondaire», souligne Philippe Reynier de Bull.

Ces deux produits, travaillent en mode bloc et sont alors utilisés en couple avec des systèmes globaux de fichiers tels GSS de Red Hat ou Lustre de CSS. Mais des équivalents propriétaires existent également comme StorNext de Quantum ou GPSS d'IBM. Ces systèmes de fichiers globaux permettent d'avoir un adressage unique au dessus de l'infrastructure de stockage en grille. Chez Network Appliance, la solution de clusterisation et d'agglomération de silos de stockage s'appelle OnTape GX, IQ et EX chez Isilon.

«Dans ce domaine, nous voyons apparaître de nouvelles technologies comme le Content Adress Storage. Chez EMC, la solution s'appelle CentTerra mais il existe des produits équivalents chez IBM ou HP. Nous commençons aussi à voir apparaître des solutions de stockage Open Source pour les grilles de stockage, et certaines solutions de virtualisation sont aussi à même de traiter ce type de problématique pour des produits comme Storage X de Brocade, ou Acopia de F5 Networks», note Philippe Reynier de Bull.

Chez DailyMotion, la stratégie et l'architecture sont encore différentes car appliquées à la problématique métier du site. «Nous avons pour particularité d'avoir un réseau très concentré, mais de sortir un trafic important. Le coeur de réseau est composé de routeurs Foundry Networks, capable de délivrer les 60 ou 70 Gbits/s que nous leur imposons régulièrement. Nous répartissons également nos serveurs dans des fermes par rôle - vidéos, images, vignettes, contenu statiques, etc... - de manière à pouvoir gérer la croissance de chaque fonction de façon isolée, voire en externaliser le traitement vers un prestataire de type CDN comme Limelight ou Akamai», explique Stéphane Enten, Directeur de l'Ingénieurie chez Dailymotion.

«Pour distribuer la vidéo, nous avons adopté le modèle HSM, c'est à dire le stockage hiérarchique, commun chez les sites "Web 2.0" ayant un traffic de type long-tail (une petite partie du contenu est très consulté alors que le reste l'être de manière épisodique): les deux doivent être disponibles au même moment et à la même vitesse, ce qui implique de nombreux niveaux de caches pour accelerer l'acces à certains contenus.», complète Stéphane Enten.

«Pour le stockage principal des vidéos, nous utilisons une solution clusterisée de chez Isilon nous garantissant un stockage fiable - les fichiers étant répliqués sur plusieurs noeuds du cluster - des vidéos que nos utilisateurs nous confient. La charge et la volumétrie importantes - le stockage utilisé double environ chaque année, nous venons d'ailleurs de franchir la limite symbolique d'1 Po disponibles - nous a amenés à développer nous même une solution d'accès aux données, nous affranchissant des systèmes types SAN ou NAS», ajoute Stéphane Enten.

«Sur nos métiers, nous découvrons des problèmes à résoudre tous les jours et les défis sont difficiles. L'équipe technique est cruciale, il faut avoir des profils avec beaucoup d'expérience mais débrouillards, avoir une équipe capable de faire de l'ingénierie, de la R&D, de la maintenance, le tout dans des délais très courts et avec un effectif réduit pour gérer plusieurs centaines de serveurs. Ponctuellement, lorsque le projet sort de notre coeur de metier, nous faisons parfois appel à des SSII. Il est aussi intéressant d'avoir de vraies relations avec ses fournisseurs pour pouvoir régler avec lui ses problèmes», conclut le Directeur de l'Ingénieurie de Dailymotion.