Les dessous techniques d'AWS : le plus grand cloud du monde

Datacenter AWS Amazon est très discret sur les technologies utilisées dans ses data centers. Nous avons cherché à percer ce mystère. Les résultats de notre enquête.

Lancé en 2002, Amazon Web Services (AWS) sert des centaines de milliers de clients dans plus de 190 pays. Le géant du e-commerce reste très discret sur les détails de l'infrastructure de son vaste réseau de data centers à travers le monde. Selon le dernier Magic Quadrant du Gartner sur le marché du IaaS (service d'infrastructure informatique à la demande), AWS présenterait une capacité informatique cinq fois supérieure à celle de tous ses concurrents réunis, c'est-à-dire des 14 autres acteurs retenus par le cabinet d'analyse. Et avec CSC, Amazon est le seul à apparaitre dans le très sélectif carré des leaders défini par le Gartner.

Jusqu'à 10 data centers dans certaines régions AWS

Aujourd'hui, les data centers d'AWS sont présents sur tous les continents. Pour structurer ce réseau de centres de données, le groupe a défini neuf régions géographiques, avec au moins deux data centers chacune (définissant ainsi deux zones de disponibilité par région). "Nous pouvons avoir jusqu'à 10 data centers sur une région. C'est notamment le cas pour USA Est", indique James Hamilton, vice président Amazon Web Services.

Data centers d'Amazon Web Services dans le monde
RégionImplantationZones de disponibilité EC2Date de lancement
Source : JDN
USA EstVirginie du Nord52006
UEIrlande32007
USA OuestCalifornie du Nord32009
Asie-PacifiqueSingapour22010
USA OuestOregon32011
AWS GovCloudUSA22011
Asie-PacifiqueTokyo32011
São PauloSão Paulo22011
Asie-PacifiqueSydney22012

Mais Amazon ne communique pas sur un nombre de serveurs précis. D'après la dernière étude menée par Netcraft sur l'infrastructure cloud du groupe américain, les serveurs frontaux web d'AWS s'élèvaient à 158 000 en mai 2013, en hausse de presque 35% sur 8 mois. Dans le même temps, les sites web hébergés par le groupe seraient passés de 6,8 millions à 11,6 millions, soit une hausse de 71%. Partant de là, il n'est pas déraisonnable à ce stade d'affirmer qu'Amazon Web Services pourrait avoir largement dépassé à ce jour les 200 000 serveurs frontaux.

netcraft aws
Graphique issu de l'étude 2013 de Netcraft sur la croissance du nombre de serveurs AWS. © Netcraft

Des pics de 1,5 million de requêtes par seconde

"Imaginez. Nous devons être capables de gérer des pics de charge de 1,5 million de requêtes par seconde sans interruption de services, en accueillant en permanence de nouveaux clients, le tout avec une politique de prix toujours en baisse. Nous avons enregistré jusqu'à 2,5 trillions de requêtes par mois sur Amazon DynamoDB au sein d'une de nos régions", souligne James Hamilton. Pour faire face à ces défis, Amazon a mis en place un dispositif permettant la réplication des instances sur trois data centers différents en mode actif/actif. "Dans ce contexte, l'un des plus gros défis est d'assurer l'intégrité des données et applications, mais aussi la stabilité de notre latence à un niveau relativement faible", commente James Hamilton.

Pour faire la synthèse entre exigences de performance et faibles tarifs, Amazon a cherché à standardiser au maximum ses serveurs. Pour chaque grand type de processus à exécuter (calcul CPU, calcul graphique GPU, stockage...), une configuration matérielle et logicielle a été conçue. De grandes architectures serveur ont ainsi été définies, avec à la clé des modèles spécifiques de processeur Intel. Un choix technologique rendu public par AWS, car intimement lié à certaines possibilités offertes - comme le recours à certains jeux d'instruction (pour le calcul ou le chiffrement).

Les processeurs Intel sous le capot

aws
Les systèmes de stockage d'AWS seraient 35% plus denses que ceux du marché. Sur ce terrain, Amazon a opté pour les Intel Xeon E5-2650, E5-262, E5-2670 v2 (Ivy Bridge) en fonction de la gamme d'instance. © Capture vidéo Amazon

Ainsi, les instances M3, à usage général, sont notamment exécutées par le biais d'Intel Xeon E5-2670 (Sandy Bridge ou Ivy Bridge), avec stockage SSD. Côté instance optimisée pour le calcul (C3 par exemple), c'est le processeur de 2,8 GHz Intel Xeon E5-2680v2 (Ivy Bridge) qui entre en jeu. Pour satisfaire les besoins en GPU, AWS complète ces processeurs par des unités GPU Nvidia pouvant aller jusqu'à 1 536 cœurs CUDA et de 4 Go de mémoire vidéo.  

Le choix d'Intel est aussi celui de Microsoft pour ses data centers Azure, dont les instances reposent elles aussi sur des Xeon. En revanche, à la différence de Microsoft qui adosse Azure à sa propre technologie de virtualisation (Hyper-V), Amazon met en œuvre un hyperviseur reposant sur la technologie de virtualisation open source Xen. "Nous permettons d'importer et exporter des VM, à la fois aux formats Xen, VMware et Hyper-V. Nous prenons en charge Windows Server 2003 et Windows Server 2008, y compris en R2, ainsi que Red Hat et Debian", indique Miguel Alava, directeur d'Amazon Web Services.

La réduction des coûts : une bataille de tous les instants

Si Amazon conçoit ses serveurs, il sous-traite néanmoins leur fabrication à des constructeurs. "Au-delà des économies d'échelle que nous réalisons via des commandes en gros volumes, nous parvenons à réduire d'environ 30% le coût total d'acquisition des serveurs en passant outre les réseaux de distribution traditionnels, et en traitant en direct avec les fabricants. Grâce à ce circuit court, nous pouvons aussi mettre en place un rythme d'innovation beaucoup plus rapide", commente James Hamilton. De la conception du serveur à son installation en passant par sa phase de fabrication déléguée, "toutes les étapes de la chaine logistique sont optimisées, tout comme celle plus large de l'assemblage du centre de données", martèle l'ingénieur. Impossible en effet pour Amazon d'attendre un an avant de voir un nouveau data center sortir de terre. "Un mois pour nous, c'est l'objectif", lâche Hamilton. 

perdrix
Notamment mise en place sur son data center d'Oregon, l'infrastructure en conteneur Amazon Perdrix est la génération 2011 des data center d'AWS. © Capture Amazon

C'est d'ailleurs aussi dans l'optique d'accélérer la mise en place de ces nouveaux data centers qu'Amazon a pris le parti de construire lui même les sous-stations électriques de bout de ligne alimentant ses infrastructures en électricité. Des installations d'une capacité de 15 à 50 Mégawatts, pouvant alimenter des dizaines de milliers de serveurs. Amazon affirme réduire de moitié le temps de mise en place d'une nouvelle sous-station, comparé à la feuille de route affichée par la plupart les compagnies d'électricité. "Et même s'il s'agit d'un coût important, le projet est largement amorti compte-tenu de nos économies d'échelle", souligne-t-on chez Amazon.

Faire plus que les concurrents avec moins pour gagner la bataille des prix

Côté réseau, même combat : Amazon a bâti un environnement maison avec un protocole qui lui est propre. L'objectif étant de ne pas dépendre des équipementiers aux prix "jugés prohibitifs". Une stratégie qui permet aussi à Amazon de bénéficier d'une meilleure maitrise de ses services réseau, notamment du point de vue de leur supervision. Car se donner les moyens d'être le plus réactif possible en cas de problème, en détectant ce dernier rapidement pour déployer un correctif au plus vite, fait aussi partie des défis d'AWS.

Selon le Gartner, Amazon aurait investi 12 milliards de dollars dans son infrastructure de cloud entre 2005 et 2013, contre 20,9 milliards de dollars pour Google et 18 milliards pour Microsoft... Et pourtant, il atteindrait aujourd'hui une capacité bien supérieure à celle de ses grands concurrents réunis. Le groupe pourrait donc être bien placé pour gagner la bataille des prix... et des marges. Sans compter qu'avec ses économies d'échelle, Amazon affirme aussi pouvoir mettre plus de moyens que ses concurrents en R&D. Pour preuve : en 2013, le groupe a livré 280 évolutions ou nouveaux services cloud.

investissement aws
Graphique tiré du "Magic Quadrant for Cloud Infrastructure as a Service 2013" du Gartner. © Gartner

Serveurs / Amazon