Les dessous techniques d'AWS : le plus grand cloud du monde
Lancé en 2002, Amazon Web Services (AWS) sert des centaines de milliers de clients dans plus de 190 pays. Le géant du e-commerce reste très discret sur les détails de l'infrastructure de son vaste réseau de data centers à travers le monde. Selon le dernier Magic Quadrant du Gartner sur le marché du IaaS (service d'infrastructure informatique à la demande), AWS présenterait une capacité informatique cinq fois supérieure à celle de tous ses concurrents réunis, c'est-à-dire des 14 autres acteurs retenus par le cabinet d'analyse. Et avec CSC, Amazon est le seul à apparaitre dans le très sélectif carré des leaders défini par le Gartner.
Jusqu'à 10 data centers dans certaines régions AWS
Aujourd'hui, les data centers d'AWS sont présents sur tous les continents. Pour structurer ce réseau de centres de données, le groupe a défini neuf régions géographiques, avec au moins deux data centers chacune (définissant ainsi deux zones de disponibilité par région). "Nous pouvons avoir jusqu'à 10 data centers sur une région. C'est notamment le cas pour USA Est", indique James Hamilton, vice président Amazon Web Services.
| Région | Implantation | Zones de disponibilité EC2 | Date de lancement |
|---|---|---|---|
| Source : JDN | |||
| USA Est | Virginie du Nord | 5 | 2006 |
| UE | Irlande | 3 | 2007 |
| USA Ouest | Californie du Nord | 3 | 2009 |
| Asie-Pacifique | Singapour | 2 | 2010 |
| USA Ouest | Oregon | 3 | 2011 |
| AWS GovCloud | USA | 2 | 2011 |
| Asie-Pacifique | Tokyo | 3 | 2011 |
| São Paulo | São Paulo | 2 | 2011 |
| Asie-Pacifique | Sydney | 2 | 2012 |
Mais Amazon ne communique pas sur un nombre de serveurs précis. D'après la dernière étude menée par Netcraft sur l'infrastructure cloud du groupe américain, les serveurs frontaux web d'AWS s'élèvaient à 158 000 en mai 2013, en hausse de presque 35% sur 8 mois. Dans le même temps, les sites web hébergés par le groupe seraient passés de 6,8 millions à 11,6 millions, soit une hausse de 71%. Partant de là, il n'est pas déraisonnable à ce stade d'affirmer qu'Amazon Web Services pourrait avoir largement dépassé à ce jour les 200 000 serveurs frontaux.
Des pics de 1,5 million de requêtes par seconde
"Imaginez. Nous devons être capables de gérer des pics de charge de 1,5 million de requêtes par seconde sans interruption de services, en accueillant en permanence de nouveaux clients, le tout avec une politique de prix toujours en baisse. Nous avons enregistré jusqu'à 2,5 trillions de requêtes par mois sur Amazon DynamoDB au sein d'une de nos régions", souligne James Hamilton. Pour faire face à ces défis, Amazon a mis en place un dispositif permettant la réplication des instances sur trois data centers différents en mode actif/actif. "Dans ce contexte, l'un des plus gros défis est d'assurer l'intégrité des données et applications, mais aussi la stabilité de notre latence à un niveau relativement faible", commente James Hamilton.
Pour faire la synthèse entre exigences de performance et faibles tarifs, Amazon a cherché à standardiser au maximum ses serveurs. Pour chaque grand type de processus à exécuter (calcul CPU, calcul graphique GPU, stockage...), une configuration matérielle et logicielle a été conçue. De grandes architectures serveur ont ainsi été définies, avec à la clé des modèles spécifiques de processeur Intel. Un choix technologique rendu public par AWS, car intimement lié à certaines possibilités offertes - comme le recours à certains jeux d'instruction (pour le calcul ou le chiffrement).
Les processeurs Intel sous le capot
Ainsi, les instances M3, à usage général, sont notamment exécutées par le biais d'Intel Xeon E5-2670 (Sandy Bridge ou Ivy Bridge), avec stockage SSD. Côté instance optimisée pour le calcul (C3 par exemple), c'est le processeur de 2,8 GHz Intel Xeon E5-2680v2 (Ivy Bridge) qui entre en jeu. Pour satisfaire les besoins en GPU, AWS complète ces processeurs par des unités GPU Nvidia pouvant aller jusqu'à 1 536 cœurs CUDA et de 4 Go de mémoire vidéo.
Le choix d'Intel est aussi celui de Microsoft pour ses data centers Azure, dont les instances reposent elles aussi sur des Xeon. En revanche, à la différence de Microsoft qui adosse Azure à sa propre technologie de virtualisation (Hyper-V), Amazon met en œuvre un hyperviseur reposant sur la technologie de virtualisation open source Xen. "Nous permettons d'importer et exporter des VM, à la fois aux formats Xen, VMware et Hyper-V. Nous prenons en charge Windows Server 2003 et Windows Server 2008, y compris en R2, ainsi que Red Hat et Debian", indique Miguel Alava, directeur d'Amazon Web Services.
La réduction des coûts : une bataille de tous les instants
Si Amazon conçoit ses serveurs, il sous-traite néanmoins leur fabrication à des constructeurs. "Au-delà des économies d'échelle que nous réalisons via des commandes en gros volumes, nous parvenons à réduire d'environ 30% le coût total d'acquisition des serveurs en passant outre les réseaux de distribution traditionnels, et en traitant en direct avec les fabricants. Grâce à ce circuit court, nous pouvons aussi mettre en place un rythme d'innovation beaucoup plus rapide", commente James Hamilton. De la conception du serveur à son installation en passant par sa phase de fabrication déléguée, "toutes les étapes de la chaine logistique sont optimisées, tout comme celle plus large de l'assemblage du centre de données", martèle l'ingénieur. Impossible en effet pour Amazon d'attendre un an avant de voir un nouveau data center sortir de terre. "Un mois pour nous, c'est l'objectif", lâche Hamilton.
C'est d'ailleurs aussi dans l'optique d'accélérer la mise en place de ces nouveaux data centers qu'Amazon a pris le parti de construire lui même les sous-stations électriques de bout de ligne alimentant ses infrastructures en électricité. Des installations d'une capacité de 15 à 50 Mégawatts, pouvant alimenter des dizaines de milliers de serveurs. Amazon affirme réduire de moitié le temps de mise en place d'une nouvelle sous-station, comparé à la feuille de route affichée par la plupart les compagnies d'électricité. "Et même s'il s'agit d'un coût important, le projet est largement amorti compte-tenu de nos économies d'échelle", souligne-t-on chez Amazon.
Faire plus que les concurrents avec moins pour gagner la bataille des prix
Côté réseau, même combat : Amazon a bâti un environnement maison avec un protocole qui lui est propre. L'objectif étant de ne pas dépendre des équipementiers aux prix "jugés prohibitifs". Une stratégie qui permet aussi à Amazon de bénéficier d'une meilleure maitrise de ses services réseau, notamment du point de vue de leur supervision. Car se donner les moyens d'être le plus réactif possible en cas de problème, en détectant ce dernier rapidement pour déployer un correctif au plus vite, fait aussi partie des défis d'AWS.
Selon le Gartner, Amazon aurait investi 12 milliards de dollars dans son infrastructure de cloud entre 2005 et 2013, contre 20,9 milliards de dollars pour Google et 18 milliards pour Microsoft... Et pourtant, il atteindrait aujourd'hui une capacité bien supérieure à celle de ses grands concurrents réunis. Le groupe pourrait donc être bien placé pour gagner la bataille des prix... et des marges. Sans compter qu'avec ses économies d'échelle, Amazon affirme aussi pouvoir mettre plus de moyens que ses concurrents en R&D. Pour preuve : en 2013, le groupe a livré 280 évolutions ou nouveaux services cloud.
