Les coulisses techniques de Windows Azure dévoilées

Data center Windows Azure Serveur, stockage, réseau, pilotage... Le JDN a cherché à savoir quelles étaient précisément les technologies et spécifications des data centers de Microsoft.

1 million de serveurs sont hébergés dans les centres de données de Microsoft, qui se répartissent sur huit sites à travers le monde. En majeure partie dédiés à son offre de cloud Windows Azure, ces data centers sont maintenus par des équipes internes. Car même si Microsoft ne construit pas lui-même ses serveurs, comme peuvent le faire Google ou Facebook, il conçoit néanmoins le design des baies et POD (data centers haute performance) de ses centres de données. Le défi principal ? Disposer d'une infrastructure à l'état de l'art en termes de qualité de service, qui soit aussi optimisée en matière de consommation d'énergie et de densité, tout en permettant une exploitation aisée.

Des processeur Intel Xeon sous le capot

spec serveur azure
Spécification des serveurs déployés au sein des data center de Microsoft. © Microsoft

Pour améliorer en permanence l'efficacité de ses centres de données, Microsoft renouvelle ses serveurs environ tous les deux ans. Les constructeurs retenus peuvent évoluer dans le temps, en fonction des performances des serveurs et leur TCO (puissance / efficacité énergétique / prix). Sachant que la pile logicielle installée doit être elle aussi optimisée en fonction de l'architecture matérielle et réseau sous-jacente, et par conséquent évoluer avec elle. Ce stack repose sur les briques Windows Server / System Center / Hyper-V. Et vice versa : l'architecture matérielle et réseau peut aussi faire l'objet d'adaptations en fonction des changements apportés au niveau logiciel et des nouveaux besoins applicatifs.

"La mise à disposition début 2014 d'instances de calcul HPC illustre parfaitement le travail réalisé en la matière par nos équipes de R&D Global Foundation Services", commente Julien Lesaicherre, directeur de l'offre Windows Azure chez Microsoft France. Il s'agit plus précisément de deux instances (A8 et A9) proposant respectivement un processeur Intel à 8 cœurs avec 56 Go de RAM, et un processeur à 16 cœurs avec 112 Go de RAM. Chaque instance étant connectée via un réseau InfiniBand à 40 Gbit/s, optimisé via la technologie de transfert mémoire-à-mémoire RDMA (Remote Direct Memory Access). La philosophie du groupe est aussi de faire appel au logiciel (notamment le Software Defined Network, la gestion du miroring en actif/actif...) pour transcender les faiblesses du matériel.

1895594
Microsoft ne cesse d'améliorer les performances de ses data centers haute performance (POD). Le groupe déploie actuellement la cinquième génération de ses POD. © JDN / Antoine Crochet-Damais

Il est ainsi possible de s'adosser à Azure pour bénéficier, à la demande, d'un cluster de calcul haute performance, avec un nombre de nœuds donnés pendant le temps nécessaire au traitement à réaliser. Pour répondre au besoin de gros volumes de données en entrée de leur cluster HPC en mode cloud, les clients ont la possibilité d'envoyer à Microsoft des disques chiffrés contenant les informations à traiter. "Ce dernier service est déjà disponible au US, et devrait l'être en France dans l'année", confie Julien Lesaicherre.

Une architecture haute densité : 96 serveurs par châssis de 52 unités

open compute microsoft
Diagramme de châssis publié par Microsoft à l'occasion de son entrée dans le consortium Cloud Compute. © Microsoft

En ligne de mire pour tous les datacenters cloud de Microsoft : une architecture très haute densité, en POD ou en conteneurs pour les dernières générations, modulaire et pleinement intégrée. Derrière ces travaux d'ingénierie, se cache la volonté pour l'éditeur de se hisser au niveau de Google en matière de performance globale, et d'efficacité énergétique en particulier (en passant sous la barre des 1.20 de PUE). Un défi qui va de pair avec la guerre des tarifs face à Amazon et Google.

Pour l'heure, les chassis de Microsoft, de 12U, peuvent accueillir 24 serveurs blade, de calcul ou de stockage, deux blades pouvant se nicher dans une unité. Sachant qu'une autre configuration permet d'atteindre une densité de 96 serveurs dans un châssis de 52 unités. Cette densité a pour but de réaliser des économies d'échelle en matière d'infrastructure réseau, de refroidissement, d'alimentation en énergie... Mais aussi de fabrication de serveurs - avec des milliers de tonnes de métal économisés en supprimant tout ce qui n'est pas nécessaire (ports USB...).

Toujours en vue de réaliser des économies, Microsoft indique aussi avoir optimisé la simplicité de montage et de démontage de ses POD. "Et dans la même logique, un gros travail de standardisation des composants a été réalisé", précise David Gauthier, directeur Design et Architecture des data centers de Microsoft. "L'idée est de disposer d'une interopérabilité plug-and-play au niveau des blades, châssis et racks. Cette approche nous permet d'utiliser les mêmes briques pour créer aisément différentes architecture adaptées à des applications cloud spécifiques." En découle la capacité pour Microsoft de réutiliser des composants, mais aussi de faciliter les opérations de maintenance.

Microsoft a rejoint Open Compute

serveur jbod azure
Spécification des serveurs de stockage des data centers de Microsoft. © Microsoft

Côté réseau, la flexibilité est également dans le viseur. 10Gb Ethernet, 40Gb Ethernet, liaison optique... Plusieurs technologies sont utilisées en fonction des besoins. L'architecture backplane PCB est utilisée pour assurer l'intégrité du signal. Quant au câblage, il est installé au moment de l'assemblage en usine, l'objectif étant de ne plus le toucher ensuite pour éviter les erreurs. 

Enfin, reste le pilotage de l'ensemble de l'infrastructure. Couvrant serveur, stockage et réseau, Microsoft a conçu dans cette optique un logiciel de gestion de châssis. Installé sur chacun d'entre eux via une carte dédiée (avec un SoC X86), il fait l'objet de multiples couches de sécurité : boot sécurisé TPM, authentification Active Directory, commandes (REST) chiffrées en SSL... Développé par la division Open Tech de Microsoft, ce logiciel (baptisé Chassis Manager) a été publié sous licence open source. Il est disponible sur GitHub.

Début 2014, Microsoft a d'ailleurs annoncé rejoindre le consortium Open Compute. Une initiative lancée par Facebook autour de la notion d'hardware open source, et à travers laquelle le réseau social publie les spécifications de ses serveurs. "L'objectif de Microsoft est de partager ses bonnes pratiques avec des acteurs qui, comme lui, gèrent des millions de serveurs", commente Julien Lesaicherre. "Il est impossible, à ce niveau-là, quand on est un acteur comme Microsoft, de récupérer les idées des autres sans contribuer soi-même à des problématiques aussi fondamentales que la réduction de l'emprunte carbone."

   A lire aussi :

Serveurs / Cloud public