Deus : un projet Big Data géant pour décrypter l'univers Trois simulations portant chacune sur 550 milliards de particules
Après plusieurs mois de préparation, notamment en termes d'optimisation des calculs, c'est entre le 15 février et le 15 mars 2013 que l'équipe de Jean-Michel Alimi réalise ses premiers tests, in situ, au Très Grand Centre de Calcul du CEA, là où le supercalculateur de Curie est installé. Un mois après, la simulation est réalisée.
7 500 milliards de points de calcul générés
L'observatoire injecte dans la machine une représentation du champ de matière de l'univers très primordial (issue des données du télescope spatial WMAP) remontant à environ 300 000 à 400 000 ans après le Big Bang. Le traitement porte sur des volumes de données phénoménaux. "Chacune des trois simulations a permis de suivre 550 milliards de particules, soit près du double de ce qui avait été réalisé précédemment par les Américains", avec à la clé jusqu'à plus de 2 500 milliards de points de calcul générés par modèle. Au total, 150 Po de données sont générés par le supercalculateur.
76 000 cœurs du supercalculateur utilisés
Comment l'Observatoire de Paris a-t-il réalisé cette prouesse technique, qui semble à première vue impossible ? Le supercalculateur de Curie ne dispose, en effet, pas d'une telle capacité de stockage. "Le défi était d'utiliser le maximum de ressources de calcul possible en même temps, en vue de limiter les entrées et sorties (I/O)", explique Stéphane Requena du GENCI, dont les équipes ont accompagné le projet sur le plan du super calcul.
Sur les 80 000 cœurs du cluster de Curie, l'Observateur en a utilisé 76 000. Mais comme il était impossible de lancer un tel traitement en parallèle sur toute l'infrastructure sans faire saturer la bande passante, les calculs ont donc été répartis sur des groupes de 592 cœurs de processeur, et des traitements parallèles lancés sur chacun de ces groupes, avec un débit de 50 gb/s. "C'était la seule façon de ne pas être ralenti par les entrées et sorties, tout en tirant parti de toute la machine", ajoute Stéphane Requena.