Deus : un projet Big Data géant pour décrypter l'univers Vers la convergence des technologies HPC et Hadoop

La simulation Dark Energy Universe Simulations a été l'un des tous premiers projets de recherche tirant parti du supercalculateur Curie. "Deus a été sélectionné pour la phase pilote du supercalculateur car il permettait d'éprouver la machine en la sollicitant presque au maximum de ses possibilités, et ainsi de réaliser de nombreuses optimisation sur les processeurs", ajoute Stéphane Requena du GENCI.

Prochaine étape : améliorer la finesse de la simulation

le prix spécial de l'innovation big data 2013 a été remis à jean-michel alimi de
Le Prix Spécial de l'Innovation Big Data 2013 a été remis à Jean-Michel Alimi de l'Observatoire de Paris et Stéphane Requena du GENCI, le 4 avril dernier à l'occasion de la deuxième édition de Big Data Paris. © Big Data Paris

Pour la suite, l'Observatoire de Paris planche déjà sur une nouvelle modélisation. Compte tenu des moyens techniques existants, Jean-Michel Alimini estime pouvoir améliorer la finesse de la modélisation d'un facteur 2.

De son côté, le GENCI envisage de s'adosser à l'algorithme MapReduce et à la technologie NoSQL pour optimiser encore l'écriture des données scientifiques en masse par son supercalculateur. 

Hadoop pour stocker des volumes de plus en plus massifs en sortie

"La question et de savoir comment gérer ces données en sortie. Pour certains projets scientifiques, il se peut que les volumes deviennent tellement massifs qu'il ne soit plus possible de les sortir du centre", estime Stéphane Requena. "Il faudra par conséquent trouver des outils permettant de lancer des requêtes sur des bases qui resteraient stockées sur le supercalculateur." Le "Graal" serait de pouvoir transposer les technologies Hadoop pour stocker et analyses ces données scientifiques hétérogènes, astrophysiques, météo...

Précédent
Suivant