Comment le
CNRS détecte les galaxies antiques avec des clusters sous Red Hat
Par le JDNet
Solutions (Benchmark Group)
URL : http://www.journaldunet.com/solutions/0205/020521_exp_cnrs.shtml
Mardi 21 mai 2002
S'il est un secteur de l'économie qui
fait la part belle aux technologies Open Source depuis plusieurs années,
c'est bien celui de la recherche, en particulier la recherche fondamentale.
Il y a près de deux ans, le Laboratoire
d'Astrophysique de l'observatoire Midi-Pyrénées
à Toulouse et Tarbes, rattaché au Centre National de
la Recherche Scientifique (plus précisément à
l'Institut
National des Sciences de l'Univers) et à l'université
Toulouse III,
s'est équipé de la distribution Linux Red Hat.
Aujourd'hui, l'OS libre accapare près de 80 % de son parc
de cent PC environ, les 20 % autres étant maintenus sous
Windows à des fins bureautiques.
"Notre choix de Linux a été évidemment conduit
pour des raisons financières", déclare Sylvie Roques,
directeur de recherche au CNRS
et directeur-adjoint du laboratoire d'astrophysique. "Nous sommes
partis de décisions quasi-individuelles et collégiales.
En général, les laboratoires de recherche sont sous
Linux. La première cause reprend l'aspect financier. La deuxième
est que l'on peut développer des logiciels scientifiques plus
rapidement et plus simplement que sous Windows."
En même temps, ce ne sont pas les distributions Linux qui manquent.
Et parfois, l'on entend plus volontiers parler de Debian comme favorite
dans certains centres de recherche, que de Red
Hat.
Dans le cas du laboratoire d'astrophysique, Sylvie Roques précise
que "nombre de téléscopes internationaux comme
au Canada ont choisi Red Hat, et du fait que nous travaillons ensemble,
nous avons été amené à opter pour la même
distribution". Cette condition s'inscrit dans un cadre plus restreint
que les 80 % du parc matériel sous Linux, qui compte également
des distributions SuSe malgré le fait que les nouvelles installations
soient effectuées avec Red Hat. Grâce à un procédé
de clustering (mise en grappe), environ 10 % de la totalité
des PC du laboratoire sont considérés comme un seul
calculateur.
Deux
premières mondiales grâce au calcul distribué
Pour
Jean-Paul Kneib, astrophysicien spécialisé en cosmologie
et président de la commission informatique du laboratoire,
"ce qui nous intéresse est notamment de rechercher la
formation des premières galaxies dans l'univers. Nous remontons
donc à des époques de 10 à 14 milliards
d'années afin d'essayer de comprendre comment elles se sont
formées. Pour y parvenir, nous exploitons un 'truc' que les
autres n'ont pas. En plus des téléscopes au sol, nous
utilisons ce que nous appelons des téléscopes naturels.
Ce sont des regroupements ou amas de galaxies dans l'univers qui présentent
une densité importante et qui jouent le rôle de loupe.
Mais nous avons d'abord besoin de caractériser la distribution
de masse dans l'amas de galaxies qui
va permettre de définir les paramètres de la loupe pour
tenir compte du grossissement et des déformations. Nous essayons
donc de comprendre quels sont ces effets, sur la base de calculs assez
complexes avec un processus itératif qui demande pas mal de
temps de traitement."
Dans ce cas, pourquoi ne pas avoir opté pour un super-calculateur
ultra puissant ? Certains d'entre eux, en particulier chez IBM, peuvent
être livrés avec un système d'exploitation Linux
en standard... Pour des raisons de coût évidemment, mais
cette raison est loin d'être la seule. La réponse est
fournie par Jean-Paul Kneib : "si l'on passe par des grappes,
on arrive à des performances plus importantes que ce que peut
apporter un calculateur. Les laboratoires n'ont pas des moyens très
élevés, et ce procédé nous permet d'atteindre
un résultat très honorable. Or, ce genre de structure
n'existe que sous architecture Linux et notamment Red Hat."
Du reste, les enjeux parlent d'eux même. "Plusieurs de
nos découvertes sont déjà passées dans
la presse", indique le chercheur en cosmologie. "Notre groupe,
en collaboration avec d'autres équipes aux Etats-Unis, détient
notamment les records des galaxies les plus jeunes et les plus lointaines.
Ces découvertes ont été médiatisées
en octobre 2001 et en janvier 2002." A la première date,
il s'agissait d'une micro-galaxie de 13,4 milliards d'années.
A la deuxième, de la galaxie la plus éloignée
jamais détectée par l'homme (lire l'article
de Liberation). Or, ce projet en cours depuis plus d'un an commence
à peine à bénéficier du nouveau calculateur
virtuel. Et les attentes du laboratoire sont assez prometteuses pour
l'avenir de la recherche.
4 mois/homme tout compris dont les 3/4 sur Mosix
Si le choix initial de Red Hat a effectivement eu lieu il y a deux
ans, le projet d'informatique parallèle, quant à lui,
est beaucoup plus récent puisqu'il a démarré
en septembre-octobre 2001. L'architecture devait impérativement
être opérationnelle pour la fin avril 2002. Au total,
quatre mois auront suffi à un ingénieur en CDD pour
finaliser les développements. Et encore, avec des difficultés
au départ dans la mise en cohérence de l'architecture
matérielle.
"Il nous a fallu un mois pour régler ces problèmes",
témoigne Cathy Mendibourre Slye, ingénieur informaticien
à l'observatoire d'astrophysique. "Les trois autres mois
ont été consacrés aux tests de logiciels de partage
de ressources et de parallélisation, qui ont abouti au choix
de Mosix, et à
son installation. Il faut rajouter que des développements particuliers
ont été menés localement sur la gestion des noeuds
(chaque PC impliqué, ndlr). En particulier, la gestion de la
visibilité des noeuds esclaves depuis les maîtres. Celle-ci
est automatique grâce aux mécanismes qui ont été
développés. Enfin, nous avons aussi renforcé
les aspects de visualisation de la charge répartie entre les
noeuds, une charge qui intègre à la fois les processeurs,
la mémoire et les disques."
Les avantages de Mosix ? Selon les tests, ce logiciel de clustering
téléchargeable en ligne, programmé par un développeur
d'une université israélienne, serait le seul à
permettre la répartition des charges en toute transparence
pour l'utilisateur non informaticien. Et ce, en laissant tout de même
la possibilité à la personne plus compétente
de prendre la main pour réattribuer une partie des ressources
de son PC à d'autres tâches. "Mosix laisse le choix
à la grappe de distribuer elle-même la charge de calcul",
souligne Jean-Paul Kneib.
25 000 euros,
exclusivement sur l'achat de matériels
Les logiciels choisis ayant aussi l'avantage
d'être libres, les seuls investissements consentis l'ont été
sur la partie matérielle : des PC et du matériel
réseau, dont des commutateurs de marque Enterasys
Networks. Le total des dépenses d'équipement se
monte à près de 25 000 euros. Le réseau
IP, quant à lui, existe depuis longtemps. La connaissance d'Internet
par le laboratoire d'astrophysique remonte à l'époque
de Renater, le premier réseau français de ce type, entre
universités et centres de recherche.
Quant à savoir si les économies réalisées
sont conséquentes, la réponse "paraît assez
nette du point de vue matériel" dixit Cathy Mendibourre
Slye. Auparavant, d'après son collègue astrophysicien,
"nous effectuions les gros calculs sur un système Digital
Unix Tru64 (qui a été repris par Compaq et sera progressivement
abandonné par HP, ndlr). Du point de vue de l'installation
logicielle, de la mise à jour et de la maintenance, ce n'est
pas la panacée. Non seulement ce type de système fait
preuve d'une certaine lourdeur, mais de plus les mises à jour
se font tous les six mois, et enfin il existe peu de support pour
Unix. Alors que pour Linux, on trouve tout ce dont on a besoin sur
la toîle. Et si nous avons une question très pointue
à poser, il est tout à fait possible de prendre contact
avec le concepteur."
Pour la suite du programme, "nous nous sommes aperçus
que nous aurions intérêt à augmenter le nombre
de noeuds pour accroître la puissance de calcul", dévoile
Cathy Mendibourre Slye. "Nous pourrions même rajouter des
ressources à l'infini dans la grappe, mais actuellement, nous
n'avons pas une bande passante de 2 Gbps et nous sommes donc
conditionnés par nos capacités réseaux. Notre
effort devra porter là-dessus dans les années à
venir."
Et ce n'est pas fini. Extension logique d'une architecture de clustering,
le recours à des technologies de grille pourrait encore accroître
la taille des grappes en passant outre les limites du réseau
de l'observatoire d'astrophysique pour paralléliser le partage
des ressources à une échelle qui peut être mondiale.
L'orientation est à l'étude, même si elle "n'est
pas encore tout à fait définie" selon l'ingénieur
informaticien. "Cela ne se fera pas avant un an. A partir de
ce moment-là, nous pourrons partager des ressources distantes
et créer un méga-calculateur." Sur le site de Mosix,
le développeur du logiciel de clustering évoque un projet
sur lequel il travaille, baptisé U-Mosix. Prévu pour
une date non précisée, celui-ci devrait être disponible
sur une variété de dérivés d'Unix, incluant
des Kernels (noyaux) spécifiques de Linux, FreeBSD et Sun Solaris.
[François Morel, JDNet]
Pour tout problème de consultation, écrivez au Webmaster
Copyrights
et reproductions . Données
personnelles
Copyright 2006 Benchmark Group - 69-71 avenue Pierre Grenier
92517 Boulogne Billancourt Cedex, FRANCE
|
|
|