Joëlle Pineau (Meta) "L'IA pourra bientôt générer des expériences sonores, de toucher et d'odorat"

Nouvelle directrice générale de l'activité de recherche fondamentale de Meta dans l'IA, Joëlle Pineau raconte son ascension au sein des laboratoires de Facebook et décrypte les dernières avancées des modèles de deep learning.

JDN. Pourquoi Meta s'est-il doté d'un laboratoire de recherche fondamentale en intelligence artificielle ?

Joëlle Pineau. Le laboratoire FAIR de Meta a pour mission de pousser toujours plus loin l'état de l'art en intelligence artificielle. En disposant d'un laboratoire de recherche fondamentale, Meta se met en condition d'affronter les défis de demain en matière d'IA. Face aux avancées fulgurantes de ce champ technologique sur la dernière décennie, FAIR s'appuie sur un modèle de recherche ouvert et transparent, y compris en termes de modèles et de codes sources. L'objectif est de dynamiser les feedbacks et les échanges d'idées sur nos travaux avec nos différents partenaires académiques et industriels en vue de faire avancer nos projets rapidement.

Pytorch dont nous avons confié le développement à une fondation (la PyTorch Foundation, ndlr), et qui a en partie redessiné la manière de développer l'IA, est l'une de nos principales réussites.

Vous venez de prendre la tête de FAIR. Quelles ont été vos fonctions depuis votre recrutement chez Meta en 2017 ?

J'ai été embauchée au départ pour mettre en place le laboratoire de FAIR à Montréal. Ce qui a pris environ deux ans. Dans la foulée, j'ai été nommée codirigeante de FAIR aux côtés d'Antoine Bordes qui est basé à Paris. Mon rôle était de porter notre mission à la fois vis-à-vis de nos équipes de chercheurs, de l'entreprise et de la communauté scientifique, le défi étant de rendre la stratégie claire et la vision alignée pour atteindre nos objectifs. Je devais m'assurer que les équipes aient les ressources nécessaires pour mener à bien leurs projets en termes de budget, de capacités de calcul... Mais également de définir et d'appliquer une stratégie data pour que l'utilisation que nous avons des données dans le cadre de notre démarche de science ouverte soit en ligne avec les législations. Enfin, mon objectif était d'amener dans nos équipes les meilleurs chercheurs dans les domaines de pointe de l'IA.

"Nous nous sommes étendus notamment à l'apprentissage par renforcement, à la robotique ou encore à l'IA responsable"

En cinq ans, nous avons beaucoup évolué. Historiquement, FAIR était avant tout centré sur le deep learning. A l'époque, nous comptions seulement une cinquantaine de chercheurs. C'est donc sur ce domaine qu'il fallait se positionner. Avec les années, notre effectif a grossi. Ce qui nous permet aujourd'hui de couvrir un éventail de domaines beaucoup plus large. Nous nous sommes étendus notamment à l'apprentissage par renforcement, à la robotique ou encore à l'IA responsable.

Avez-vous continué à suivre certains sujets de recherche de près ?

J'ai continué à mener des recherches dans les systèmes de dialogue interactif et le traitement de la parole à travers les modèles de langage et du reinforcement learning. Il s'agit là du cœur théorique de mes domaines de recherche historiques. Je travaille aussi beaucoup sur l'IA dans la santé. C'est une démarche que j'ai amorcée bien avant d'entrer chez Meta, quand j'étais professeur à l'université McGill de Montréal, et qui se poursuit aujourd'hui. J'accompagne encore deux post-doctorants sur ce sujet.

Vous avez aussi travaillé sur l'IA conversationnelle BlenderBot de Meta. Sur quel point êtes-vous intervenue ?

Toute une équipe de chercheurs de FAIR a porté le volet scientifique du projet. Nous avons décidé de déployer BlenderBot sur Internet aux Etats-Unis. J'ai beaucoup planché sur cette dernière étape. L'objectif principal était de s'assurer que le bot ait un comportement raisonnable. Une stratégie a été définie pour évaluer la performance de la qualité des dialogues et de la sécurité en vue d'aboutir à une IA de confiance.

In fine, ce déploiement visait à donner accès à cette technologie, que ce soit à des communautés de chercheurs comme au grand public. C'est une manière de vulgariser nos travaux, mais aussi de comprendre les comportements d'utilisateurs. Cette expérience nous permet de recueillir des données d'usage que nous n'avons évidemment pas en laboratoire et qui nous permettent d'améliorer nos recherches. 

Microsoft a développé un grand modèle de langue comptant 530 milliards de paramètres. Que pensez-vous de la course à ces IA géantes à laquelle Meta participe aussi ?

La communauté se pose la question de la pertinence de ces modèles depuis dix ans. On se dit tous que leur taille doit diminuer. Il y a trois ingrédients pour que ces IA réussissent. Le volume de paramètres est l'un d'entre eux. Le deuxième renvoie au nombre de GPU disponible pour les entrainer. On est passé de quelques dizaines à quelques centaines, et maintenant à quelques milliers de GPU qui tournent pendant plusieurs mois. Troisième élément, il est nécessaire d'ingérer des données en quantité suffisante. Si on a pas un bon équilibre entre le volume de data, la capacité de calcul et la taille du modèle, la sauce ne prend pas.

"Nous disposons d'une mémoire suffisante pour absorber des tailles encore plus grandes de modèle"

On ignore encore lequel de ces paramètres sera le premier à atteindre sa limite. Nous disposons d'une mémoire suffisante pour absorber des tailles encore plus grandes de modèle. Du côté des données d'entrainement en revanche, les marges de manœuvre se resserrent. Ce qui s'explique par le renforcement des règles de copyright et de respect de la vie privée, ainsi que par la difficulté de disposer de quantités massives d'informations représentatives d'une population.

Quelle sera l'échappatoire ?

Le futur pourrait passer par l'émergence des transformers multimodes capables de se nourrir de données hétérogènes : images, vidéos, langage, sons, données médicales... L'autre grand champ de recherche porte sur les modèles génératifs. Dans ce domaine, nous venons d'annoncer la technologie Make-A-Video qui produit de courtes vidéos à partir de textes décrivant une scène en mouvement, dans la même logique que Dall-E sur le front de l'image fixe.

Les IA génératives seront bientôt capables de produire différents formats de données, par exemple une réalité virtuelle en 3D avec des avatars intelligents, des expériences sensorielles sonores, de toucher et d'odorat, notamment dans le cadre du métaverse…

Joëlle Pineau a été nommée le 20 octobre 2022 au poste de directrice générale de FAIR, l'activité de recherche fondamentale de Meta dans l'intelligence artificielle. Elle codirigeait auparavant FAIR avec Antoine Bordes, qui se concentrera désormais sur la direction de FAIR EMEA Labs. Joëlle Pineau est professeure agrégée à l'Ecole d'informatique de l'Université McGill.