A Paris, Facebook compte créer une IA douée de raison
Inauguré en juin 2015, Facebook AI Research Paris (Fair Paris) compte parmi les quatre plus grands laboratoires de recherche fondamentale de Facebook en IA aux côtés de Menlo Park (Californie), New York et Montréal. Installé au siège de Facebook France à Paris, au cœur du Silicon Sentier, le centre regroupe 30 chercheurs, 20 ingénieurs de recherche, et 30 doctorants originaires de diverses structures : CNRS, INRIA, universités... Soit un total de 80 personnes représentant 12 nationalités. Ses travaux vont de la reconnaissance d'images au traitement du langage naturel en passant par l'apprentissage auto-supervisé.
En cinq ans, Fair Paris a imprimé sa marque sur plus de 200 publications scientifiques. Le laboratoire livre en open source les technologies issues de ses travaux. Certaines ont depuis été intégrées par Facebook, par exemple pour détecter les vidéos sous copyright postées sur le réseau social ou encore pour gérer la traduction automatique des langues rares.
Voilà pour les réalisations passées. Mais à l'heure de son cinquième anniversaire, Fair Paris affiche une feuille de route ambitieuse. Avec pour principal défi de parvenir à créer des modèles capables de raisonner en vue de résoudre des problèmes complexes. Dans cette quête d'une IA douée de raison, Fair Paris a notamment apporté sa pierre au très emblématique projet Blender. Une technologie de chatbot (dont le développement est orchestré par Fair New York) qui s'adosse à un réseau de neurones unique, dit end-to-end, comptant pas moins de 9,4 milliards de paramètres. Objectif : parvenir à une interface conversationnelle capable d'ingérer des connaissances et développer une personnalité tout en faisant preuve d'empathie. Le modèle sous-jacent et ses codes d'évaluation ont été publiés.
En coulisses, l'apprentissage de Blender a été réalisé à partir de contenus issus du site communautaire Reddit. "C'est Fair Paris qui a publié le premier un article démontrant que l'on pouvait pré entraîner un système de dialogue à partir de Reddit et atteindre via cette méthode un niveau de performance accru comparé aux chatbots existants", relate Antoine Bordes, co-managing director de Facebook AI Research et directeur du centre de recherche en IA de Facebook à Paris.
Résoudre des équations matricielles
Le principe d'entrainement de Blender est assez simple. Les 1,5 milliard de fils de discussion disponibles publiquement sur Reddit ont été soumis au réseau de neurones du chatbot qui, à partir de là, devait tenter de prévoir à l'aveugle les réponses et réactions des internautes en découlant. De fil de discussion en fil de discussion, le modèle s'est affiné au fur et à mesure. "Une fois ce learning réalisé, Blender pouvait prédire les réponses à fournir à l'interlocuteur. Tout l'enjeu étant évidemment d'éviter de faire le perroquet, et de calquer directement un résultat vu ailleurs. A la différence d'une traduction d'une langue à l'autre, un dialogue automatisé doit s'aligner sur la personnalité de l'interlocuteur", insiste Antoine Bordes.
"Si un groupe d'amis souhaite aller au restaurant, il s'agirait d'aboutir à une réponse convenant à tous : type de restaurant, localisation, prix…"
Prochaines briques de Blender à laquelle Fair Paris devrait contribuer : des modèles capables de raisonner. "C'est une vision qui se situe dans la droite ligne de ce que nous avons déjà fait. Nous avons créé des architectures d'apprentissage auto-supervisé, basées sur les méthodes de back-translation, permettant de traduire un texte, par exemple du français à l'anglais, sans avoir fourni de dictionnaire à la machine", rappelle Antoine Bordes.
Pour cette prouesse, le laboratoire parisien a reçu en 2018 le prix du meilleur article à la conférence EMNLP (pour Empirical Methods in Natural Language Processing). La technique a d'ailleurs été utilisée, parmi d'autres, pour construire le système de dialogue de Blender. Elle est aussi mise en œuvre au cœur du réseau social de Facebook pour automatiser les traductions, notamment dans le cas des langages peu parlés.
"Jusqu'ici, nous cherchions à traduire les langages humains. En 2019, nous nous sommes tournés vers un tout autre type de langage : les mathématiques. L'enjeu est dès lors de savoir si les technologies que nous avons conçues pour la traduction linguistique pourraient s'appliquer au champs des démonstrations mathématiques", poursuit Antoine Bordes. "Dans la même logique, l'idée est de donner au réseau de neurones des équations à résoudre, puis de comparer les résultats obtenus avec les bonnes réponses, le modèle s'ajustant au fil de l'eau." In fine, le défi est d'aboutir à un réseau de neurones capable de solutionner des équations auxquelles il n'aurait jamais été confronté. En décembre 2019, Fair Paris a publié un premier article sur le sujet (Deep Learning for Symbolic Mathematics) qui démontre comment un algorithme de deep learning peut parvenir à résoudre des dérivés, des équations différentielles etc. de manière plus efficace que les approches historiques type Matlab.
Une IA qui développe ses propres programmes
"Derrière ces travaux, nous cherchons à savoir si une machine est capable de réaliser un raisonnement, faire des hypothèses, réaliser des déductions. L'un des chantiers à plus long terme étant de trouver des pistes pour améliorer Blender", explique Antoine Bordes, avant de préciser : "Au-delà de sa couche conversationnelle, le défi est notamment de doter Blender de l'habilitée à résoudre des problèmes à plusieurs contraintes. Par exemple si un groupe d'amis souhaite aller au restaurant, il s'agirait de prendre en compte une série de paramètres dans une matrice de décision en vue d'aboutir à une réponse convenant à tous : type de restaurant, localisation, prix...", poursuit Antoine Bordes.
Mais pour développer un raisonnement, une IA pourrait actionner d'autres leviers. "On peut imaginer une machine qui serait capable d'écrire ses propres programmes pour résoudre une tâche complexe", projette Antoine Bordes. Pour répondre en temps réel à une question d'actualité sur l'état d'avancement de la pandémie de Covid-19 par exemple, un chatbot pourrait bâtir ses propres requêtes de recherche, pour accéder ou enrichir ses sources, tout en définissant un mode de sélection et de synthèse de contenus ad hoc.