Les LLM sont morts, vive les LLM !

Les modèles de langage sont puissants mais limités. Ils excellent en classification et résumé mais donnent parfois des réponses absurdes. Améliorer leur compréhension du monde réel est clé.

Il peut paraitre étonnant qu'une machine aussi impressionnante que Gemini, le dernier modèle de langage de Google – capable d'expliquer la physique quantique à un enfant – soit capable d'affirmer avec confiance que la colle peut améliorer le goût d'une pizza. La faute aux internautes de Reddit, dont l'humour a teinté le dataset d'entrainement ?

Pas seulement. C’est en réalité assez inévitable. Les modèles ne savent pas ce qu'est la colle. Ils savent qu'elle appartient à une carte vectorielle qui combine souvent le concept de colle avec "travaux manuels" et "fermer une enveloppe", entre autres.

Le langage est un type de données particulier car il est utilisé pour communiquer, au contraire des chiffres ou des données biologiques. Il est donc facile de prendre l'intelligence d'un modèle pour de l'intelligence humaine.

Mais si Mistral-7b, Llama-3 et autres sont des merveilles d'ingéniosité, ils ont encore de sérieuses limites. Les résoudre sera la clé pour débloquer des progrès exceptionnels dans beaucoup de domaines, du « Software-as-a-Service » à la biologie, la chimie et l'ingénierie. Et les progrès de ces industries pourraient même aider les LLM à devenir de vrais agents multitâches.

Du SaaS à l'ingénierie, l'implémentation de modèles génératifs associés à des modèles prédictifs peut créer des résultats exceptionnels

L’IA générative textuelle est déjà en train de révolutionner le logiciel. Mais si les entreprises se ruent sur des chatbots qui peuvent chercher dans leurs documents (« Retrieval Augmented Generation »), ce n'est probablement pas l'interface du futur.

Les LLM trouvent toute leur valeur dans une implémentation transparente, dans les interfaces logicielles existantes. Ils excellent dans la classification, les résumés et l'extraction de données, surtout après mécanismes d'adaptation (fine tuning ou reinforcement learning). Or, des données bien structurées et organisées permettent de débloquer de nombreux cas d’usage : de la prédiction – modèles prédictifs pour les pertes de clients ou la facturation, par exemple – à l'automatisation. Un CRM rempli automatiquement séduirait probablement plus d'usagers qu'un chatbot.

En santé, personne n'a attendu les LLM pour faire de la génération… de médicaments. Des modèles, entraînés sur des données géométriques, sont déjà utilisés depuis une dizaine d’années. La première vague d'études cliniques avancées étant en cours, la mise sur le marché de médicaments générés par une intelligence artificielle est imminente. Par ailleurs, une nouvelle génération d'entreprises s'appuie sur des données toujours plus riches et granulaires (données multi-omiques par exemple) pour mieux comprendre les mécanismes biologiques.

A l'inverse de l'industrie pharmaceutique, l'industrie chimique s'appuie souvent sur des décennies, voire des siècles, d’expertise qui rendent leurs processus légèrement meilleurs que ceux des concurrents. Mais les approches qui ont réussi dans la santé ont un solide potentiel en chimie. Des startups font irruption dans ce domaine en utilisant la même architecture de génération-prédiction permettant de générer des matériaux ou réactants – mais ce sont les GAFAM qui font bouger l'industrie, avec la publication, par exemple, d'un jeu de données sur la catalyse par Meta. D'autres vont suivre. Que dire, alors, de la pérennité des secrets industriels ?

Enfin, cette même architecture vient transformer l'ingénierie. En utilisant des modèles prédictifs entraînés sur des données de simulation, les modèles d'IA génératifs peuvent apprendre à concevoir des composants ayant une forte probabilité d'être viables. Le défi, outre de s'assurer que les contraintes physiques sont correctement prédites par les modèles prédictifs, est que les ingénieurs hardware viennent de Mars et les data scientistes, de Vénus. Mais la communication doit s'établir vite, pour tenir des cycles produits toujours plus sous pression.

Dans la continuité de ces approches, l'incorporation d'une compréhension du monde réel dans des modèles de textes serait la clé pour des agents « multi-tâches » capables de raisonnement. Les modèles de langage sont notoirement mauvais avec les nombres et les calculs, car contrairement aux mots, les nombres ne sont pas corrélés entre eux, mais liés par des règles. Faire en sorte que les modèles de langage génèrent du texte basé sur une approximation ou compréhension des règles de la réalité serait alors le véritable changement de paradigme.