IA : les VC en quête d'alternatives aux LLM
Depuis la sortie en fanfare de ChatGPT fin 2022, les progrès spectaculaires accomplis par l’IA dans la génération de texte, d’images, de code et de vidéos ont été accomplis par les grands modèles de langage (LLM), eux-mêmes basés sur l’architecture transformer, mise au point par des chercheurs de Google en 2017.
Si nul ne remet en question les progrès accomplis grâce à ces derniers, un débat agite actuellement le monde de l’IA quant à leurs possibilités futures. Ce débat est centré autour des hallucinations, à savoir la propension des LLM à inventer des éléments de toute pièce, qui nuit à leur fiabilité, les rend difficiles à utiliser dans un certain nombre de cas d’usage sensible et complique la percée vers une IA générale. Une faction, emmenée par OpenAI, Anthropic et d’autres ténors de l’IA, suppose que les hallucinations peuvent être, sinon totalement éliminées, du moins largement mitigées grâce à des méthodes comme le RAG, le post-training ou le fine tuning.
D’autres affirment que les hallucinations sont consubstantielles aux LLM et qu’elles limiteront toujours leurs possibilités. Pour ne pas se heurter à un nouvel hiver de l’IA, il faudrait donc cesser de tout miser sur les LLM et explorer d’autres méthodes susceptibles de faire progresser l’IA.
Les sceptiques et leurs arguments
L’un des plus célèbres tenants de cette deuxième école est le français Yann Le Cun, ancien directeur de l’IA de Meta. Dans une récente interview accordée au New York Times, il affirme que l’industrie s’aveugle sur le potentiel des grands modèles de langage : "Les LLM ne mènent pas à la superintelligence, ni même à une intelligence de niveau humain. Je l'ai dit dès le début", affirme-t-il, ajoutant que, selon lui, "toute l'industrie s'est laissée embobiner par les LLM."
Parmi les grandes critiques adressées par Yann Le Cun aux grands modèles de langage figure notamment l’idée que ces derniers, dans la mesure où ils s’appuient uniquement sur du texte, ont accès à un canal d’informations trop pauvre pour bien comprendre le monde, là où un enfant, par exemple, absorbe principalement l’information de manière sensorielle et physique. Par conséquent, si les LLM donnent l’illusion de comprendre le monde, ils sont en réalité surtout très forts pour effectuer des corrélations statistiques intertextuelles. Une dimension qui les rend utiles pour un grand nombre de cas d’usage, mais les prive d’une véritable compréhension du réel, ce qui empêche toute progression vers une IA générale, et fait des hallucinations un problème inextricable. Les LLM sont en outre selon lui incapables de planifier et raisonner à long terme, faisant uniquement de la prédiction statistique, ce qui là encore limite leur marge de progression.
Un autre grand sceptique vis-à-vis des LLM est le chercheur américain Gary Marcus, qui fait régulièrement part des limitations que comporte selon lui cette technologie sur son Substack. Pour lui, "les réseaux de neurones, quelles que soient leurs variantes, sont capables de généraliser à partir des données sur lesquelles ils ont été entraînés, mais leurs généralisations ont tendance à s'effondrer dès qu'ils se retrouvent confrontés à des situations qui sortent de ce cadre." Une idée qu’il défendait déjà en… 1998, dans un papier qui mettait en évidence cette limite chez les ancêtres des LLM actuels. Cela condamne les LLM à régulièrement halluciner, et devrait selon lui rendre inenvisageable leur application à des industries sensibles comme la santé ou la défense.
Citons encore les travaux récemment menés par Subbarao Kambhampati, un chercheur en informatique de l'université d'Etat de l'Arizona. Dans une récente série d’articles, celui-ci s’en prend aux modèles de raisonnement, mis en place par l’industrie pour pallier l’une des limites inhérentes aux LLM mises en lumière par Yann Le Cun, à savoir la difficulté à raisonner dans la durée. Selon le chercheur, ils se heurtent eux aussi à toutes sortes de limites. Un récent papier de recherche d’Apple souligne également les faiblesses de ces modèles de raisonnement.
Les performances des LLM tendent bien à ralentir
Pour ces détracteurs des LLM, qui ne nient par ailleurs nullement le potentiel de l’IA, les efforts consistant à construire des modèles toujours plus complexes avec toujours plus de paramètres sont pour ces différentes raisons amenés à se heurter à un mur. Si leurs thèses sont fortement contestées par d’autres experts de l’industrie, ils disposent d’éléments récents susceptibles d’appuyer leurs positions.
Ainsi, les modèles de pointe d'OpenAI, Anthropic, Google et Meta affichent des gains de performance de plus en plus modestes d’un modèle sur l’autre, malgré des budgets d'entraînement et des dépenses en puissance de calcul de plus en plus massives. Une étude réalisée par des chercheurs britanniques, parue en juillet dernier, se montre en outre sceptique quant aux capacités des LLM à surmonter le problème des hallucinations. Selon les chercheurs, "les lois d'échelle qui déterminent les performances des grands modèles de langage limitent sévèrement leur capacité à améliorer l'incertitude de leurs prédictions. En conséquence, élever leur fiabilité jusqu'aux standards requis par le milieu scientifique est impossible."
Pour les auteurs, cette limitation est bel et bien intrinsèque au fonctionnement des LLM. "Nous soutenons que le mécanisme même qui alimente une grande partie de la puissance d'apprentissage des LLM (...) pourrait bien être à la racine de leur propension à produire une accumulation d'erreurs, entraînant des catastrophes informationnelles et des comportements dégénératifs de l'IA."
Citons encore GPT-4.5, qui, malgré un coût d'utilisation via API 15 à 30 fois plus élevé que celui de GPT-4o, n’offre qu’une amélioration limitée par rapport à celui-ci.
Trois pistes pour les VC
Si les investisseurs n’ont nullement l’intention d’arrêter de financer les LLM, ils font preuve de prudence et commencent à miser sur des techniques d’IA alternatives pour éviter de mettre tous leurs œufs dans le même panier. L’une des pistes les plus étudiées est celle des "world models" ou "modèles du monde". Contrairement aux LLM, ceux-ci cherchent à simuler le monde physique pour pallier la difficulté soulignée par Yann Le Cun, selon laquelle les LLM, ne s’appuyant que sur du texte, ont une compréhension limitée du monde.
C’est justement sur ces modèles que le Français mise à travers sa nouvelle start-up, AMI Labs. Début mars, elle a levé plus d’un milliard de dollars à peine trois mois après son lancement, pulvérisant tous les records pour le montant levé par une jeune pousse européenne en phase d’amorçage. Fei-Fei Li, l’une des pionnières de l’IA, a elle aussi créé sa start-up dédiée aux modèles du monde. Baptisée World Labs, elle a également levé un milliard de dollars auprès des investisseurs en février. Google DeepMind, Meta ou encore Nvidia ont par ailleurs lancé leurs propres recherches dans ce domaine.
Une autre piste explorée est celle de l’auto amélioration récursive. Il s’agit comme son nom l’indique d’un système d'IA capable d'améliorer sa propre conception, afin de sortir du piège de "l’IA dégénérative" mis en lumière par les chercheurs britanniques cités plus haut. Elle est incarnée notamment par la jeune pousse londonienne Recursive AI, qui a également su attirer l’attention des VC pour rassembler la somme de 500 millions de dollars seulement quatre mois après sa formation, portant sa valorisation estimée à quatre milliards de dollars. Citons également Reflection AI, une autre jeune pousse créée par des anciens d’OpenAI.
Enfin, une troisième piste est celle de l’IA neuro-symbolique, qui consiste à combiner l’approche basée sur les réseaux de neurones à une autre branche de l’IA, dite symbolique, qui était l’approche classique de l’IA jusqu’aux années 2000, et a conduit à la construction de l’ordinateur DeepBlue, qui a battu Kasparov aux échecs. Plus récemment, c’est une IA neuro-symbolique qui a permis la conception du logiciel AlphaGo. La jeune pousse Augmented Intelligence Inc. a su capter l’intérêt des VC en misant sur ce créneau.