GPT-5 : que faut-il attendre du prochain modèle d'OpenAI ?
Sortira, sortira pas ? Depuis début avril, les rumeurs sur l'annonce potentielle de GPT-5 pullulent sur les réseaux sociaux. Or un évènement en direct se tient ce lundi 13 mai à 19 heures pour présenter de nouvelles capacités pour ChatGPT et potentiellement une mise à jour de GPT-4. Mais OpenAI nous affirme qu'aucune annonce autour de GPT-5 n'aura lieu. Avant que celle-ci n'arrive, le JDN a décidé de faire le point sur les capacités attendues par les utilisateurs et plus généralement par le marché pour la prochaine version du modèle phare de la start-up de San Francisco.
Ce que l'on sait assurément
Là où le monde du smartphone peut se targuer d'obtenir des leaks de qualité, l'IA générative ne dispose que peu de sources crédibles. Il est ainsi impossible d'anticiper avec fiabilité les caractéristiques de GPT-5. Quelques indices dessinent cependant les grandes lignes du prochain modèle phare d'OpenAI. A commencer par les propos du CEO de l'entreprise. Interrogé par Lex Fridman en mars, Sam Altman a expliqué qu'OpenAI travaille à surmonter des défis d'ordre hardware. La technique serait également drastiquement travaillée. On peut anticiper un modèle avec une architecture et un tokenizer encore plus optimisé et une inférence beaucoup plus rapide.
Plus récemment, la nouvelle star de la Valley a donné des détails concrets, à l'occasion d'une conférence devant des étudiants de Standford. "GPT-5 sera une étape gigantesque en termes de capacités par rapport à GPT-4. GPT-4 est le modèle le plus stupide que quiconque aura à utiliser à nouveau", tease Sam Altman. Les coûts de calcul de l'entrainement de GPT-4 déjà explosifs (400 millions de dollars) seraient à terme probablement dépassés, a-t-il confié. Le CEO d'OpenAI affirme que GPT-5 sera plus intelligent, avec "un meilleur raisonnement, une meilleure compréhension et un support avancé des tâches complexes".
Pour éviter de "surprendre" le monde en dévoilant trop rapidement GPT-5, OpenAI prévoit des sorties de produit plus itératives et progressives pour laisser le temps à la société et aux institutions de s'adapter (c'est-à-dire éviter les foudres directes des régulateurs). "L'IA et la surprise ne vont pas bien ensemble", justifie le dirigeant.
Les hypothèses les plus crédibles
De manière assez évidente, on peut d'ores et déjà anticiper une augmentation significative du nombre de paramètres de GPT-5. Quand GPT-4 comptait entre 175 et plusieurs milliers de milliards de paramètres selon les sources, GPT-5 pourrait voir se nombre augmenter significativement (jusqu'au trillion ?). A la clé, on obtiendrait une amélioration de sa compréhension du langage, des tâches complexes et plus généralement du monde qui l'entoure. Claude 3 et Gemini 1.5 ayant ouvert le bal, il est fort à parier que GPT-5 dispose d'une taille de contexte égale ou supérieure à 1 million de tokens. Une telle taille de fenêtre permettrait de traiter de nouvelles modalités actuellement non supportées par GPT-4. On pense à la vidéo et à l'audio, deux nouvelles modalités qui devraient être supportées par le modèle.
GPT-5 pourrait également agir avec un certain degré d'autonomie. Selon des rumeurs crédibles régulièrement relayées ces dernières semaines, GPT-5 aurait la capacité d'invoquer des agents développés par OpenAI pour accomplir des tâches de manière automatique. Des fonctionnalités avancées de recherche pourraient également être implémentées. Selon plusieurs indices techniques (dépôt de nom de domaine, implémentation de code), OpenAI travaillerait sur un système de recherche web avancé poussé par l'IA. Une brique qui trouverait toute sa place au sein du prochain modèle d'OpenAI.
Les hypothèses (un peu) moins crédibles
D'autres hypothèses probables mais moins crédibles affirment que GPT-5 pourrait constituer un modèle d'AGI. Pour rappel, l'intelligence artificielle générale fait référence à un système d'IA capable d'égaler ou de surpasser les humains dans la plupart, sinon la totalité, des tâches cognitives. Contrairement à l'IA actuelle, l'AGI serait en mesure d'apprendre, de raisonner et de s'adapter de manière générale, tout comme les humains le font. Avec le projet Q*, OpenAI aurait réussi à développer il y a plusieurs mois un modèle d'IA au raisonnement logique et mathématique, qui pourrait s'approcher de l'intelligence artificielle générale. Certains experts s'attendent ainsi à ce que GPT-5 démontre des capacités d'AGI ou tout du moins de pré-AGI.
Ces nouvelles capacités de raisonnement de compréhension globale du monde pourraient conduire GPT-5 à atteindre la singularité dans plusieurs domaines clés. L'IA serait alors plus compétente que les humains dans un grand nombre de domaines. Elle pourrait évoluer en autonomie partielle ou complète. Dans la théorie, l'IA aurait également la capacité de s'auto-améliorer à un rythme exponentiel. Pour l'heure, l'arrivée de la singularité technologique avec GPT-5 ne semble clairement pas à l'ordre du jour. Une majorité de chercheurs estiment qu'il faudrait attendre encore plusieurs années. Le principe même de singularité technologique est d'ailleurs régulièrement sujet à controverse, tout comme son calendrier.
Reste qu'OpenAI est attendu par le marché. Meta a frappé un coup fort avec Llama 3 et prévoit déjà de déployer, prochainement, une version à 400 milliards de paramètres. Microsoft se prépare également avec un LLM nommé MAI-1 doté de 500 milliards de paramètres. Une concurrence qui complexifie encore un peu plus le calendrier prévisionnel de GPT-5.