ChatGPT d'OpenAI va-t-il bouleverser le machine learning d'entreprise ?

Depuis quelques semaines, une déferlante agite le petit microcosme de l'IA avec l'avènement de ChatGPT. Cet assistant intelligent est-il la première intelligence artificielle générale qui fonctionne réellement ?

La nouvelle génération d’IA proposée par OpenAI va-t-elle bouleverser le monde de l’intelligence artificielle en entreprise ? 
Depuis quelques semaines, une déferlante agite le petit microcosme de l’IA : ChatGPT, (c’est son nom), est accessible à tout un chacun en mode bêta test. Déjà plus de 5 millions de personnes, particuliers et professionnels de tous secteurs ont pu dialoguer avec la nouvelle IA prodige.

ChatGPT est-elle la première intelligence artificielle générale qui fonctionne ? Sera-t-elle suivie par de nombreuses autres ? 
Est-on au bord d’une révolution dans le monde de l’IA ?

Tout d’abord, de quoi parle-t-on ?

De manière synthétique, on parle de cette nouvelle génération d’IA mise au point par OpenAI, une société fondée par notamment Elon Musk et Sam Altman. On parle d’IA de type LLMs (Large Language Models).

Les fondateurs y ont initialement investi 1 milliard de dollars en 2015, avec l’objectif d’arriver pour la première fois (et avant tout le monde) à créer une intelligence artificielle dite "générale".

Aujourd’hui, en effet, toutes les IA que nous produisons sont attachées à une tache ou à un environnement donné, et son des IA dites contextuelles ou étroites. En 2019, Microsoft y a investi un deuxième milliard de dollars, en plus des investissements fait initialement via LinkedIn.

Après de nombreux essais infructueux, OpenAI a réussi à mettre au point en 2018 une IA de nouvelle génération en utilisant un réseau d’apprentissage profond (deep learning), avec une architecture un peu particulière de type Transformer. 

Les transformers sont une variante des réseaux de neurones qui sont particulièrement efficaces pour traiter les données séquentielles, comme le langage naturel, en utilisant le principe du transfert Learning (une technique couramment utilisée en IA), pour donner une IA capable de générer du texte.

GPT, c’est le nom de l’IA ainsi créée, était née. GPT signifie generative pre trained transformer. L’intérêt de GPT est qu’on peut compléter assez facilement son entraînement initial pour la spécialiser sur des taches plus précises comme :

• L'échange conversationnel,
• L'écriture de code et la programmation,
• La traduction de textes.

Le corpus de connaissances servant à l’entraînement de GPT était au départ une collection limitée de 7000 ouvrages en Anglais, pour un volume de 4 Goctets de texte.

Puis vint GPT 2, GPT3, puis GPT 3.5, qui fonctionnent sur le même principe mais avec des réseaux plus puissants et plus complexes, et un corpus d’entraînement plus volumineux. GPT 2 a été entraîné en 2019 sur 8 millions de documents, pour un volume de 40 Go. 
GPT 3 a été entraîné suivant certaines de ses variantes, sur plusieurs milliards de documents pour un volume de deux ordres de grandeur plus important que le dataset de GPT 2. Par exemple l’entrainement de GPT-3 175B a nécessité un calcul de plus 175 milliards de paramètres et a duré plusieurs semaines.

Avec GPT 3, une découverte assez surprenante a été faite : à ce niveau de puissance inédite et jamais égalée, il n’est plus réellement nécessaire de continuer à faire du transfert learning pour spécialiser GPT dans un domaine particulier comme la programmation, l'IA est capable nativement de répondre sur des contextes très différents.

Il faut bien expliquer que GPT3 n’est pas plus réellement capable de compréhension ni de raisonnement que ses prédécesseurs, il/elle fabrique à partir de son corpus d’entraînement, la réponse la plus pertinente possible, en combinant grâce à son algorithme plusieurs contenus de documents entre eux pour élaborer une réponse.

On peut tester la dernière version de GPT via une URL publique de OpenAI, qui donne accès à ChatGPT, un agent conversationnel basé sur GPT 3.5.

Qu’est-ce que cela apporte ?

Cela montre qu’une IA, actuellement issue de la recherche en IA, adossée sur une puissance de calcul colossale, et un corpus d’entrainement de milliards de documents est capable de réaliser une fonction conversationnelle réellement bluffante, et multi-contextuelle.

Un professeur en droit a par exemple fait passer un partiel à ChatGPT et celui-ci a obtenu une note de 12/20.

J’ai moi-même fait passer un examen de DataScience / IA (niveau junior/confirmé), a ChatGPT portant sur 77 questions et ce dernier obtenu une note de 15,8 /20. Avec seulement 16 erreurs, c’est réellement bluffant.

Pour, moi, c’est la première fois qu’une IA est en capacité de passer le test de Turing (dans l’idée)

La fonction la plus bluffante (et innovante) de ChatGPT est, je crois, sa capacité à programmer. On explique à ChatGTP ce que le programme doit faire et l’IA génère un programme Java ou Python (ou autre) qui le fait. On envisage même de pouvoir l’utiliser pour débugger des programmes existants.

Ce point est particulièrement intéressant car il apparait que certains développeurs ont déjà commencé à utiliser la bêta de ChatGPT pour écrire du code. Cela annonce-t-il une nouvelle révolution dans la mouvance no code et de la programmation ?

Quelles en sont les limites ? 

On peut citer quatre types de limites :

1. Tout d’abord, GPT n ‘étant pas capable de réellement comprendre ni de raisonner, il lui arrive encore fréquemment de commettre des erreurs dans ses réponses. Il peut faire des contresens et soit répondre à côté de la question soit répondre quelque chose de faux. De plus, on n’est pas à l’abri que des données fausses aient pu être utilisées lors de l’entraînement de GPT, les concepteurs de celui-ci ayant largement utilisé les contenus publiés sur le web et les réseaux sociaux. Il faut reconnaitre en revanche que ChatGPT arrive à donner dans quasiment 100% des cas une réponse assez crédible et bien rédigée. Des progrès sont donc à faire au niveau du contrôle de l’exactitude des réponses.
2. Ceci nous amène le deuxième type de limite, la notion d’éthique est totalement étrangère à GPT, car il ne peut distinguer le bon du mauvais, le bienveillant du malveillant. Actuellement rien n’empêche en étant un peu astucieux de demander à GPT d’écrire un code qui pourra ensuite servir de code malveillant. La façon dont la question est posée n’est d’ailleurs pas totalement anodine, certaines formulations astucieuses de questions peuvent amener ChatGPT à tenir des propos éthiquement incorrects.
3. La troisième limite est paradoxalement la difficulté de contextualisation. GPT 3.5 n’est pas conçu pour une utilisation contextuelle particulière, et par conséquent, il n’est pas actuellement prévu de limiter ses réponses à un contexte particulier, comme les réponses destinées à un service relation client d’une entreprise ou bien un support technique. Ceci rend son utilisation actuelle inappropriée pour un chatbot d’entreprise. On peut toutefois imaginer que ce point sera amené à pouvoir être corrigé dans le futur.
4. Enfin la quatrième limite est économique et écologique. La consommation énergétique de GPT3 n’a pas été rendue publique, mais des estimations ont été faites. D’après les estimations les plus récentes, basées sur son nombre de paramètres à calculer, (qui est de 175 milliards pour la version GPT-3 175B), la puissance électrique nécessaire pour un seul entraînement de GPT 3 serait supérieure à 4 GWH, ce qui correspond à la puissance électrique d’une tranche complète d’une centrale nucléaire pendant quatre heures. Et il ne s’agit là que de l’entrainement que d’une seule version.

Quel impact sur l’IA en entreprise ?

Dans un court terme, la réponse est clairement aucun, ne serait-ce qu’à cause de l’énergie consommée par le modèle et les autres limites indiquées plus haut. Ce type d’IA n’a pas non plus encore trouvé son modèle économique et on peut présumer que l’accès à ChatGPT sera tôt ou tard payant.

Le site bien connu des développeurs Stack Overflow a d’ailleurs récemment temporairement interdit l’utilisation de ChatGPT dans les posts à cause des erreurs qu’il génère.

GPT et les LLMs, font donc encore clairement partie du domaine de la recherche, et leur utilité pratique reste aujourd’hui quand même limitée dans un contexte professionnel.

En revanche, ce serait probablement une erreur de ne pas s’intéresser à la recherche à venir sur ce sujet. La progression de ce type d’IA doit se faire en direction d’un meilleur contrôle éthique et plus d'exactitude dans les réponses, une possibilité de contextualisation, et surtout une consommation en énergie considérablement plus sobre.

On peut raisonnablement espérer que d’ici quelques années, ce type de modèle aura beaucoup progressé à la fois sur le plan du contrôle éthique, consommera moins de ressources, et sera contextualisable, mais ce n’est pas non plus garanti.

Si les barrières et limites citées plus haut peuvent être surmontées, ce type de modèle pourra alors être envisagé en production dans le monde des entreprises.

Il se peut également que de nouvelles innovations en IA viennent complètement changer la donne d'ici là, et rende ce type d’IA obsolète à un moment donné.

L’avenir nous le dira.