Comment l'humanité est-elle arrivée à transformer le sens des concepts en nombres ?

Derrière la capacité des IA à comprendre notre langage se cache une prouesse aussi fascinante qu'énergivore, qui interroge sur la place que nous voulons leur accorder dans notre société.

Derrière cette question se cache ce qui est sans aucun doute la trouvaille la plus fascinante dans le développement des intelligences artificielles actuelles. Y répondre est un excellent moyen d’expliquer pourquoi les besoins énergétiques des LLM comme ChatGPT sont aussi titanesques. Rares sont les occasions de joindre émerveillement intellectuel et sensibilisation écologique, alors saisissons-la.

La réponse tient en un seul mot : “embedding”. Pour comprendre rapidement cette notion, glissons-nous dans la peau de chercheurs qui sont parvenus à l’inventer. Pour réussir cette transmutation, nos braves ont dû errer un long moment dans l’obscurité, avant de trouver la solution : les vecteurs. Explication : prenons un mot, “arbre”. Créons donc un espace numérique et traçons un vecteur, appelé “arbre”. Pour l'instant il n’a pas encore le sens de ce mot, cette action est purement arbitraire. Faisons ensuite en sorte que l’ordinateur parvienne à tracer un autre vecteur, “feuille”, en rapport avec le premier.

Plaçons pour cela des règles arbitraires : si deux vecteurs vont dans le même sens, ils ont le même sens, s’ils sont perpendiculaires, leur relation n’a pas de sens. Faisons en sorte que la machine arrive à tracer le deuxième vecteur de la bonne façon. C’est à ce moment que les statistiques et les données interviennent, mais faisons une ellipse sur ce sujet pour conserver la clarté de cette explication. Une fois ce problème résolu, le calcul est lancé et, miracle, le vecteur “feuille” apparaît, presque parallèle à “arbre”.

Prenons un moment pour fêter ça dignement, puis programmons ce même procédé pour l’intégralité des concepts existants et appuyons franchement sur le bouton entrée. Des centaines, puis des milliards de vecteurs apparaissent. Au final, la quantité d’informations contenue dans ce seul vecteur “arbre” est équivalente à la relation entre ce vecteur, et la totalité des milliards d’autres vecteurs tracés. Et là, magie : le vecteur acquiert le sens de “arbre”. 

Mais alors, pour que le LLM puisse “lire” une phrase, il faut donc alimenter en énergie ce gigantesque espace vectoriel pour chaque mot ? Oui, et plus précisément pour chaque token, qui est peu ou prou une division de ces mots, un peu comme vous qui comprenez véritablement un terme en isolant sa racine, suffixe et préfixe. À ce stade-là de l’explication, on peut commencer à appréhender intuitivement la quantité d’énergie nécessaire pour que le chatbot lise une phrase, alors prenons le temps d’imaginer la consommation nécessaire pour une réponse.

Et bien nous sommes encore bien en dessous de la réalité. Vous avez sans doute tracé dans votre imaginaire un espace vectoriel en deux ou en trois dimensions, c'est-à-dire plat ou en volume. Nos braves chercheurs sont allés beaucoup plus loin : les espaces vectoriels des LLM actuels varient en moyenne entre 700 et 4000 dimensions. À ce stade les vecteurs ne sont plus représentés par des lignes, mais par des nuages de points. 

Alors maintenant, quand nous entendrons aux informations que ChatGPT consomme l'équivalent en électricité d’une métropole, nous pouvons dorénavant être médusés par cette information et par le trésor intellectuel qui la cause. C’est une bonne base pour méditer sur la place que devrait avoir l’intelligence artificielle dans notre société.