Lewis, réveille-toi, ils sont devenus fous !

L'IA ne deviendra peut-être pas folle. Le vrai danger est ailleurs : qu'elle reste parfaitement rationnelle et produise, avec une logique impeccable, des décisions absurdes.

Ils ont construit un bolide, pied au plancher. Et maintenant, ils réclament une pédale de frein.

Les dirigeants des entreprises les plus avancées dans l’intelligence artificielle multiplient les mises en garde. Le rythme serait devenu trop rapide, les modèles trop puissants, les risques trop difficiles à anticiper.

Le débat est légitime. Pourtant, je me demande si nous ne regardons pas le mauvais danger.

Le problème de l’intelligence artificielle n’est peut-être pas qu’elle devienne folle. Le problème, c’est qu’elle puisse rester parfaitement rationnelle et produire, avec une logique irréprochable, des résultats parfaitement absurdes.

LEWIS CARROLL AVAIT TOUT COMPRIS

Il y a quelque chose de profondément carrollien dans l’intelligence artificielle.

Lewis Carroll n’était pas seulement l’auteur d’Alice au pays des merveilles. C’était aussi un mathématicien, fasciné par la logique, les raisonnements formels et leurs limites.

Son génie est d’avoir compris quelque chose que nous semblons parfois oublier : un raisonnement peut être parfaitement logique et aboutir à une absurdité complète.

Dans Alice, personne ou presque ne manque de logique. La Reine applique ses règles, Humpty Dumpty maîtrise les mots, les tribunaux suivent leurs procédures… Tout fonctionne. Et c’est justement le problème.

Le pays des merveilles n’est pas un univers sans logique. C’est un univers dans lequel la logique est devenue folle à force de ne plus être confrontée au réel.

Cela devrait nous rappeler quelque chose.

L’IA NE CHERCHE PAS LA VÉRITÉ

Nous prêtons à l’intelligence artificielle une intention qu’elle n’a pas : elle ne cherche pas la vérité.

Elle produit des réponses à partir des données, des règles et des objectifs que nous lui avons donnés. Elle ne sait pas, par elle-même, si le cadre est juste.

C’est une nuance de taille.

Prenez de mauvaises données, ajoutez un objectif mal défini, injectez quelques biais humains et donnez à l’ensemble une puissance de calcul gigantesque… Vous n’obtiendrez pas nécessairement une machine qui dysfonctionne.

Vous pouvez même obtenir quelque chose de beaucoup plus inquiétant : une machine qui fonctionne parfaitement.

Elle pourra recruter rationnellement les mauvais candidats, refuser rationnellement un crédit, classer rationnellement quelqu’un comme personne à risque, prioriser rationnellement un patient ou surveiller rationnellement un comportement.

Elle produira chaque fois une explication très convaincante de sa décision. Le système sera cohérent, mais la décision pourra être absurde.

LE VRAI DANGER ? UNE IA QUI FONCTIONNE

Depuis des années, nous focalisons notre inquiétude sur les erreurs de l’intelligence artificielle : hallucinations, réponses erronées, bugs, biais visibles…

Évidemment, il faut les combattre.

Mais une IA qui se trompe grossièrement n’est peut-être pas notre plus grand problème, parce qu’une erreur visible déclenche une réaction.

Quelqu’un dit : "ça ne va pas" !

Le véritable danger commence lorsque plus personne ne le dit, lorsque les résultats sont suffisamment bons pour inspirer confiance, lorsque les recommandations deviennent suffisamment pertinentes pour que nous arrêtions de les contester et lorsque l’outil devient tellement efficace qu’il paraît plus simple de suivre sa décision que de la remettre en cause.

À ce moment-là, une bascule s’est opérée.

Nous ne demandons plus : "La décision est-elle juste ?"

Nous demandons : "Que dit le modèle ?"

QUAND LE RÉEL DOIT SE CONFORMER AU MODÈLE

C’est ici que le sujet devient politique, économique et même philosophique.

Un modèle est, par définition, une simplification du monde. Il transforme une réalité complexe en variables, convertit des comportements en données et remplace parfois une personne par un profil.

Cela peut être extrêmement utile jusqu’au moment où nous oublions qu’il s’agit d’un modèle.

Le danger commence lorsque nous cessons de confronter le modèle au réel et que nous commençons à demander au réel de se conformer au modèle.

Vous êtes statistiquement considéré comme risqué ? Alors vous êtes risqué.

Votre comportement ressemble à celui d’une catégorie problématique ? Alors vous appartenez à cette catégorie.

Votre profil ne correspond pas aux candidats généralement recrutés avec succès ? Alors votre candidature descend dans la pile.

Chaque décision prise isolément peut être défendable, mais le résultat collectif peut devenir totalement absurde.

Bienvenue au pays des merveilles.

L’INTELLIGENCE, C’EST AUSSI SAVOIR DIRE NON

Nous faisons peut-être également une erreur sur la définition même de l’intelligence.

Nous assimilons de plus en plus intelligence et capacité de calcul : prévoir mieux, analyser plus vite, traiter davantage d’informations, optimiser.

Mais l’intelligence humaine possède une capacité étrange que nos systèmes ont encore beaucoup de mal à reproduire.

Elle sait interrompre le raisonnement. Elle sait regarder une conclusion parfaitement logique et dire : "Non. Il y a quelque chose qui ne va pas."

Elle sait considérer une règle et décider qu’une exception est nécessaire.

Elle sait préférer une justice humaine à une logique statistique.

Elle sait parfois désobéir.

Et surtout, elle sait douter.

Le doute est probablement l’un des comportements les moins efficaces qui existent. Il ralentit tout, empêche de décider rapidement et rend les choses inconfortables.

Et pourtant, il constitue peut-être l’une de nos meilleures protections contre l’absurde.

SE TROMPER AVEC DAVANTAGE DE PRÉCISION

Nous sommes fascinés par une équation extraordinairement séduisante : plus de données + plus de puissance de calcul + de meilleurs algorithmes = une meilleure compréhension du monde.

Ce n’est pas forcément vrai.

Plus de données peuvent simplement permettre de se tromper avec davantage de précision.

Plus de puissance de calcul peut permettre d’optimiser beaucoup plus efficacement un objectif idiot.

Et un modèle extrêmement performant peut produire une réponse remarquablement convaincante à une mauvaise question.

C’est peut-être là le véritable paradoxe de l’intelligence artificielle.

Plus elle progresse, plus ses erreurs risquent d’être difficiles à détecter, non parce qu’elles seront grossières, mais parce qu’elles seront parfaitement argumentées.

LA PÉDALE DE FREIN NE SUFFIRA PAS

Alors oui, ralentir peut être utile.

Mettre en place des garde-fous est indispensable.

Auditer les modèles, contrôler leurs usages et imposer de la transparence lorsque des décisions importantes sont prises : tout cela est nécessaire.

Mais cela ne suffira pas.

Parce que le problème n’est pas seulement la vitesse à laquelle nous développons l’intelligence artificielle. Le problème est la place que nous sommes prêts à lui abandonner.

Une société dans laquelle un algorithme aide l’homme à décider peut être formidable.

Une société dans laquelle l’homme ne fait plus que valider les décisions d’un algorithme devient beaucoup plus inquiétante.

Lewis Carroll nous avait prévenus il y a plus de 150 ans : le pays des merveilles n’est pas un monde sans règles. C’est un monde dans lequel les règles ont fini par remplacer le jugement.

L’intelligence artificielle ne nous conduira peut-être jamais à la révolte des machines. Mais elle pourrait nous conduire à quelque chose de plus banal et peut-être de plus dangereux : un monde parfaitement organisé, parfaitement optimisé, parfaitement cohérent… et parfaitement absurde.