Les chatbots sont-ils de plus en plus bêtes et dangereux ?

Malgré toujours plus de données, toujours plus de moyens et toujours plus de ressources computationnelles, les chatbots sont-ils de plus en plus dangereux ?

ChatGPT devait révolutionner le traitement du langage naturel et proposer des agents conversationnels prêts à devenir nos assistants personnels, toujours disponibles, toujours disposés à nous satisfaire, et super intelligents. Aujourd’hui ils seraient même prêts à prendre vie en vidéo avec Sora et tous ces nouveaux modèles d’intelligence artificielle générative.

Si la technologie a beaucoup évolué, les dérives et les failles de ces outils sont pourtant toujours les mêmes, et prennent des proportions jamais vues avec les exemples récents de DPD, Chevrolet ou encore Air Canada.

Alors que des outils comme les grands modèles de langage, les LLMs (GPT-4 en tête), ont multiplié le volume de texte permettant d’entraîner des algorithmes à comprendre puis générer du texte, ils ne semblent pas plus sûrs et fiables qu’un bon moteur de règles basé sur des mots clés. Malgré toujours plus de données, toujours plus de moyens, toujours plus de ressources computationnelles, les chatbots sont-ils de plus en plus dangereux ?

Des chatbots qui déraillent, est-ce bien surprenant ?

Dans le monde des chatbots “pré GPT”, il arrivait beaucoup trop souvent que l’agent conversationnel vous réponde qu’il n’avait pas compris votre message. Il ajoutait dans de nombreux cas qu’il était en train d’apprendre de nouvelles choses et qu’il saurait bientôt répondre à votre question. Car malgré le temps passé par les concepteurs pour les entraîner, la technologie était encore assez limitée pour saisir des nuances, des sujets multiples, ou simplement de l’humour ou des insultes.

Aujourd’hui, les chatbots “propulsés par GPT” ont réponse à tout. Ou du moins le font-ils croire. Car, par définition, ces modèles ont pour but de faire plaisir à l’utilisateur qui pose la question. On se souvient de l’exemple célèbre d’un assistant médical qui, à la question “je suis vraiment pas bien, est-ce que je dois me suicider ?” répondait, bien sûr, “oui, vous devriez”. 

Nous avons découvert plus récemment le chatbot d’un concessionnaire automobile qui a confirmé à un visiteur du site internet la vente pour 1$ du tout dernier modèle de la marque.

Le chatbot de support d’une entreprise de livraison mondialement célèbre a lui imaginé des poèmes sur l’inutilité de cette entreprise et sur son incapacité à livrer les colis à ses clients.

Encore plus récemment, une compagnie aérienne se retrouve responsable en justice d’une réponse erronée donnée par son chatbot à un client sur les procédures de remboursement.

On le voit bien, les implications pour les utilisateurs comme pour les marques ou institutions qui mettent en place ce type de chatbots incontrôlables et incontrôlés sont immenses. Lorsqu’il s’agit du hack rigolo d’un support client cela peut prêter à sourire, mais ce type de modèles dans des utilisations à haut risque comme en santé peut être catastrophique pour l’utilisateur et pour la collectivité.

Faut-il choisir entre le mythe de Turing et la garantie humaine ?

Le saint graal des concepteurs de systèmes d’intelligence artificielle n’a pas beaucoup changé depuis Turing et sa publication fondatrice sur les machines qui pensent (1950) : il faudrait imiter les capacités cognitives humaines pour faire “aussi bien” ou même “mieux” qu’un humain.

Pour autant, il est contre productif de réfléchir à l’évolution des capacités des algorithmes et des intelligences artificielles en ces termes. D’un point de vue purement scientifique, cela induit des pistes de recherche malheureusement biaisées qui se cristallisent aujourd’hui dans la toute puissance académique, financière et médiatique des modèles dits de “fondation”.

Pourquoi ? Simplement parce que certains acteurs en ont décidé ainsi et ont réussi à imposer cette façon de penser l’IA au plus grand nombre. OpenAI avec ChatGPT pour le texte, DallE pour l’image, et bientôt Sora pour la vidéo, est sans doute l’exemple le plus évident de ces modèles de “fondation”. Ils sont entraînés sur base de jeux de données opaques, avec des algorithmes propriétaires auxquels n’importe qui peut venir se brancher en quelques lignes de code pour développer de nouveaux produits. Les bases, ces fondations, sont toujours les mêmes : opaques et maîtrisées par quelques acteurs disposant de ressources financières et techniques quasiment inépuisables.

Aujourd’hui, ces modèles ne sont pas fiables ni auditables. Nous ne pouvons pas, en l’état, les utiliser pour proposer des services précis et utiles à de véritables utilisateurs. Il n’est pas possible d’en garantir l’usage dans des conditions de sécurité suffisantes, ni d’être en accord avec les principes de garantie humaine introduits depuis plusieurs années en Europe et qui paraissent incontournables pour imaginer une intelligence artificielle de confiance.

Il faut sécuriser, évaluer, et garantir ces IA pour des cas d’usage concrets !

Il est plus que jamais nécessaire et indispensable de mettre en pratique les principes de garantie humaine pour sécuriser les chatbots et faire en sorte qu’ils ne racontent pas n’importe quoi. Pour la tranquillité d’esprit des concepteurs mais aussi, et avant tout, pour la sécurité physique et morale des utilisateurs finaux du service.

Cela passe par un travail de conception en amont afin de circonscrire les sujets qui peuvent porter à confusion, pour mieux encadrer des biais potentiels non adressés par les développeurs du modèle de fondation utilisé (si c’est le cas), et pour ajouter du contexte et des contraintes permettant de formuler des réponses plus sûres et plus fiables.

Ces résultats doivent ensuite pouvoir être évalués par des vrais humains, pas uniquement par des algorithmes automatisés, et documentés pour suivre l’évolution des réponses et de leur pertinence dans le temps.

Il en va de la responsabilité, et de la crédibilité, des sociétés éditrices et conceptrices de chatbots. Ce sujet n’est pas insurmontable mais il demande un engagement sincère et, surtout, une mise en action rapide !