Comment lutter contre l'AI hallucination
L'IA hallucination a été popularisée suite à l'avènement de ChatGPT. Cette notion renvoie à une réponse manifestement fausse fournie par un modèle d'IA générative, mais qui est présentée comme vraie par ce dernier. D'après une étude du cabinet Got It AI, la première version du large language model (LLM) de ChatGPT produisait des réponses fausses dans 20% des cas. "Les utilisateurs doivent comprendre que l'IA fonctionne, par définition, sur la base de probabilités. Elle ne peut donc pas aboutir à un système 100% certain. Ce système peut toujours faire des erreurs", rappelle Julien Salinas, fondateur et CTO de l'éditeur NLP Cloud. "Evidemment, cet élément aura un impact sur le choix des cas d'usage qui en découleront."
Partant de là, comment faire en sorte de minimiser le risque d'IA hallucination ? Les fournisseurs de LLM n'ont pas attendu l'émergence de ce débat pour se poser la question. Ils optimisent tous leurs modèles pour minimiser le phénomène. "Avec GPT-4, OpenAI ne donne plus accès aux couches de fondation du modèle, mais uniquement à des surcouches qui ont fait l'objet d'un réglage fin", illustre Julien Salinas. Un paramétrage qui passe par l'application de règles pour empêcher le modèle de fournir des réponses trop anciennes ou pour éviter les biais sexistes dans les résultats, etc.
Fine tuning du modèle
Au-delà du fine tuning générique réalisé par les éditeurs, l'entreprise utilisatrice pourra à son tour appliquer son propre paramétrage. Objectif : restreindre le modèle à un champs lexical ou d'expertise. "Ce qui passe par un réentrainement sur des data set plus spécialisés et surtout l'application de règles. Dans le domaine de la vente, il pourra s'agir par exemple d'appliquer des règles de pricing. Si le client à tel malus, alors il devra payer tant. C'est descriptif", détaille Stéphane Roder, CEO et fondateur d'AI Builders.
Ensuite vient la phase d'alignement des modèles, qui passe par la mise en œuvre de 1 000 à 2 000 prompts. "Cela permet de cadrer l'IA via un apprentissage supervisé en mode few-shot learning, un peu comme quand on cadre un enfant en lui expliquant ce qu'il doit répondre à telle ou telle question. On lui donne un canevas sémantique", explique Stéphane Roder. Et Julien Salinas d'enchainer : "Grâce à ce cadrage, l'IA pourra par exemple se concentrer exclusivement sur des questions portant sur la documentation de l'entreprise, avec à la clé des réponses adaptées à cette problématique".
"Il est conseillé de mettre en place ce que l'AI Act européen recommande, à savoir des AI Regulatory Sandboxes"
En aval, les tests représentent aussi une étape fondamentale dans la maitrise des risques d'hallucination. "Il est conseillé de mettre en place ce que l'AI Act européen recommande, à savoir des AI Regulatory Sandboxes. Ces bacs à sable vont permettre de mettre en œuvre des tests de qualification en termes de gestion des risques associés aux erreurs du modèle. Réalisés main dans la main par le product owner, le data scientist et le data engineer, ils aboutiront à un PV de recettes qui établira si le modèle est compatible avec un usage critique en production", explique Arnaud Muller, cofondateur et general manager de Cleyrop, un éditeur français de data hub souverain. Des résultats qui devront être mis à la disposition des utilisateurs dans une démarche de transparence du contrôle qualité.
Pour gérer au mieux le risque d'IA hallucination, l'idéal est de mettre en œuvre un LLM open source qui pourra être profondément fine tuné aux côtés de jeux de données d'entrainement et de validation entièrement maitrisés. "En bout de course, on pourra intégrer les feedbacks de la communauté scientifique comme des utilisateurs dans toute leur diversité. L'objectif étant d'aboutir à des avis représentatifs des cas d'usage", ajoute Arnaud Muller.
Vers la programmation inférentielle
Une autre piste pour lutter contre l'IA hallucination consiste à associer la recherche sémantique au modèle génératif. Une piste qu'OpenAI a choisi de déployer dans la dernière version de ChatGPT. Quand il ne déniche pas de solution via son modèle de base, l'assistant crawle désormais Internet pour rechercher la réponse à la question posée, puis extrait le passage en question. "Dans la même logique, un LLM pourra aussi aller glaner des informations dans l'index d'un système d'information interne d'entreprise", ajoute Julien Salinas chez NLP Cloud.
Quelle pourrait être la suite de l'histoire ? "Quand on a bien compris le prompting, on peut envisager la programmation inférentielle via l'utilisation des agents autonomes. Schématiquement, ces agents vont demander au LLM ce qu'ils doivent faire pour résoudre telle ou telle tâche. Le LLM va leur répondre par un découpage du raisonnement nécessaire pour aboutir au résultat. Ce qui est véritablement extraordinaire. C'est là où est la vraie révolution", estime pour finir Stéphane Roder chez AI Builder.