Pourquoi l'IA générative fait-elle des erreurs ?
Encensée pour sa puissance et sa polyvalence, l'IA générative s'invite dans tous les secteurs et elle est présentée comme une solution miracle à nos problèmes de productivité.
Mais derrière cette promesse magique, la réalité est plus nuancée. Peut-on vraiment la considérer comme un outil, au même titre qu’un tableur ou un moteur de recherche ?
Non, l’IA générative n’est pas un outil au sens propre
Un outil au sens propre est un dispositif fiable, simple à utiliser, conçu pour exécuter efficacement des tâches spécifiques et qui propose un gain de temps et d'efficacité. Mais lorsqu’on applique cette définition à l’IA générative, certains écarts apparaissent.
En effet, théoriquement une IA générative doit comprendre les consignes de l’utilisateur, tenir compte du contexte, générer un contenu original et apprendre de ses retours pour s’améliorer. Si l'accès à ces technologies est généralement simple, leur utilisation optimale requiert une certaine expérience pratique, notamment dans la formulation des instructions (prompts).
De plus, une même demande peut produire des résultats différents à des moments distincts, en raison de la nature probabiliste du fonctionnement des modèles, ce qui va déstabiliser l’utilisateur. Vous pouvez par exemple demander 2 fois de suite votre biographie à une IA générative du marché et constater des écarts dans la réponse. Oui, “ChatGPT peut faire des erreurs”, là où l’humain aura tendance à faire confiance au résultat.
Son caractère probabiliste par nature, engendre des erreurs
Ce caractère probabiliste engendre aussi un phénomène indésirable : les hallucinations. Il s’agit de réponses fausses ou inventées, mais formulées de manière totalement crédible, ce qui rend leur détection compliquée. Cela est accentué par le fait que l’IA s'entraîne à partir de contenus librement disponibles sur le web dont la qualité est de facto variable.
Par exemple, une fausse information intégrée dans l’apprentissage est difficile à corriger : il faut en moyenne neuf informations vraies pour qu'elle soit « désapprise ». Facteur aggravant, l’augmentation de faux contenus sur le web dégrade encore plus sa performance dans le temps.
De nouvelles technologies au renfort de sa fiabilité
Pour contrer le phénomène, des technologies ont été développées et améliorent la fiabilité des résultats. L’approche RAG par exemple (Retrieval-Augmented Generation - génération augmentée par la récupération) consiste à enrichir la demande de l’utilisateur par des informations extraites de sources fiables, ce qui permet de limiter les erreurs. Une autre méthode plus technique, est le fine-tuning, qui spécialise l’IA sur des données précises afin d’obtenir des réponses plus justes à plus de 90% dans des contextes ciblés.
En conclusion, bien que des solutions existent pour fiabiliser les résultats, l’usage de l’IA générative nécessite une formation continue car son périmètre d’utilisation optimal reste encore flou pour un grand nombre d’utilisateurs non spécialistes. De plus, une quasi systématique supervision humaine est nécessaire pour vérifier les résultats.
Ce qui complique et rend incertaine son intégration à des processus automatisés dans le monde professionnel et par conséquent rend encore plus incertain le retour sur investissement attendu.