Faut-il mettre des LLMs dans tous vos projets d'IA pour la relation client ?

La majorité des projets d'IA générative lancés en test ne passeront pas le cap de la mise en production. Heureusement, ce n'est pas une fatalité !

Avec chaque nouvelle technologie de traitement automatique du langage, les experts de la relation client ont voulu gagner en efficacité, en productivité, et améliorer leurs chiffres de satisfaction. Passionné par le sujet depuis bientôt 15 ans, j’ai suivi de près ces évolutions en voulant toujours avoir un coup d’avance. L’objectif n’a pas changé : optimiser la gestion de la connaissance métier et sa diffusion.

Aujourd’hui, les éditeurs ne jurent plus que par l’intelligence artificielle, et par une discipline en particulier : les grands modèles de langage. Les opportunités paraissent infinies, et c’est peut être là que se trouvent les illusions et les risques du moment. Gartner anticipe que 30% des projets IA générative vont être abandonnés d’ici un an, d’autres professionnels parlent de 4 projets sur 5 qui ne passeraient pas le cap de la mise en production. La FTC (Federal Trade Commission) vient d’annoncer des actions contre des fournisseurs de services qui trompent les consommateurs sur l’efficacité réelle de leurs algorithmes, une première qui permet de mesurer un changement de paradigme de la croyance vers l’efficacité opérationnelle que nous défendons depuis 13 ans.

Le défi de 2025 n’est pas dans la création et l’entraînement d’un grand modèle de langage gourmand en données et en énergie, mais dans la construction du produit idéal, nourri en partie par des IA, adapté aux besoins des utilisateurs. Avec la juste dose de LLM, mais aussi de techniques NLP de traitement du langage naturel plus traditionnelles et l’apport d’experts humains.

Les modèles de langage en renfort pour contextualiser et personnaliser

Depuis de nombreuses années nous sommes capables de mettre en place des algorithmes de traitement du langage naturel qui analysent les requêtes des utilisateurs. Ces méthodes sont désormais éprouvées et sont en production depuis longtemps dans de nombreux outils liés à la gestion de la connaissance. Ici nous pouvons parler d’optimisations, mais sans doute pas (encore) de révolution.

La vraie nouveauté se trouve introduite par les grands modèles de langage se trouve un peu plus loin dans la chaîne de traitement du langage : pour la génération de réponses. Pionnier sur les sujets de recherche sémantique et d’algorithme de recommandation, Google lui-même s’essaye, avec plus ou moins de succès ces derniers mois, à la génération d’une seule réponse en lieu et place d’une sélection de plusieurs liens répartis sur plusieurs pages.

Dans ce domaine, le large succès de ChatGPT, devenu phénomène de société, y est pour beaucoup. Hier, les chatbots de marque étaient souvent décriés car ils n’étaient pas capables de répondre à des demandes très simples exprimées avec de simples mots-clés. 

Aujourd’hui les utilisateurs s’attendent à recevoir des réponses élaborées “à la ChatGPT”. Cela implique de faire évoluer les moteurs de réponse disponibles aujourd’hui auprès des clients. Cela est aussi un enjeu très fort pour les outils qui aident les conseillers clients à répondre toujours plus vite et toujours plus précisément, notamment au téléphone.

Les fournisseurs de ces modèles d’intelligence artificielle ont bien compris l’intérêt grandissant des entreprises du monde entier en proposant un accès très simple à leurs générateurs de langage. Quelques lignes de code, ou quelques clics parfois, une carte bleue et vous êtes prêts à mettre en place votre premier produit dopé à l’intelligence artificielle. En tout cas, en théorie…

Des risques aujourd’hui bien identifiés

L’intelligence artificielle générative comporte de nombreux risques pour les entreprises qui souhaitent en saisir les opportunités. Il ne s’agit pas d’avoir peur par défaut, ou de s’interdire d’utiliser l’IA générative par conviction. Nous, experts des solutions d’IA, devons prendre le temps d’évaluer nos solutions pour en expliquer les limites et mettre en perspective les méthodes en place pour minimiser ces risques.

Le risque le plus évident concerne la véracité des réponses et les risques d’hallucinations des grands modèles de langage. De nombreux cas ont défrayé la chronique ces derniers mois : de l’avocat américain qui se fait prendre en pleine audience après avoir utilisé une jurisprudence inventée par ChatGPT, au chatbot de concession automobile qui propose à l'utilisateur une offre d’achat à 1€ d’un modèle neuf. Pour éviter ce genre de complications, les experts de la relation client ont un atout majeur : la base de connaissance !

Le rapport coût/performance est lui aussi à prendre en compte. De nombreux acteurs se rendent compte aujourd’hui que leur stratégie de preuve de concept basée sur des produits 100% LLM peuvent vite devenir très chers à maintenir une fois en production. L’infrastructure technique mise en place doit être bien dimensionnée pour éviter de se retrouver piégé dans cet engrenage et cette dépendance à un fournisseur de modèles d’IA. Cette réflexion est également à mener pour éviter une dépendance à ce fournisseur et éviter une dette technique trop importante (ou même un arrêt du service en cas de faillite technique ou financière de l’acteur choisi).

Autre point qui me tient particulièrement à cœur avec chaque innovation ajoutée au produit : quid de l’impact écologique de ces nouvelles briques toujours plus gourmandes en data et en ressources de calcul ? La question se pose plus que jamais alors que tous les acteurs du secteur ont longtemps fait la course au plus gros modèle, avec le plus de paramètres, le plus de tours d’entraînement… Le NouvelObs posait d’ailleurs la question en septembre 2023 : “Pourquoi ChatGPT est une bombe environnementale”. Pour exploiter efficacement ces nouvelles techniques d’IA de façon frugale, plusieurs axes de développement s’offrent aux éditeurs : utiliser les modèles “mini” qui fleurissent chez les géants du numérique comme en open source, mais aussi ne pas oublier les techniques de NLP plus traditionnelles qui fonctionnent parfois mieux que les LLMs pour un coût (économique et écologique) bien inférieur.

La connaissance et les experts humains doivent être au coeur des projets

On dit souvent que la data est l’or noir du numérique, condition sine que none du succès. Je suis convaincu que ce sont les experts humains et leurs capacités à produire et optimiser la connaissance disponible qui feront la différence.

Pour venir à bout des hallucinations, mais aussi pour concevoir des expériences marquantes, la solution n’est pas forcément de vouloir absolument faire parler un robot “comme un humain”. Depuis 13 ans j’ai le plaisir d’accompagner le succès de mes clients professionnels de la relation client, tout en découvrant de nouvelles techniques et méthodes au contact d’humains brillants, rigoureux et créatifs.

Ces qualités peuvent décrire des assistants IA, si et seulement si ils ont été conçus, développés, entraînés et évalués par des experts en chair et en os. Les programmes de R&D sont plus que jamais indispensables pour créer les projets d’IA de confiance dont nos entreprises ont besoin. Les grands modèles de langage ne doivent pas être des perroquets statistiques, mais bien des agents auditables au sein d’une chaîne de valeur plus globale.

La confiance ne se décrète pas et les peurs identifiées par les professionnels de l’expérience client sont légitimes. Nous travaillons au quotidien pour construire les conditions indispensables de succès pour tous les projets de connaissance métier et de conversation au contact des utilisateurs. Les LLMs peuvent nous rendre de grands services dans cette  voie, mais il ne faut pas être aveuglé par les promesses.

2025 sera l’année de l’industrialisation des projets d’IA générative, mettez toutes les chances de vos côtés pour transformer les POC en succès à grande échelle. N’oubliez pas : l’IA n’est pas magique et les experts qui ont la main sur les algorithmes sont bien humains !