IssyGPT : comment fonctionne le chatbot IA d'Issy-les-Moulineaux ?
L'IA continue de s'imposer dans les services publics. Après avoir transformé le quotidien des agents de la fonction publique avec Service Public +, l'intelligence artificielle s'invite directement auprès des usagers. Depuis le début du mois de décembre 2023, les administrés de la commune d'Issy-les-Moulineaux ont à leur disposition IssyGPT, un chatbot capable de répondre à leurs demandes 24 heures sur 24, tous les jours. Démarches administratives, événements locaux, horaires… Le robot a la capacité de répondre à une flopée de demandes en s'appuyant sur la documentation du site Internet de la commune.
Un modèle basé sur GPT-4 dans Azure
Pour développer ce chabot intelligent, les équipes de la commune se sont appuyées sur la plateforme low-code de la start-up Prisme AI, spécialisée dans la conception de produits d'IA générative adaptés pour les entreprises. Véritable studio d'IA, l'outil développé par Prisme permet de configurer son chatbot assez finement sans recourir à du code. Les équipes de la start-up ont livré le chatbot fonctionnel en quatre semaines. La version actuellement déployée en production sur le site d'Issy utilise le modèle GPT-4. Le choix du modèle phare d'OpenAI est stratégique : "Lorsqu'on analyse les tests de performance réalisés actuellement entre GPT-4, GPT-3.5 et GPT-3.5 Turbo, on constate que GPT-4 est bien plus performant. Pour ce cas d'usage, avec une collectivité, il est important d'éviter certains sujets sensibles tels que la politique, et de veiller à contextualiser précisément nos requêtes. Par ailleurs, GPT-4 offre plus de précisions dans ses réponses", détaille Antoine Adil Aamarcha, CEO de Prisme AI.
D'un point de vue infrastructure, au commencement, l'outil fonctionnait directement avec l'API d'OpenAI. Rapidement, les équipes ont décidé de basculer sur la version backée par Azure, pour des questions de confidentialité des données (les modèles d'Azure OpenAI sont hébergés en Europe). "Dans le cas présent, les données utilisées étant déjà accessibles sur Internet, il n'y avait pas de risque particulier. Néanmoins, Issy-les-Moulineaux ayant la volonté d'aller plus loin avec OpenAI, un contrat avec Microsoft était nécessaire afin de renforcer la sécurité des données futures par rapport à un accès direct à la plateforme OpenAI. En passant par Microsoft, les aspects contractuels offrent davantage de garanties quant à la protection des données qu'Issy-les-Moulineaux serait amené à fournir à OpenAI dans le cadre de collaborations approfondies", justifie Bertrand Lamour, COO de Prisme AI.
Un système de RAG basé sur le site web de la commune
Le chatbot, que nous avons pu tester assez longuement, offre des réponses précises et appuyées par des sources, sous forme de liens vers les articles du site de la municipalité. Pour être en mesure de sourcer ses réponses, l'outil est appuyé par un système de RAG (retrieval augmented generation) qui utilise en grande partie les contenus déjà produits sur le site. "Les fonctionnalités de scraping de pages web font partie intégrante de la solution que nous proposons. Concrètement, nous avons développé un microservice 'crawler' qui va automatiquement récupérer et analyser le contenu de pages HTML, afin d'en extraire les informations pertinentes et de les transmettre au système de RAG", détaille Bertrand Lamour. Plus intéressant encore, le système développé par Prisme est capable de mettre à jour la documentation dans le RAG si les contenus du site web évoluent. Si besoin, les équipes peuvent également ajouter des connaissances à l'IA directement depuis l'interface de l'outil (Word, PDF, PPT, SharePoint…).
Selon nos tests, le pre-prompt de l'outil est également bien protégé. Les techniques traditionnelles de récupération du prompt initial ne fonctionnent pas. Techniquement, pour sécuriser au maximum le chatbot et limiter les utilisations malveillantes, les équipes de Prisme AI s'appuient sur le content filtering de Microsoft dans Azure OpenAI couplé à des instructions précises et strictes de prompt system (pre-prompt).
Un monitoring avancé
Pour détecter la moindre dérive du modèle en production, les équipes de Prisme AI ont développé un système de monitoring poussé. "Nous disposons d'une fonctionnalité de tests automatisés, qui permet d'évaluer les performances de l'IA selon une approche métier simple. Concrètement, nous rédigeons des jeux de tests avec les réponses attendues de la part de l'IA. Ces tests sont alors exécutés automatiquement toutes les 5 heures pour vérifier la conformité des réponses", dévoile Antoine Adil Aamarcha.
Etant donné que les réponses fournies par l'IA peuvent varier même pour une question identique, afin d'éviter tout risque de répétition et d'encourager l'originalité, le processus inclut l'analyse du modèle de langage (LLM) qui attribue un score à chaque interaction. Celui-ci permet de mesurer les performances et les variations de l'IA dans le temps. En parallèle, une évaluation humaine est réalisée selon deux critères : la pertinence du contenu produit ainsi que le risque d'induire l'utilisateur en erreur. Un membre de l'équipe note ces métriques, qui sont suivies visuellement sur un graphique. "Des seuils d'alertes peuvent également être paramétrés : si le score de plagiat, de pertinence ou de risque d'induction dépasse un certain niveau, des notifications automatiques sont envoyées. Cela permet d'assurer une bonne observabilité des performances et des risques potentiels", précise le CEO de Prisme AI.