Veolia déploie un ChatGPT interne adossé à 280 bases de données
Fin 2023, le groupe Veolia a lancé son ChatGPT interne. Baptisée Secure GPT, la plateforme compte désormais près de 65 000 utilisateurs actifs répartis sur 45 entités, soit plus de 90% des cols blancs de la multinationale. Une entreprise qui, au total, compte 220 000 salariés et réalise 45 milliards d'euros de chiffre d'affaires. 13 000 collaborateurs ont été formés à cette technologie qui fédère 130 assistants internes déclinés sur toute une myriade de cas d'usage. La solution met en œuvre pas moins de 19 modèles d'IA. En coulisse, Veolia a recours au RAG pour gérer un dialogue avec 280 bases de connaissances. Elle met par ailleurs en musique 215 agents capables de collaborer entre eux en s'appuyant sur les frameworks open source LangGraph et LangChain.
Secure GPT recouvre les principales fonctionnalités d'un assistant conversationnel digne de ce nom : dialogue, génération d'images, analyse de documents PDF... "Pour nous, au sein de Veolia Eau France, l'objectif était d'abord de démocratiser l'accès à l'IA générative en interne", souligne Meriem Riadi, CIO de l'entité en question. Pour accompagner ses salariés dans la prise en main de l'outil, Veolia Eau France a mené des sessions d'acculturation tout au long de l'année 2024, jusqu'à des mises en pratique via du prompting. Ce programme a d'abord été proposé aux différents comités de direction de l'entreprise puis à des référents (ou "champions") qui ont été désignés pour porter la bonne parole en région en vue de sensibiliser les équipes. Au total, 1 500 managers ont été formés.
Les agents d'IA en ligne de mire
Fin 2024, Veolia Eau France entend approfondir des cas d'usage au-delà des fonctionnalités basiques de chatbot, avec notamment un focus sur les agents. Parmi ces cas d'usage figure l'automatisation de la gestion des dossiers de consultation reçus dans le cadre des appels d'offres. Un projet mis en œuvre au quatrième trimestre 2024. "L'IA générative nous aide à analyser ces dossiers en se basant sur notre historique d'appels d'offres", explique Meriem Riadi. L'enjeu ? Réduire les délais de réponse en vue de dérocher les contrats (ou de les reconduire) avec les collectivités territoriales souhaitant déléguer à Veolia la gestion du service public de l'eau. "Secure GPT nous permet au final de gagner du temps pour nous concentrer sur la qualité des livrables", indique Meriem Riadi. "Au-delà de l'analyse des dossiers, nous sommes en train de tester la génération automatique de réponse." Nom de code de l'application : VivaOGPT.
Reposant sur le modèle Gemini de Google, VivaOGPT a permis d'analyser près de 150 dossiers de consultation depuis son lancement en novembre 2024. Résultat : un gain d'une journée de travail par dossier et par chargé d'affaires. La solution est désormais déployée auprès de l'ensemble des équipes de développement. "Sur une année complète, nous estimons que plus de la moitié des appels d'offres sera traitée via VivaOGPT, soit plus de 300 dossiers. Ce qui correspondra à autant de journée / homme d'économisées", résume Meriem Riadi.
"On souhaite déployer à terme une vingtaine d'assistants au sein de notre entité"
Un deuxième cas d'usage déployé fin 2024 porte sur la gestion de la relation client. Reposant également sur Secure GPT, il consiste à faire ingérer au chatbot l'ensemble des bases de connaissances client disponibles au sein de Veolia Eau France : messages échangés, documentation de support, etc. A partir de là, l'application, qui repose sur le modèle Claude 3.5 d'Anthropic, livre une réponse que le conseiller peut ensuite relire et valider avant de l'envoyer par mail. "Encore en phase de test, cet outil est un agent articulé autour du chargé de clientèle", précise Meriem Riadi.
Aujourd'hui, Veolia Eau compte plus de 700 connexions quotidiennes à Secure GPT pour un effectif de 15 000 salariés. Pour la suite, l'entité affiche une dizaine de projets en phase de cadrage ou de test autour d'agents d'IA. "On souhaite déployer à terme une vingtaine d'assistants au sein de notre entité. Ils iront de la relation client autour de la gestion de contrats jusqu'à des cas d'usage propre à l'IT touchant notamment au développement applicatif", anticipe Meriem Riadi.
Au départ, Secure GPT était adossé au service cloud Azure OpenAI de Microsoft. "L'application a été lancée en deux mois. L'objectif était d'aboutir rapidement à un résultat en production", se rappelle Meriem Riadi. Veolia a ensuite décidé de se tourner également vers le service d'IA générative Bedrock d'AWS. "Cette solution nous fournit toute une pléiade de modèles au-delà de GPT", justifie Meriem Riadi. "C'est un excellent complément. Sachant que nous souhaitons offrir à nos utilisateurs internes un environnement agnostique qui nous permette de capitaliser sur un maximum de LLMs du marché, chacun pouvant répondre à des cas d'usage différents."
Une plateforme universelle
Secure GPT ayant pour vocation d'être universel et de répondre à l'ensemble des problématiques du groupe en matière d'IA générative, il était logique pour Veolia de se tourner vers Bedrock. Ce service ouvre en effet accès à des dizaines de LLM en mode serverless. Au-delà des modèles d'Anthropic et de Mistral, il intègre notamment les modèle d'AI21 Labs, de Cohere, de DeepSeek, de Luma et de Meta et, évidemment, d'Amazon. Le tout accessible via une seule API.
En parallèle, Veolia a également recours au cloud de Google. Une plateforme qui est utilisée pour orchestrer les agents, mais également comme interface utilisateur de Secure GPT. "Nous ne nous privons pas non plus si besoin de recourir au service d'intelligence artificielle Vertex AI de Google Cloud", précise Meriem Riadi. C'est d'ailleurs le cas pour VivaOGPT. A l'image de Veolia Eau France, chaque entité métier du groupe Veolia est en train de s'approprier l'application Secure GPT en vue de l'adapter à ses propres usages métiers.