Ulrich Tan (Etalab) "Albert, l'IA de la fonction publique, devrait être opérationnel début 2024"

Ulrich TAN est chef du pôle Datalab du département Etalab de la direction interministérielle du numérique (Dinum) et rapporteur au comité sur l'intelligence artificielle générative. Cette direction développe actuellement une solution d'IA nommée Albert destinée à la fonction publique.

JDN. Quels seront les cas d'usage d'Albert, la future IA de la fonction publique ?

Ulrich Tan. Nous souhaitons déjà développer notre propre expertise sur le sujet. Cette solution s'adressera ensuite uniquement aux agents de la fonction publique et non aux particuliers car il ne serait pas acceptable qu'un machine qui prétend venir de l'administration commette une erreur. Or nous savons pertinemment que les machines commettent encore des erreurs. Ne serait-ce que pour cela, sans même parler de la qualité du contact humain, elles ne peuvent pas remplacer les agents publics. L'intelligence artificielle permettra en revanche à l'agent de gagner du temps. Ainsi, il pourra consacrer plus de temps aux usagers qui nécessitent un accompagnement plus approfondi sur des sujets complexes.

Quand le modèle sera-t-il opérationnel ?

Les premières lignes de code ont été écrites le 5 juin dernier. Nous sommes une équipe de 8 personnes qui travaillons sur ce projet. Notre objectif est d'être opérationnel début 2024. D'ici là, de nombreux tests seront effectués : tests de déploiement, phases expérimentales, etc. Nous réalisons d'ailleurs déjà des tests de pré-déploiement, des tests de charge et tout ce que les ingénieurs sont censés mettre en place pour s'assurer du bon fonctionnement. L'idée est donc d'être prêt pour un déploiement effectif en 2024, après une phase de tests approfondis.

Quel est le modèle à l'œuvre derrière cette technologie ?

Nous avons testé de nombreux modèles d'intelligence artificielle libres tels que Falcon, X-Gen, Lama, Lama 2 et même le dernier modèle Mistral. Le modèle fondation que nous utilisons actuellement, et qui est intégré ici, est basé sur Llama2. Il faut trouver le bon équilibre. Il est possible de chercher à améliorer les performances, mais cela implique d'utiliser des modèles très lourds. Il faut également prendre en compte les questions liées au déploiement de tels modèles. En effet, plus le modèle est performant, plus il sera complexe et difficile à déployer à grande échelle.

Nous avons choisi Llama2 car il offrait le meilleur équilibre et des résultats satisfaisants voire similaires à ChatGPT. C'est le modèle qui répondait le mieux à nos besoins. Si un autre modèle plus performant voit le jour, nous sommes prêts à le tester et éventuellement l'adopter. Nous testons régulièrement les nouveaux modèles d'intelligence artificielle. On peut facilement débrancher un modèle, le remplacer et relancer le système. Mais pour l'usage que nous voulons en faire, à savoir aider l'agent, il ne s'agit pas de fournir une réponse parfaite. Aider l'agent signifie déjà de faciliter une grande partie de son travail. Ainsi, du moment que les réponses sont suffisamment satisfaisantes, sans nécessairement être parfaites, cela nous convient. L'objectif est d'apporter une aide significative à l'agent.

Comment avez-vous fine-tuné le modèle ?

Pour l'entraînement de notre modèle, nous avons utilisé un jeu de données composé de 40 000 questions-réponses issues de Service Public +. Nous y avons ajouté 40 000 questions créées de manière ad hoc à partir des fiches du site service-public.fr. Nous disposons donc de l'infrastructure nécessaire pour réaliser ce réentraînement spécifique (fine-tuning, ndlr). Le but est que le modèle puisse répondre avec un langage administratif, ou du moins similaire à celui d'un agent. Nous effectuons du fine tuning ainsi que de la génération augmentée de récupération (RAG) pour adapter les modèles à nos besoins. Toutefois, afin d'éviter au maximum les réponses fantaisistes, le modèle se base sur des documents officiels de service public. L'objectif n'est pas d'éradiquer totalement les hallucinations, mais de les réduire le plus possible. En effet, l'agent doit pouvoir avoir un minimum de confiance dans les réponses fournies par le modèle d'intelligence artificielle. Cela permettra à plus long terme aux agents publics de bénéficier d'un outil d'IA pour les accompagner dans leur réponse aux citoyens, les soulager de certaines tâches, et apporter un meilleur service encore.