Avec Albert, l'Etat français ne déploie pas une IA, mais 8 (et bientôt 10)

Plusieurs LLM basés sur Llama 2 et des modèles dérivés de Mistral AI accompagnent déjà certains agents de la fonction publique.

L'Etat français accélère encore sur l'IA générative. Après plusieurs mois de "co-construction", les équipes du département Etalab de la Dinum ont commencé à déployer en production des modèles d'IA auprès de certaines administrations publiques afin de simplifier le travail des agents publics. Une suite de modèles d'IA basés sur des LLM open source rassemblés sous un naming commun : Albert.  Une initiative mise en lumière très récemment par Gabriel Attal à l'occasion d'un déplacement dans une maison France services le 23 avril dernier.

Albert : une famille de modèles

Albert a été conçu comme un "ensemble technologique" capable de répondre à une majorité de cas d'usage d'IA générative de l'administration française. Aide à la rédaction de courriels, synthèse de documents… Les usages varient d'une administration à l'autre. Il était important pour le département Etalab de la Dinum d'apporter une réponse adaptée aux besoins des agents de chaque entité. Pour ce faire, plusieurs LLM ont été créés et spécialisés (fine-tunés) sur des datasets différents, selon le type d'administration et de cas d'usage. A ce jour, huit modèles Albert ont déjà été lancés mais seulement deux sont actuellement utilisés au sein de l'administration. Les équipes prévoient de lancer deux nouvelles versions prochainement. "Nous essayons d'être une alternative ouverte aux solutions propriétaires type ChatGPT pour permettre aux administrations d'expérimenter et d'explorer en toute sécurité, avec leurs propres données, sans avoir à se soucier de la partie matérielle et algorithmique qui n'est pas leur cœur de métier", résume Pierre-Etienne Devineau, lead datascientist au sein d'Etalab.

"Nous avons différents modèles car les comportements et besoins varient en fonction des cas d'usage. Par exemple, répondre à une sollicitation par écrit est différent d'une conversation où il faut prendre en compte le contexte. Ce sont des comportements spécialisés qu'il faut apprécier. Au-delà de l'apport de nouvelles connaissances, le fine-tuning permet justement d'affiner le comportement du modèle", explique Ulrich Tan, chef du Datalab du département Etalab de la direction interministérielle du numérique (Dinum) et rapporteur au comité sur l'intelligence artificielle générative.

Des modèles basés sur Mistral et Llama

Très concrètement, la famille de modèles Albert se base sur des modèles de Meta et de Mistral AI. La Dinum a choisi de travailler avec Llama 2 et OpenHermes, une version déjà fine-tunée de Mistral 7B. Une expérimentation avec Llama 3 est également en cours. Etant donné que les modèles à experts (MoE) nécessitent plus de ressources matérielles que les petits modèles transformers, Etalab a délibérément choisi de baser sa stratégie sur des modèles transformers classiques, principalement pour faciliter leur déploiement. "Notre travail est avant tout de répondre à des cas d'usage de manière suffisamment pertinente. Si un modèle 7B ou même 4B est suffisant pour répondre aux besoins, nous allons privilégier le modèle le plus léger", résume Ulrich Tan. Une fois fine-tunés selon le contexte d'utilisation (en chatbot, en assistant rédacteur…), les modèles sont couplés à un système de RAG pour sourcer les réponses en utilisant la documentation habituelle de l'administration dans laquelle l'IA est déployée. Le but est d'avoir une suite de modèles spécialisés dans un cadre sécurisé et souverain, pour maîtriser l'ensemble des éléments de la chaîne, de l'entraînement à la mise en production des modèles.

Pour l'heure, Albert est lancé auprès des agents volontaires de France Services. L'IA aide les fonctionnaires à préparer les rendez-vous et à rechercher des informations pour répondre au mieux aux questions des usagers. Albert est également en beta test dans de nombreuses administrations de toutes tailles. La mise à l'échelle est véritablement le prochain projet de l'Etalab. La finalité étant d'avoir des agents plus efficaces avec du temps supplémentaires pour des tâches complexes. En parallèle, certains modèles d'Albert commencent à être publiés en open source dans une stratégie de transparence. "Tout ce qui n'est pas confidentiel pour des raisons évidentes a vocation à être ouvert et public", rappelle Pierre-Etienne Devineau.