Michel-Marie Maudet (OpenLLM) "Lucie.chat, une interface publique accessible à tous, permet d'accéder à notre LLM Lucie"

Michel-Marie Maudet est directeur général de Linagora, à l'initiative de la communauté open source OpenLLM Europe, qui dévoile officiellement ce 23 janvier, Lucie son premier LLM à 7 milliards de paramètres.

Michel-Marie MAUDET, directeur général de Linagora. © MMM

JDN. OpenLLM Europe lance son propre LLM : Lucie. Comment se compare-t-il par rapport aux autres modèles de sa catégorie ?  

Michel-Marie Maudet. L'entraînement a débuté mi-août et a duré 80 jours sur le supercalculateur Jean Zay, représentant environ 600 000 heures GPU. En termes de performances, nous sommes certes en deçà des modèles comme GPT-4o et autres grands modèles, mais l'écart est relativement limité pour un modèle open-weight. Notre objectif était de démontrer que la qualité des données prime sur la quantité, et les résultats le prouvent : nos performances sur les benchmarks classiques sont comparables à celles d'autres modèles open-weight, mais avec cinq fois moins de données lors de l'entraînement.  

Qu'en est-il de la génération de texte en Français ? 

Nous avons une profondeur de langage et une sensibilité en français nettement supérieures aux autres modèles. La proportion plus importante de données en français dans son entraînement se ressent clairement dans la qualité de ses productions. C'est un apprentissage remarquable qui malheureusement n'apparaît pas dans les benchmarks actuels. 

Sur quelle architecture le modèle se base-t-il ? Quel est la nature exacte des données du dataset constitué pour son entraînement ?  

C'est un modèle Transformers avec une taille de contexte de 32 000 tokens. Certes, nous ne sommes pas au niveau des dernières innovations en termes de taille de contexte, mais cela correspond bien à nos cas d'usage, principalement orientés vers la génération de texte. Un membre de notre communauté a d'ailleurs fait le travail de l'intégrer sur Ollama. La version quantisée peut donc fonctionner sur une machine standard. La version Transformers sur Hugging Face nécessite 12 Go de VRAM. C'est très accessible puisqu'une carte RTX 4070 avec ses 16 Go suffit pour l'inférence. Si vous préférez l'utiliser sans GPU, la version quantisée sur Ollama tourne sans difficulté sur des machines récentes. 

Concernant les données d'entraînement, nous avons utilisé plusieurs sources. D'abord, une partie du Common Corpus développé initialement avec Hugging Face. Nous avons également intégré les données utilisées pour le fine-tuning de CLAIRE (un précédent LLM, ndlr), ainsi qu'une série de datasets publics classiques. Notre contribution spécifique a été le traitement des données de RedPajama, un grand dataset qui nécessitait un important travail de nettoyage. Nous avons appliqué plusieurs niveaux de filtrage pour ne garder que les données les plus pertinentes par rapport à notre mission. Au final, environ deux tiers des données proviennent d'Internet, et un tiers de datasets que nous maîtrisions déjà. 

Prévoyez-vous de déployer Lucie dans une interface accessible au grand public ? De premiers partenariats sont-ils déjà envisagés ? 

Oui, nous lançons également Lucie.chat, une interface publique accessible à tous, sans authentification requise. Pour gérer l'affluence tout en maintenant un service gratuit, nous avons mis en place deux dispositifs : un système de file d'attente qui limite le nombre de connexions simultanées, et des sessions limitées à deux ou trois minutes chacune. Ce fonctionnement sera en place pendant le premier mois. 

"EDF, via sa filiale Exaion, sera l'un de nos premiers grands comptes. Nous sommes également en discussion avec Scaleway et OVH" 

Jusqu'au 15 février, nous proposons un accès gratuit unique sur une plateforme soutenue par Exaion, OVH et Scaleway, qui fournissent les crédits nécessaires pour faire découvrir le modèle au plus grand nombre. Par la suite, nous mettrons en place un système d'abonnement basé sur la consommation de tokens, similaire aux autres plateformes du marché. 

Nos premiers partenariats se concrétisent déjà. VitaScience, une société soutenue par l'Education nationale qui propose une plateforme de médiation scientifique autour de l'IA, sera notre premier partenaire. De même, EDF, via sa filiale Exaion, sera l'un de nos premiers clients grands comptes. Nous sommes également en discussions avec Scaleway et OVH. Ils proposent actuellement LLaMA/Mistral et évaluent l'intégration de Lucie dans leur catalogue de modèles disponibles en inférence à la demande. 

Quels sont vos prochaines phases de déploiement pour Lucie ? 

Au premier trimestre, nous nous concentrerons sur la finalisation de la phase d'instruction et le développement de modèles de taille intermédiaire. Le deuxième trimestre sera consacré au RAG. Nous avons déjà travaillé sur ces technologies en parallèle, et nous prévoyons d'intégrer des fonctionnalités RAG directement sur la plateforme Lucie.chat, avec quelques innovations intéressantes. La multi-modalité sera notre focus pour le troisième trimestre. Et enfin, le quatrième trimestre sera dédié à la gestion des agents. Avec ces développements - modèles plus petits, RAG, multi-modalité et agents - nous aurons couvert les principales fonctionnalités nécessaires. Le traitement des images et de la vidéo ne fait pas partie de nos objectifs immédiats.