Michel-Marie Maudet (OpenLLM) "Selon nos premiers tests, Mistral 7B offre des performances similaires à Llama2 avec des ressources de calcul moindres"

Michel-Marie Maudet est directeur général de Linagora. Il est à l'initiative d'OpenLLM France, une communauté francophone qui cherche à développer des LLM open source souverains.

JDN. Mistral 7B tient-il sa promesse d'être plus performant que la concurrence ?

Aujourd'hui, on a un modèle qu'on peut faire fonctionner sur des environnements à taille humaine et sur des environnements de confiance, donc c'est vraiment une super technologie. Le modèle présente des performances supérieures à l'état de l'art actuel dans le domaine de l'IA open source. Mistral a tenu ses promesses. Plusieurs membres de notre communauté OpenLLM France ont déjà réussi à le mettre en œuvre. Nos équipes ont même pu réaliser du fine-tuning sur ce modèle. Les capacités annoncées à dériver et personnaliser Mistral sont donc pleinement confirmées. C'est une excellente nouvelle. Je tiens aussi à souligner que Mistral fournit sur son site web des guides détaillés pour déployer Mistral, y compris chez des fournisseurs cloud de confiance européens. Mistral démontre qu'il est possible de développer un modèle d'intelligence artificielle conversationnelle open source et performant, destiné à un large public.

Quels sont les retours de vos premiers tests ?

Les tests ont été effectués pendant moins de 24 heures, dans la nuit. Nous avons pu tester Mistral en français et en anglais sur des tâches de génération de texte, de résumé de texte et de génération de code Python. Bien qu'il soit encore tôt pour des conclusions définitives, nos premiers tests indiquent que Mistral 7B offre, avec des ressources de calcul moindres, des performances similaires à ce que nous obtenions précédemment avec Llama2 sur le modèle 13B ou 70B. Il faut garder à l'esprit que Guillaume et Timothée ont déjà démontré leurs excellentes capacités en matière de génération de code avec Llama. Il semble que Mistral confirme également de très bonnes aptitudes dans ce domaine. C'est probablement l'un des principaux arguments de vente de ce modèle open source : il sait très bien générer du code et résumer des textes. Mistral cherche ainsi à inspirer confiance dans sa capacité à produire des modèles performants sur des données spécialisées, dans d'autres contextes d'application.

"Les lois qui ont prévalu jusqu'à présent dans la construction des modèles de langage pourraient être remises en question"

Nous avons pu tester Mistral sur les environnements Google. D'après les informations communiquées, il nécessite 24 Go de mémoire vidéo (NVRAM) sur GPU, une configuration classique disponible chez les fournisseurs de cloud et assez accessible. Il semble donc y avoir une volonté de rendre cette technologie facilement diffusable et exploitable par le plus grand nombre, sans nécessiter des ressources de calcul irréalistes. Très certainement, la "recette secrète" de Mistral contient des innovations apportées par Arthur, Guillaume et Timothée. On peut leur faire confiance pour avoir ajouté de nouvelles avancées à l'état de l'art. Le détail exact reste à découvrir avec la publication des travaux de recherche.

La France est-elle de retour dans la course à l'IA ?

Ce lancement vient confirmer certaines de nos intuitions. Il semble démontrer que la course aux modèles de taille toujours plus importante (giga ou giga-giga) n'est peut-être pas la meilleure voie à suivre. Les lois qui ont prévalu jusqu'à présent dans la construction des modèles de langage pourraient être remises en question. Sur ce coup, la France et l'Europe semblent cette fois ne pas avoir pris de retard et être pleinement dans la course. Mistral démontre que des chercheurs français et européens sont même capables de faire mieux que l'état de l'art mondial en IA conversationnelle, nous sommes aujourd'hui à l'avant du train.