Que vaut Mistral 7B, le premier modèle du concurrent français d'OpenAI ?
Pour son premier modèle, Mistral AI frappe fort. La start-up française cofondée par Guillaume Lample, Arthur Mensch et Timothée Lacroix, a publié son premier LLM totalement open source mercredi 27 septembre. Doté de 7 milliards de paramètres, ce dernier est capable d'effectuer une flopée de tâches complexes à l'instar de Llama 2 de Meta. Pour autant, ce premier modèle offre un gain de compute notable, avec une baisse de 47 % des ressources consommées en phase d'inférence.
Dans le détail, Mistral 7B fait mieux que Llama 2 13B, selon l'ensemble des benchmarks présentés. Il performe également aussi bien que Llama 34B, alors que ce dernier a été entraîné avec 27 milliards de paramètres en plus, une véritable prouesse. "En ce qui concerne le raisonnement, la compréhension et le raisonnement STEM (MMLU), Mistral 7B a des performances équivalentes à celles d'un Llama 2 qui ferait plus de trois fois sa taille. C'est autant de mémoire économisée et de débit gagné", rappelle Mistral. Les équipes de Mistral AI ont fine-tuné le modèle sur un dataset de données publiques de Hugging Face. Nommé "Mistral 7B instruct", ce nouveau modèle pensé comme un PoC (Proof of concept) est publié dans le but de démontrer rapidement les capacités de conversationnelles de Mistral7B. Nous avons pu tester ce modèle en local sur des tâches plus ou moins complexes.
Une bonne gestion du texte
Pour ce test, nous avons utilisé la version "Mistral-7B-Instruct-v0.1-GGUF" présente sur Hugging Face. Le modèle répond assez bien en français et s'exprime de façon claire. Le champ lexical est toujours pertinent bien que certaines erreurs de grammaire peuvent apparaître de manière aléatoire. Selon nos tests, ces erreurs sont moins courantes lors du recours à l'anglais. Par ailleurs, Mistral 7B Instruct peut encore confondre parfois le français et l'anglais et mélanger les expressions. Un biais qui s'explique probablement par la faible diversité de son dataset. En fine-tunant le modèle sur un large corpus de données, les résultats pourraient rapidement devenir bluffants.
Comme LLama 2, Mistral 7B Instruct permet de générer des textes relativement longs tout en conservant une qualité uniforme. Nous avons fait générer à l'IA un article sur l'importance des backlinks. Le résultat est assez qualitatif. La structure globale de l'article est bonne et le ton employé tout à fait adapté au contexte. La qualité du texte est similaire à celle d'un GPT-3.5, sans abus des connecteurs logiques. Le résumé de texte est tout aussi convenable, bien que quelques erreurs de compréhension subsistent. Il n'y a pas de doute, Mistral 7B Instruct sait gérer avec efficacité le texte. Côté traduction, l'IA présente également de bons résultats en anglais et dans les langues latines. Il est même possible de demander une traduction en mandarin.
Mistral 7B Instruct gère également avec brio la gestion du ton lors de la génération du texte. Il est capable par exemple de produire un petit texte destiné à un post Facebook pour faire la promotion d'un produit, en incluant même quelques émojis.
Des données récentes
Le dataset de Mistral 7B Instruct est, en principe, constitué d'informations très récentes, le modèle ayant été entraîné pendant l'été 2023 par Mistral AI. Toutefois, sur certaines questions, le modèle a tendance à répondre avec des connaissances antérieures à ses six derniers mois. Pour exemple, quand on lui demande qui est le PDG de Twitter, l'IA affirme qu'il s'agit encore d'Elon Musk. Un biais qui devrait également être résolu par un fine-tuning plus poussé. Bien que le modèle ne "dispose d'aucun mécanisme de modération", ce dernier n'a pas tendance à véritablement halluciner et répond de manière fiable à la plupart des requêtes. La sécurité des données est la priorité de Mistral AI, comme nous l'avait confié Antoine Moyroud, associé du fonds Lightspeed Venture Partners en charge de Mistral. Les équipes de la start-up en appellent toutefois à la communauté open source pour trouver et développer des garde-fous afin de déployer le modèle dans des environnements sensibles.
Enfin, Mistral 7B Instruct démontre, toujours selon nos tests, des capacités de génération de code satisfaisantes. Nous avons demandé à l'IA de générer une calculatrice basique en C++++ et le code produit constitue une bonne base. Pour des projets plus complexes, il est fort probable que Mistral 7B ne soit plus pertinent. Une hausse du nombre de paramètres utilisés pourrait toutefois constituer une solution viable. Et c'est justement l'ambition de Mistral AI. La petite équipe parisienne ambitionne d'étoffer sa gamme dans les prochains mois avec des modèles plus puissants. Mistral 7B n'était qu'un début.