Avec Le Chat et Mistral Large, le français Mistral impressionne (encore)
Mistral AI souffle toujours plus fort. La start-up fondée par Arthur Mensch, Guillaume Lample et Timothée Lacroix a dévoilé ce lundi 26 février Mistral Large, un nouveau modèle de langage rivalisant avec GPT-4, ainsi que Le Chat, une interface de chat. Dans les colonnes du Monde, Arthur Mensch annonce également la signature d'un partenariat exclusif avec Microsoft. Les modèles de Mistral seront déployés à côté de ceux d'OpenAI dans Azure. Microsoft, qui fait à présent partie du capital de l'entreprise, tout comme Xavier Niel.
Mistral Large, une percée dans l'IA propriétaire
Avec Mistral Large, Mistral AI fait une véritable percée dans le domaine de l'IA propriétaire et se place aux côtés, quand ce n'est pas devant, des mastodontes américains. En réalité, Mistral Large se décline en deux versions : la version classique (Large) et la version réduite (Small). Cette dernière est optimisée pour réduire la latence et les coûts d'utilisation. Mistral Large se classe en 2e position au niveau mondial en termes de performance générale parmi les modèles accessibles via une API, juste derrière GPT-4 et devant Claude 2 et LLaMA 2.
Pour le raisonnement et les connaissances générales, Mistral Large surpasse presque tous les autres modèles sur des benchmarks comme MMLU, HellaSwag, WinoGrande. Seul GPT-4 obtient de meilleurs résultats. Pour les tâches de programmation et de mathématiques, Mistral Large fait également partie des tout meilleurs modèles, au niveau de GPT-4 et devant Claude 2 ou PaLM.
Grande révolution dans l'IA générative, Mistral a focalisé son développement sur la maitrise poussée des principales langues européennes, à savoir le français, l'espagnol, l'allemand, l'italien, sans oublier l'anglais. Selon les chercheurs, le modèle a une maitrise complète de la grammaire des différentes langues et plus encore du contexte culturel. Mistral Large surpasse ainsi Mistral 8x7B et Llama 2 70B en français, en allemand, en espagnol mais aussi en italien. Une véritable prouesse pour un modèle développé par 34 collaborateurs.
Mistral Large : quels cas d'usage ?
Mistral Large s'impose comme le titan de l'efficacité dans des domaines aussi divers que le raisonnement, la compréhension et la connaissance. Avec des scores de 94,2% sur le benchmark Arc C (5) et 94,0% sur Arc C (25) (compétences en raisonnement textuel), le modèle démontre des capacités de raisonnement logiques et de bon sens comparables aux meilleurs modèles du marché. Sa performance de 81,2% au benchmark MMLU (capacité à comprendre des nuances complexes dans le langage naturel) lui permet de surpasser des modèles réputés comme LLlaMA 2 70B et GPT 3.5.
Mistral Large peut être rapidement mis en production pour des cas d'usage autour de la génération de texte (écriture, résumé, classification…). Ses capacités de raisonnement élevées en font également un bon candidat pour analyser les préférences des utilisateurs et recommander des contenus pertinents et personnalisés. La combinaison des compétences en raisonnement et en compréhension du langage de Mistral Large devrait mener à des conversations plus cohérentes, informatives et proches du langage humain, on peut alors explorer son usage dans un chatbot ou un Copilot d'entreprise. Enfin, grâce à sa logique avancée, Mistral Large peut être utilisé dans des projets d'optimisation et de planification.
Comment accéder à Mistral Large et Mistral Small ?
Comme OpenAI avec GPT-3.5 ou Anthropic avec Claude Instant, Mistral présente une version plus légère de son nouveau modèle phare destinée à répondre plus rapidement. Mistral Small reste plus efficace que Mixtral 8x7B tout en étant plus rapide. Bénéficiant des mêmes innovations en matière d'activation de fonctions (function calling) et de formatage Json que Mistral Large, Mistral Small ouvre la voie à des interactions avancées avec le modèle, telles que l'intégration à des outils internes, des API ou des bases de données. Plus accessible que Mistral Large en termes de puissance de calcul requise, Mistral Small représente un excellent choix pour les entreprises cherchant à intégrer un modèle de langage performant à leurs produits, sans les mêmes besoins en ressources que le modèle phare de Mistral AI.
Mistral Large et Mistral Small sont disponibles sur l'API de La Plateforme, l'interface développeur de Mistral AI herbergée en Europe. Les modèles sont également présents au sein de la solution Azure AI Studio et Azure Machine Learning de Microsoft avec une intégration similaire à celle de La Plateforme. Enfin Mistral Large et Mistral Small peuvent être déployés, sur demande, on-premise pour les cas d'usages les plus sensibles avec un accès aux poids des modèles.
Le Chat, le ChatGPT à la française
Elle était attendue depuis quelques jours, Mistral AI l'a dévoilée ce 26 février : une interface de chat similaire à ChatGPT. Nommé "Le Chat Mistral", l'outil permet de tester les capacités de modèles de Mistral AI via une interface classique mais fonctionnelle. Disponible à l'adresse chat.mistral.ai, Le Chat Mistral, encore en beta, offre un moyen simple de dialoguer avec les trois derniers modèles de Mistral : Mistral Large, Mistral Small et Mistral Next (encore aucune communication officielle de la part de Mistral IA sur ce modèle).
L'interface offre, dans sa première version en production au 26 février, un panel très restreint de fonctionnalités. Il est possible de dialoguer avec les modèles de Mistral, de copier des réponses rapidement (via un bouton dédié dans le coin inférieur droit), de regénérer une réponse (à côté du bouton "copier"), de visualiser du code grâce à des blocs intelligents et c'est à peu près tout. L'outil ne supporte pas l'envoi de fichiers, la navigation web ou encore la configuration des variables de génération (temperature, max tokens, prompt system…). Il est plus que probable qu'une prochaine mise à jour vienne compléter ces fonctionnalités absentes.
Pour le grand public, Le Chat Mistral offre une alternative quasi-aussi efficace que ChatGPT. Il s'agit là d'un grand pas vers une approche souveraine de l'IA française et européenne.
Mistral Large : de premiers tests bluffants
Peu après sa sortie, nous avons pu tester la version déployée sur Le Chat Mistral de Mistral Large. En génération de texte (en français), Mistral Large s'en sort très bien et même mieux que GPT-4. Le modèle de Mistral emploie un langage diversifié et élégant et évite le piège de parsemer tout son texte de connecteurs logiques. Claude 2.1 reste cependant légèrement plus humain dans le style.
Pour des tâches de résumé, Mistral Large surpasse GPT-4 et arrive à égalité avec Claude 2.1. Le modèle parvient à résumer assez finement les informations d'un article en conservant les informations essentielles tout en dégageant les éléments superflus.
Enfin, en génération de code, toujours selon nos tests, Mistral Large reste bon second, derrière GPT-4 et devant Claude 2.1. Le modèle de Mistral AI produit un code simple, robuste et compact, tout à fait fonctionnel. GPT-4 génère pour sa part un code plus sécurisé et complexe. Enfin Claude 2.1 produit un code fonctionnel mais assez lourd dans la structure.
Mistral AI s'impose comme un acteur de premier rang
L'annonce de Mistral Large et de l'interface Le Chat Mistral marque une avancée significative pour l'intelligence artificielle française et européenne. Mistral AI s'impose désormais comme un acteur incontournable du secteur, rivalisant avec les mastodontes américains sur le plan des performances techniques. Mistral Large affiche des résultats au niveau des meilleurs modèles mondiaux sur une grande variété de tâches, avec une expertise particulière sur les langues européennes.
Ses capacités en génération de texte, résumé, raisonnement logique et compréhension du langage en font un outil polyvalent pour de nombreux cas d'usage, aussi bien en recherche qu'en entreprise. Mistral AI a les moyens de ses ambitions : la petite équipe pourrait durablement bouleverser l'échiquier mondial de l'IA dans les mois à venir.