Mistral dévoile Mistral Large 4 et sa recette magique pour rester dans la course à l'IA
C'est peu dire qu'il s'est fait attendre mais le voici enfin : Mistral Large 4, le nouveau modèle frontière du Français, se dévoile enfin ce 6 octobre. Entraîné sur un cluster extrêmement réduit de GPU, le modèle affiche des scores au niveau des meilleurs modèles open source chinois, voire au-dessus sur plusieurs benchmarks. Les équipes de Mistral, fières de cette prouesse, ont partagé quelques éléments qui ont permis d’atteindre ce niveau de performance.
Un modèle frontière aux vraies capacités cyber
Mistral Large 4 (ML4), ou "le chonk" en interne, a été pensé nativement multimodal. Dôté de 1 000 milliards de paramètres dont 49 actifs, il est présenté comme le nouveau modèle phare de Mistral, parmi les meilleurs modèles open source du moment. Il a été conçu pour les tâches complexes et l’IA agentique. Le modèle est capable de raisonner en autonomie sur des tâches qui prenaient autrefois plusieurs jours à des humains, avance Mistral.
En code toutefois, le modèle n'est pas encore au meilleur niveau. Selon de premiers résultats, susceptibles d'évoluer à mesure de l'entraînement, il reste derrière GPT-6 Astra sur DeepSWE (développement logiciel agentique), mais aussi derrière les open weight chinois DeepSeek-V4.1-Flash et Kimi K3. ML4 tire en revanche son épingle du jeu sur les tâches métiers. Sur le Legal Agent Benchmark de Harvey, il devance Kimi K3 et triple le score de GPT-6 Astra. En analyse d'images satellite et aériennes, il localise mieux les objets que GPT-6 Astra. Enfin en finance, il devance GLM-5.3 et DeepSeek-V4.1-Flash.
Qui dit modèle frontière dit désormais cybersécurité. Et c’est justement l’un de ses points forts. "Un problème très concret, que nos clients nous ont mentionné, c’est que parfois, quand ils utilisent les modèles fermés, ils ont des problèmes d’accès : ils n’y ont pas forcément accès, ou alors de manière très limitée. Ils ne sont donc pas capables d’utiliser les modèles fermés pour se défendre. Et c’est là qu’on peut les aider, parce qu’on leur donne un modèle qu’ils possèdent et qu’ils pourront utiliser de manière illimitée", explique Guillaume Lample, cofondateur et chief science officer. Le modèle disposerait par ailleurs de très bonnes capacités en géospatial et grounding, des points forts majeurs qui devraient ravir l’Amiad, qui pilote l’accord signé en janvier entre Mistral et le ministère des Armées.
Le nouveau modèle deviendra dans les prochaines semaines le modèle par défaut de tous les produits Mistral, dont Vibe, après une phase de tests A/B. Les autres modèles resteront disponibles. Son arrivée est prévue ce 6 octobre sur l’API Mistral, en preview. L’accès sera surveillé et les requêtes malveillantes (cyber notamment) seront automatiquement bloquées. En parallèle, une seconde API privée sera mise à disposition des partenaires "privilégiés" (des acteurs de premier plan de la cybersécurité et des autorités étatiques) de Mistral AI pour tester plus en profondeur ses capacités cyber avant le déploiement public.
Enfin, le 27 octobre, Mistral AI compte publier les poids du modèle en open weight, avec des versions quantifiées en FP8 et FP4 déployables sur 4 à 8 GPU B200 ou B300. Cette version open weight devrait être encore meilleure dans les benchmarks, le modèle étant toujours en cours d’entraînement. "Notre ambition, c’est de pouvoir mettre dans les mains de n’importe qui ce type de technologie. C’est crucial de donner ces capacités de défense en cyber, à tout le monde. Cela garantit également qu’on ne pourra jamais couper l’accès au modèle, parce que ce sera beaucoup plus dur de couper l’accès à des modèles dont les poids sont répliqués partout sur Internet", détaille Pierre Stock, VP science de Mistral AI.
Une percée scientifique dans l’entraînement
Mistral Large 4 a été entraîné par l'entreprise sur 4 000 GPU Grace Blackwell (environ 10 mégawatts), dans son propre centre de calcul, en France, avec des GPU achetés grâce à la série B. Or, "c’est entre deux et trois fois moins que la plupart des labos chinois", rappelle Guillaume Lample. Quant aux plus gros concurrents, ils utiliseraient "entre plusieurs centaines de milliers et un million de GPU". Un désavantage dont les équipes scientifiques de Mistral ont su tirer parti. Dans l’entraînement, ce qui fait la différence, "c’est la capacité à passer à l’échelle, qui dépend de la puissance de calcul. Le reste de la recette, nous pensons le maîtriser, et même détenir des techniques propriétaires que les autres n’ont pas. C’est ce qui nous permet d’utiliser beaucoup moins de calcul pour des capacités équivalentes, voire supérieures", poursuit Pierre Stock.
Et cette recette magique réside dans le post-training du modèle (la phase qui suit l’entraînement initial), avec le reinforcement learning (RL). Les équipes sont parvenues à produire un système capable de générer des centaines de milliers d’environnements en sandbox (des espaces isolés où le modèle s’exerce) pour entraîner le modèle (problèmes de maths, code, recherche de vulnérabilités…), en plus de l’utilisation de nouveaux algorithmes de RL. Par ailleurs, Mistral dit avoir beaucoup moins utilisé la distillation que ses concurrents (entraînement d’un petit modèle par un gros pour réduire l’impact hardware de l’inférence). Et les résultats sont là : pendant la seule phase de RL, les équipes disent n’avoir "jamais observé de progression si spectaculaire de toutes les métriques". "On pense vraiment avoir trouvé la bonne méthode pour itérer", résume Pierre Stock.
Une feuille de route dopée par la série D
La suite est déjà programmée. D’ici deux mois, Mistral prévoit une mise à jour majeure du modèle qui servira de fondation aux modèles des mois suivants. Le but ? Accélérer les sorties pour tenir le rythme de la frontière en open source. Une part importante de la série D de 3 milliards d’euros, bouclée en septembre, servira à l’accélération de la feuille de route scientifique et aux capacités de compute.
Guillaume Lample pointe toutefois le "lag" entre la levée des fonds, l’achat des puces et leur livraison effective (le calcul acheté avec les fonds de la série C n’étant livré que dans les prochaines semaines). L’ambition affichée pour Mistral Compute reste d’un gigawatt, partagé entre les clients et la recherche. De quoi sortir des modèles plus souvent, ce qui était jusqu’ici difficile faute de calcul, reconnaît le cofondateur. Une chose est sûre : Mistral semble bel et bien de retour dans la course.