Faut-il passer de ChatGPT au Chat de Mistral ?
Mistral conserve son avance dans la course européenne à l'IA générative. Après avoir lancé en février dernier Le Chat, son assistant basé sur ses propres modèles d'intelligence artificielle, la start-up française propose en ce mois de novembre de nouveaux outils pour rivaliser avec ChatGPT. Recherche web, mode Canvas, vision avancée, génération d'images... Mais les nouvelles fonctionnalités annoncées le 18 novembre hissent-elles Le Chat à hauteur du géant américain de l'IA ?
Une interface sobre et fonctionnelle
Pour sa mise à jour du Chat, Mistral n'a que très peu fait évoluer son interface. Cette dernière reste toujours très sobre et fonctionnelle. Mistral a simplement rationalisé encore un peu plus son interface. La colonne de gauche, avec l'historique des conversations, apparait maintenant au survol avec la souris. L'espace conversationnel occupe maintenant tout l'espace disponible. Nouveauté majeure : il n'est plus possible de sélectionner le modèle Mistral à utiliser dans la conversation. Le système semble utiliser plusieurs modèles Mistral AI selon la complexité de la requête. Une évolution qui permet vraisemblablement à Mistral de réduire ses coûts d'inférence globaux.
Pour la multimodalité, on sait en revanche que Mistral fait appel à son nouveau flagship : Pixtral Large. Ce dernier est, selon les benchmarks, excellent dans l'analyse des documents (DocVQA: 93.3), de diagrammes et de graphiques complexes (AI2D: 93.8) et surpasse même GPT-4o et Claude 3.5 Sonnet. En revanche, le modèle pèche légèrement sur le raisonnement multimodal complexe (MMMU : 64). En clair, le modèle est parfait pour analyser des documents avec de nombreux graphiques, un cas d'usage courant en entreprise.
Nous avons pu tester le modèle sur plusieurs requêtes impliquant des graphiques et éléments visuels complexes. Le modèle propose une analyse et interprétation des éléments aussi qualitatif que GPT-4o ou Claude 3.5 Sonnet.
Exemple ci-dessous avec l'analyse d'un graphique de l'action Tesla depuis le début de l'année. Nous demandons à l'IA de générer son analyse et d'interpréter l'actualité avec la recherche web. Mistral donne une bonne analyse mais ne corrèle pas la remontée de l'action en novembre avec l'élection de Donald Trump. En revanche, ChatGPT fait le rapprochement entre les deux. Le chatbot d'OpenAI propose également une analyse plus compacte avec un texte moins robotique. Mistral saupoudre encore son texte de nombreux connecteurs logiques et d'une conclusion typique d'un LLM.
Une recherche web très (trop) basique
Pour la partie recherche web, Mistral AI semble se baser sur Bing. L'utilisation est très simple mais les informations présentées par Le Chat ne s'appuient que sur quelques sources, souvent deux. De son côté, ChatGPT base - très souvent - ses réponses sur 5 à 6 sources différentes. De même la recherche web du Chat est très basique et remonte souvent des informations datées. L'intérêt de l'outil se limite à apporter au modèle de la connaissance sur des requêtes très précise. De son côté, ChatGPT apporte des éléments véritablement nouveaux. Cette différence radicale de qualité s'explique en grande partie sur les algorithmes de recherches utilisées, OpenAI disposant depuis peu de son propre moteur d'indexation web.
Exemple ci-dessous avec la requête "Quelles sont les dernières actualités dans le secteur des LLM ?" Le Chat ne donne que des résultats assez vieux.
Mode Canvas, configurateur d'assistants
Comme ChatGPT, Le Chat dispose maintenant d'un mode Canvas. Ce dernier est très pratique et permet de retravailler un texte ou du code par bloc. Le modèle n'a plus besoin de régénérer tout le texte ou tout le code. Plus rapide et fluide pour l'utilisateur et plus économe à l'inférence pour les éditeurs. Le fonctionnement est sensiblement le même entre Mistral AI et ChatGPT. La seule différence réside dans l'interface. ChatGPT propose une fenêtre plus simple à utiliser qui permet de sélectionner le code ou le texte à modifier quand le Chat propose uniquement une fenêtre pour visualiser les modifications. Avec le Chat, il est donc nécessaire de donner explicitement dans le prompt le bloc ou la ligne à changer. Enfin, le système de versioning de ChatGPT est beaucoup plus simple à utiliser (sous forme d'historique).
Côté assistant, ChatGPT et Le Chat proposent tous deux la possibilité de créer ses propres bots. Le configurateur de Mistral est un peu limité : il permet de configurer uniquement le modèle utilisé, le prompt, et également - contrairement à OpenAI – la température du modèle. Le configurateur permet également d'ajouter. Des exemples de question / réponse pour que le modèle s'en inspire.
Chez OpenAI, ChatGPT permet de configurer le prompt, d'ajouter une base documentaire, d'ajouter des outils (recherche web, code interpreter...) et encore plus utile de configurer des API externes d'action.
A noter également que la configuration des agents chez Mistral exige de sortir du Chat et d'utiliser la plateforme développeur. Un peu lourd à l'usage.
Génération d'images : un match déséquilibré
Pour la génération d'image, ChatGPT se base sur son modèle vieillissant Dall-E 2 quand le Chat se base sur FLUX1.1 [pro], un modèle développé par l'allemand Black Forest Labs. L'intégration de ce dernier dans le Chat semble assez limitée. Il est impossible de générer des images dans un autre format que 1024 × 768 (0,79 MP). De son côté Dall-E dans ChatGPT peut générer une grande variété de format, jusqu'au 1792x1024 (1,84 MP). Une taille maximale plus décente pour une utilisation créative. Côté qualité des visuels, FLUX1.1 [pro] gagne le match. Le modèle de Black Forest est excellent dans la majorité des styles et reste à l'état de l'art en photoréalisme.
Conformité : avantage Le Chat
Le Chat se démarque également sur le plan de la conformité et de la souveraineté des données. Contrairement à ChatGPT qui héberge ses serveurs aux Etats-Unis, Le Chat traite et stocke l'ensemble des données en Europe. Cette configuration permet aux entreprises françaises et européennes de respecter pleinement leurs obligations réglementaires en matière de protection des données, tout en évitant les risques liés au Cloud Act américain. Un argument de poids pour les organisations manipulant des données sensibles, notamment dans les secteurs public, bancaire ou de la santé.
Le Chat : une alternative crédible à ChatGPT
Le Chat de Mistral AI s'impose comme une alternative crédible à ChatGPT pour les entreprises françaises. Avec une interface épurée et des fonctionnalités quasi similaires à celles d'OpenAI - analyse de documents, génération de code, mode Canvas, création d'assistants - la solution souveraine répond aux besoins quotidiens de nombreuses organisations. Un abonnement professionnel, dont le lancement est prévu prochainement, devrait enrichir encore davantage l'offre.
Pour les utilisateurs les plus exigeants, certaines limitations persistent néanmoins. La recherche web reste basique, le mode Canvas manque d'ergonomie et le configurateur d'assistants n'offre pas encore toutes les fonctionnalités avancées de ChatGPT. OpenAI propose d'ailleurs des fonctionnalités additionnelles très utiles au quotidien comme la mémoire ou la connexion à des services de stockage tiers. L'absence d'un modèle de raisonnement avancé chez Mistral - essentiel pour développer des capacités agentiques - et le choix de ne pas développer son propre modèle de génération d'images peuvent aussi surprendre. Toutefois, cette stratégie focalisée sur l'excellence des LLM porte ses fruits, et de nouvelles fonctionnalités devraient enrichir la plateforme dans