Le nouveau Bard avec Gemini est-il plus performant ?
Gemini fait-il véritablement progresser Bard ? Nous avons pu tester la version du chatbot de Google dotée du nouveau LLM de Google Gemini, le résultat est sans appel : Bard avec Gemini surpasse très largement la version classique de Bard. Pour rappel, annoncé le 6 décembre dernier, Gemini, le dernier modèle d'IA en date de Google, est déployé en trois versions. Nano pour une utilisation on device, Pro pour une utilisation basique et Ultra pour des usages avancés. Dans la foulée des annonces, Google a rapidement intégré la version Pro de l'IA à son chatbot conversationnel Bard. Il s'agit selon les mots de la firme de "la plus grande mise à niveau de Bard à ce jour."
Bard avec Gemini offre, selon Google et confirmé par nos tests, un "raisonnement, une planification, une compréhension plus avancés" que la version classique. Le modèle a été spécialement fine-tuné pour synthétiser, comprendre, résumer et coder avec une plus grande efficacité. Gemini Pro dépasserait ainsi GPT-3.5 d'OpenAI sur une grande variété de tâches. Problème, comme la majorité des nouveaux modèles d'IA propriétaires, Bard avec Gemini n'est pas déployé en Europe. Pour tester l'outil, il sera nécessaire d'utiliser un VPN afin de s'identifier avec une adresse IP américaine.
Bard avec Gemini : un langage plus riche
Dans le cadre de ce test, nous avons comparé les deux versions de Bard : avec Gemini Pro depuis les Etats-Unis et avec PaLM 2 en France. Pour identifier le modèle utilisé par Bard, il suffit de regarder le logo situé à gauche de la réponse générée. Lorsque Bard utilise la version classique de son moteur, le logo de PaLM 2 apparaît. Lorsqu'il utilise Gemini, le logo du nouveau modèle s'affiche.
A la génération, Bard avec Gemini est légèrement plus lent que Bard avec PaLM 2. En génération de texte, Bard avec Gemini bat à plate couture la version classique. Lorsqu'on lui demande de générer un article de 1 000 mots, Bard avec Gemini produit un texte plus structuré, détaillé et pertinent, autant sur le fond que sur la forme. Le texte est plus profond et proche de celui d'un rédacteur humain : le champ lexical est plus varié, le vocabulaire plus riche et les points énoncés dans le texte sont davantage étayés. Bard dans sa version classique offre un texte plus bref, davantage proche d'un plan que d'un véritable article. Le constat est le même lorsqu'on demande à Bard de donner les dernières actualités en France. La version avec Gemini offre davantage de précisions quand la version classique se contente d'un court résumé. Le langage utilisé est, encore une fois, beaucoup plus riche avec Gemini.
Un code de meilleure qualité
Bizarrerie de l'outil de Google, alors que Bard dans sa version classique est censé pouvoir résumer des vidéos à partir de leur URL depuis plusieurs semaines, il refuse lorsqu'on lui en fait la demande. L'agent conversationnel évoque plusieurs problèmes potentiels sans proposer de solution. En revanche, lorsque Bard utilise le modèle Gemini, il parvient à générer un court résumé de la vidéo demandée.
Pour tester les possibilités en génération de code, nous demandons à Bard de générer une calculette simple en C++. Les deux versions, avec et sans Gemini, proposent un résultat diamétralement opposé. Google avec Gemini offre un code lisible, propre et efficace quand Google avec PaLM2 génère un code valable mais beaucoup moins "propre". Dans le détail, Bard avec Gemini propose une gestion des exceptions (que ne propose pas Bard classique), des variables en float plutôt qu'en int (utile pour gérer des nombres à virgule) et un code mieux commenté. Le code n'est toutefois pas exempt de défauts.
Un nouveau gap avec Bard Advanced
Pour ce qui est de la multimodalité, et de la compréhension des images, les deux versions de Bard proposent des résultats équivalents. Lorsqu'on demande à l'IA d'expliquer la fonction d'un circuit électronique, Bard avec ou sans Gemini s'exécute parfaitement et propose une réponse tout à fait cohérente. Il est tout à fait possible que les deux versions de Bard utilisent le même modèle pour analyser les images.
En règle générale, Bard avec Gemini est beaucoup plus pertinent et offre des réponses de bien meilleure qualité que Bard avec PalLM 2. L'IA parvient à générer des textes plus humains, précis et pertinents, en adoptant un style se rapprochant davantage de GPT-4 que de GPT-3.5. La différence devrait encore se creuser en 2024 avec l'arrivée de Bard Advanced, une version de Bard dotée de Gemini Ultra, la version la plus performante de l'IA de Google censée battre GPT-4.