Deep research : ChatGPT vs Gemini vs Perplexity, qui est le meilleur ?
C'est la nouvelle fonctionnalité agentique clé de ce début d'année. La recherche web avancée promet de faire gagner des heures de recherche aux utilisateurs. En scrapant des dizaines, parfois des centaines, de sites, les LLM parviennent à fournir des rapports assez complets avec une véritable valeur ajoutée. DeepMind a ouvert les hostilités en lançant le premier son mode deep research en décembre 2024, OpenAI a suivi en proposant sa propre version début février. Enfin Perplexity tente de suivre le rythme et propose depuis le 17 février sa propre version de l'outil. Quel est le meilleur deep research ? Le JDN vous propose un comparatif des trois outils propriétaires les plus avancés du marché.
Comment fonctionne deep research ?
Deep research, c'est quoi au juste ? Perplexity, ChatGPT, Le Chat ou encore HuggingChat proposent depuis longtemps de la recherche web classique. Lorsqu'un utilisateur pose une question le modèle va, très simplement, chercher sur moins d'une dizaine de sites et afficher un résumé global assez court des résultats. La fonctionnalité deep research est beaucoup plus intelligente et tire parti des dernières avancées de l'IA en matière de raisonnement. Plutôt que de chercher de façon linéaire des résultats sur le web, deep research procède de façon itérative.
Après avoir identifié l'intentionnalité de la requête utilisateur, le modèle de raisonnement va effectuer des requêtes plus pertinentes et chercher sur une grande diversité de sites. Le procédé permet de couvrir l'ensemble des sujets connexes de la demande initiale. Le but est de répondre le plus précisément possible. Une fois les résultats glanés, le modèle construit un rapport complet, sous la forme d'un article, quasi-scientifique sur certaines demandes.
ChatGPT, Perplexity, Gemini : quelles différences ?
Pour comparer les performances des différentes versions de deep research nous avons soumis à ChatGPT (via GPT-4o), Gemini (via 1.5 Pro) et Perplexity trois prompts différents. Nous commençons par demander à l'IA de comparer les différentes offres de téléphonie mobile proposées en France en les jugeant sur le rapport qualité prix et les retours des clients.
Prompt : "Réaliser une analyse comparative détaillée des forfaits mobiles en France en 2024, en examinant d'une part la qualité du réseau à travers la couverture 4G/5G en Île-de-France, le taux de coupures, la stabilité des appels, les débits moyens réels constatés par les utilisateurs et la performance aux heures de pointe ; d'autre part la qualité du service client en considérant les délais de réponse, l'efficacité de la résolution des problèmes, la disponibilité des canaux de contact et la satisfaction globale ; et enfin les aspects financiers incluant le prix mensuel de base, les frais d'activation et de résiliation, le coût des options, l'engagement requis et le coût total sur 12 mois avec tous les frais inclus. L'analyse devra aboutir à un classement des opérateurs selon le rapport qualité/prix, une sélection des trois meilleures offres pour différents profils d'utilisation (petit, moyen et gros consommateur), avec une attention particulière portée aux clauses et conditions susceptibles d'impacter le coût ou la qualité du service."
Avant de débuter, seuls Gemini et ChatGPT permettent de modifier le plan de recherche. ChatGPT pose même quelques questions à l'utilisateur pour orienter ses recherches plus finement. Sur la rapidité, Perplexity gagne. Le moteur de recherche nouvelle génération répond en moins d'une minute. Gemini et ChatGPT prennent plus de temps et propose une rapport dans les 5 minutes. En revanche pour ce qui du nombre de sources utilisées, Gemini gagne haut la main avec 191 sites utilisés contre 54 pour Perplexity et 31 pour ChatGPT. Pour ce qui est du rapport final, ChatGPT et Gemini propose le plus complet. L'ensemble des informations demandées sont recueillies. Une différence sur la forme : ChatGPT propose un rapport textuel pur quand Google propose du texte et un tableau plus simple à comprendre. ChatGPT semble toutefois légèrement plus pertinent et plus poussé dans son analyse malgré le peu de source utilisées. Enfin, Perplexity propose une synthèse globale simple et rapide sans entrer en profondeur dans l'analyse. Dommage.
| Modèle | Nombre de sources | Qualité de la réponse |
Forme du rapport
|
|---|---|---|---|
| ChatGPT | 31 | ⭐⭐⭐⭐⭐ | Textuel |
| Gemini | 191 | ⭐⭐⭐⭐ |
Textuel + Tableau
|
| Perplexity | 54 | ⭐⭐⭐ | Textuel |
Résultats complets des réponses de Gemini, ChatGPT et Perplexity consultables ici.
Pour le second test, nous demandons à l'IA de réaliser une veille réglementaire sur l'ensemble des réglementations en vigueur sur l'IA s'appliquant à une TPE souhaitant utiliser l'IA générative pour son support client.
Prompt : "Effectuer une analyse exhaustive du cadre réglementaire actuel et à venir concernant l'utilisation de l'intelligence artificielle générative dans le contexte du support client d'une TPE française, en examinant les obligations légales existantes aux niveaux européen et national."
Pour cette seconde requête, Perplexity utilise 35 sources, ChatGPT 28 et Gemini seulement 12. Là encore, la version de ChatGPT reste la plus complète et la plus pertinente en fonction de la demande initiale. En seconde position, Gemini propose une analyse poussée et un tableau compréhensif. Enfin Perplexity propose une version édulcorée et qui répond que marginalement à la demande initiale. De façon générale, ChatGPT semble mieux comprendre le sujet et sa réflexion globale en est davantage pertinente. Le rapport final est ainsi complet assez proche de ce qu'un analyste aurait pu produire. Gemini offre en revanche une bonne analyse et des éléments visuels plus pertinents pour la compréhension. L'intégration directe avec Google Doc, pour le rapport et Google Sheets pour le tableau est également très appréciable.
| Modèle | Nombre de sources | Qualité de la réponse |
Forme du rapport
|
|---|---|---|---|
| ChatGPT | 28 | ⭐⭐⭐⭐⭐ | Textuel |
| Gemini | 12 | ⭐⭐⭐⭐ |
Textuel + Tableau
|
| Perplexity | 35 | ⭐⭐ | Textuel |
Résultats complets des réponses de Gemini, ChatGPT et Perplexity consultables ici.
Pour le troisième test, nous demandons aux modèles de réaliser une comparaison exhaustive des modèles de raisonnement adaptés à l'exécution et l'orchestration d'agents.
Prompt : "Réalise une analyse comparative exhaustive des modèles de raisonnement adaptés à l'exécution et l'orchestration d'agents en étudiant à la fois les solutions propriétaires et open source en évaluant leurs performances de raisonnement sur les benchmarks de logique, leur capacité à décomposer des problèmes complexes, leur gestion des contraintes et des erreurs, ainsi que leurs capacités d'orchestration incluant la compréhension des dépendances entre agents, la planification des tâches, la gestion des priorités et la résolution des conflits. L'analyse devra inclure une évaluation détaillée des aspects économiques comprenant le coût par token/requête, les coûts d'infrastructure et de fine-tuning, avec une estimation du ROI selon le volume d'utilisation."
Pour notre troisième recherche, Perplexity utilise 60 sources, Gemini 98 et ChatGPT 22. Seul Perplexity semble alors avoir compris la demande initiale et propose une réponse en adéquation. Gemini et ChatGPT se fourvoient légèrement en proposant une analyse des solutions technologiques plutôt que des modèles directement. Un prompting différent et plus précis pourrait certainement aiguiller davantage l'IA.
| Modèle | Nombre de sources | Qualité de la réponse | Forme du rapport |
|---|---|---|---|
| ChatGPT | 22 | ⭐⭐ | Textuel |
| Gemini | 98 | ⭐⭐ | Textuel + Tableau |
| Perplexity | 60 | ⭐⭐⭐⭐ | Textuel |
Résultats complets des réponses de Gemini, ChatGPT et Perplexity consultable ici.
L'épineuse question du prix
Les fonctionnalités de deep research étant coûteuses en compute, les prix sont tirés vers le haut. Pour l'heure, l'accès à deep research dans ChatGPT nécessite un compte Pro à 200 dollars par mois (dans la limite de 100 requêtes par mois). OpenAI prévoit toutefois de donner l'accès à l'outil très prochainement aux utilisateurs Team, Plus et Enterprise (20 euros par mois) dans la limite de 10 requêtes par mois. Chez Gemini l'accès à deep research est compris dans le package Gemini Advanced à 21,99 euros par mois, sans que l'on connaisse les limites exactes d'utilisation. Enfin Perplexity propose deep research gratuitement dans la limite de 5 requêtes gratuites par jour et 500 par mois pour la version Pro (22 euros par mois).
| Service | Formule | Prix mensuel | Limite |
|---|---|---|---|
| ChatGPT | Pro | 200 $ | 100 requêtes/mois |
| Team/Plus/Enterprise | 20 € | 10 requêtes/mois | |
| Gemini | Advanced | 21,99 € | Non spécifiée |
| Perplexity | Gratuit | 0 € | 5 requêtes/jour |
| Pro | 22 € | 500 requêtes/mois |
Sur le fond et selon nos tests, le deep research de ChatGPT produit les résultats les plus pertinents et les rapports les plus complets. ChatGPT fournit également l'analyse la mieux structurée, avec une décomposition claire en sections qui couvrent tous les aspects de la question. Gemini propose enfin une structure claire des données visuelles (sous la forme de tableaux), idéal pour des recherches scientifiques, très précises, ou chiffrées. Son analyse est toutefois légèrement moins pertinente que ChatGPT. Enfin, Perplexity propose des résultats courts simples et exploitables facilement mais ne rentre pas en détails dans l'ensemble des implications.
Pour un usage professionnel intensif nécessitant une qualité optimale, ChatGPT reste la meilleure option malgré son coût élevé. Pour un usage professionnel modéré Gemini offre le meilleur rapport qualité/prix. Pour finir, pour un usage occasionnel ou personnel Perplexity en version gratuite est suffisant pour des besoins ponctuels.