Plus 25% de rapidité, 12% de productivité et 40% d'amélioration : ChatGPT booste les performances des consultants… surtout les pires
Selon une étude dirigée par Havard et le MIT, les consultants du Boston Consulting Group (BCG) voient la qualité de leur travail exploser de 40% avec l'utilisation de ChatGPT. L'étude en question a été réalisée auprès de 758 consultants de l'entreprise de conseil américaine. Un groupe utilisant ChatGPT a été comparé à un groupe témoin n'ayant pas recours à l'IA conversationnelle d'OpenAI. Le différentiel de 40% est mesuré au regard du niveau de qualité du travail fourni (voir le graphique ci-dessous).
L'étude a soumis au panel 18 tâches dans des domaines très divers : proposer 10 nouveaux produits sur un créneau particulier, analyser un segment de marché, rédiger un communiqué de presse ou encore réaliser une note inspirante expliquant pourquoi un produit surpasse la concurrence. Dans le détail, les consultants ayant recours à ChatGPT réalisent globalement 12,2% de tâches en plus comparé à ceux du groupe témoin. Ils complètent par ailleurs les tâches 25% fois plus vite. Et, globalement, ils produisent donc ces tâches avec une qualité supérieure de 40%, toujours comparé au groupe témoin.
Fait intéressant, l'étude montre que les consultants affichant historiquement les performances les plus basses sont ceux qui enregistrent les gains les plus importants lors de la prise en main de ChatGPT. Pour mesurer ce critère, l'étude a évalué les performances des consultants sur la base de tests avant de leur mettre ChatGPT entre les mains. Résultat : ceux ayant obtenu les pires résultats à ces tests ont vu la qualité de leur produit fini croître de 43% suite à l'utilisation de ChatGPT.
Les consultants affichant historiquement les performances les plus basses sont ceux qui enregistrent les gains les plus importants avec ChatGPT
Autre enseignement, l'étude révèle que les personnes utilisant ChatGPT pour des tâches sur lesquelles elles n'étaient pas bonnes sont plus susceptibles de commettre des erreurs. Pourquoi ? Parce qu'elle font trop souvent confiance à l'intelligence artificielle alors qu'elles ne le devraient pas.
A l'inverse, certains consultants semblent mieux exploiter ChatGPT que d'autres. Ils parviennent à réaliser finement des allers-retours entre l'IA et le travail humain pour combiner efficacement les forces des deux. Certains de ces profils, appelés par l'étude les Centaures, ont une idée claire de la frontière entre l'humain et la machine, alternant entre l'IA et les tâches humaines, en fonction des forces et des capacités perçues de chacun. D'autres en revanche (des profils qu'Havard et le MIT baptisent les Cyborg), mélangent les capacités de la machine et de l'humain pour la plupart des tâches effectuées.
D'après l'étude, les Centaures représentent les profils les plus matures dans l'utilisation de ChatGPT. Ils ont appris à consacrer certaines tâches à l'IA, par exemple la synthèse d'entretiens et autres actions créatives, tout en consacrant leurs compétences humaines à des tâches plus pertinentes, par exemple des traitements liés aux données ou à la gestion du changement. Il serait néanmoins préférable d'être un Cyborg pour certains cas d'usage impliquant de mêler intimement des compétences humaines avec l'IA. C'est la version GPT-4 de ChatGPT qui a été utilisée dans le cadre de cette enquête.