Personas synthétiques : quand l'unanimité devient un signal d'alerte

J'ai demandé à vingt-huit répondants synthétiques s'il fallait remplacer les répondants humains. Aucun n'a défendu le remplacement total. Cette unanimité doit alerter. Explications.

En décembre dernier, une chronique publiée ici même décrivait l’essor prometteur des personas synthétiques dans les études de marché et l’approche hybride qui se dessine : le synthétique pour explorer large, les panels humains pour valider.

Cette approche amène une question que j’ai voulu poser directement aux "intéressés" : qu’en disent les répondants synthétiques eux-mêmes, quand on les interroge sur leur propre rôle ?

L’expérience — vingt-huit répondants synthétiques face à leur remplacement

En mai dernier, j’ai conduit deux études qualitatives avec FlashInsight, l’outil que je développe : vingt entretiens individuels, puis une réunion de groupe de huit participants. Chaque participant était un répondant synthétique : le modèle produisait ses réponses à partir d’un persona, c’est-à-dire d’un archétype décrivant une personne, métier, une expérience, des attitudes. En l'occurence chacun des persona décrivait des professionnels du marketing, de la data, de l’expérience utilisateur et des études marketing, tous susceptibles d’utiliser ces outils mais aussi aptes à en questionner les limites.

La question : faut-il remplacer les répondants humains par des répondants synthétiques, ou au contraire les "compléter" ? Autrement dit, j’ai demandé à des machines qui simulent des humains s’il fallait remplacer les humains par des machines. C’est volontairement inconfortable. C’est aussi tout l’intérêt de l’exercice.

Trois réponses attendues, et une unanimité qui l’est moins

Les réponses convergent, en entretien comme en groupe. Aucun des vingt-huit répondants synthétiques ne défend le remplacement total : tous décrivent un partage des rôles, la machine pour explorer et bousculer les hypothèses, l’humain pour valider, décider et engager ou non un budget. Tous réclament de la transparence : d’où viennent les données, comment les réponses sont produites, et alerter sur ce qui relève du synthétique dans un livrable. 

Le risque qu’ils placent en tête n’est pas tant l’erreur que la chambre d’écho.

 "On risque de se retrouver avec des insights qui sont juste des confirmations de nos propres biais de départ", résume l’un d’eux. En juin dernier, je présentais cette convergence comme un résultat "robuste".

L’honnêteté intellectuelle commande d’y revenir. Les deux travaux que je cite plus bas confirment en effet la moindre dispersion des réponses des répondants synthétiques par rapport aux répondants humains. Il en résulte qu'un accord parfait entre répondants synthétiques n’a donc rien d’une preuve.

Ce que dit la recherche — un défaut documenté

Dès 2024, des chercheurs en sciences politiques américains observaient que des réponses produites par ChatGPT retrouvaient les moyennes d’une grande enquête électorale, mais avec moins de variation que chez les vrais répondants, et qu’elles changeaient au gré d’une simple reformulation de la consigne (donc du prompt).

Récemment, l’équipe de Columbia Business School qui a construit Twin-2K-500, une base publique et ouverte de jumeaux numériques (digital twins), vient d'évaluer ses propres modèles. 

Construits à partir de plus de cinq cents réponses d'individus réels, ces jumeaux ont été ensuite comparés aux réponses de 1 784 personnes réelles.

Constat sans appel, la dispersion des réponses des répondants synthétiques est dans 94% moindre que celle des "vrais" répondants. En d'autres termes, on explore moins de variété, plus de convergence que dans les réponses de vrais individus.

Nous avons fait le calcul nous mêmes sur notre panel : 150 répondants synthétiques français interrogés, comparés aux réponses de 1 771 Français interrogés par l’Enquête sociale européenne. Dans un même bloc politique, le rapport entre l’écart-type des réponses synthétiques et celui des réponses humaines est de 0,38 sur les dix-huit questions (entre 0,34 et 0,42 selon les rééchantillonnages), et la compression se retrouve sur chacune d’elles [5]. En d'autres termes, on retrouve donc le même type de résultats, et la moindre dispersion des réponses des répondants synthétiques. 

Cependant, nos recherches en cours confirment également que la variété des réponses des répondants synthétiques dépend aussi des types de questions posés. Elle tend à être plus riche lorsqu'on fait évaluer une idée, un concept et moindre lorsqu'on pose une question d'attitude générale (sur la politique, les grandes causes, etc.).  Le tout sous entendrait que les personas synthétiques seraient plus utiles dans le cadre d'évaluation d'idées, de concepts, etc. très en amont d'un démarche marketing. C'est ici que nous utilisons aujourd'hui. Pour autant, ces résultats nous rappelle qu’on ne peut pas lire la diversité des avis dans des réponses synthétiques sans la vérifier.

Ce que mesure la dispersion — et pourquoi presque personne ne la vérifie

Prenez dix personnes du même âge, du même sexe et de la même sensibilité politique. Demandez-leur si elles font confiance au Parlement, aux politiques, etc. Elles ne seront pas d’accord : partager un profil n’empêche pas d’être des personnes différentes dans leurs avis. Des répondants synthétiques de même profil, eux, se ressemblent souvent trop. Même quand leur moyenne tombe juste, l’éventail des réponses se resserre.

Pour un responsable marketing, la conséquence est concrète. Un segment qui paraît homogène l’est peut-être moins dans la réalité. Un intervalle de confiance calculé sur des réponses trop peu dispersées serait lui aussi trop étroit. Et une unanimité, comme celle de mes vingt-huit répondants, vaut autant comme symptôme que comme conclusion.

Le test tient en une division. Pour chaque question, on rapporte l’écart-type des réponses synthétiques à celui des réponses humaines, à l’intérieur d’un même segment. Puis on compare ce résultat au même calcul fait sur des humains interrogés une seconde fois, qui sert de point de comparaison. Sur les données publiques de Twin-2K-500, les mêmes personnes réinterrogées obtiennent 1,02 ; les onze configurations simulées publiées que nous avons mesurées se situent entre 0,47 et 0,79.

Si ce chiffre est si rarement demandé, c’est qu’il ne veut rien dire sans ce témoin humain. C’est pourtant la première question à poser à un fournisseur.

Trois règles pour s’en servir — ni naïveté, ni rejet

1. Lire l’accord comme un symptôme, pas comme une preuve. Quand des répondants synthétiques sont tous du même avis, la première question est simple : est-ce le marché qui parle, ou l’outil ?
2. Demander la dispersion, avec son "témoin humain". Sans ce chiffre, rien ne peut véritablement se dire de la trop grand similarité des répondants synthétiques.
3. Confronter au terrain réel, ce qui engage un budget important. Le synthétique permet tester de nombreuses pistes et de repérer celles qui méritent une validation réelle. Dans ce cas, les persona synthétiques offrent une agilité forte pour itérer, "se tromper plus tôt", et se donner "plus de chances" de réussir. 

Comme je l’écrivais récemment dans une tribune pour Market Research News : "Ce n’est pas l’outil qui pose problème, c’est notre façon de l’utiliser."

Ce que la machine sait d’elle-même

Je termine sur le verbatim qui m’a le plus marqué. Il vient d’un répondant construit à partir du persona d’un professionnel chevronné :

"Une machine peut imiter la politesse ou la logique, mais elle n’a jamais ressenti le stress d’une fin de mois difficile — ou le plaisir de discuter le bout de gras avec son boulanger."

Le modèle qui produit cette phrase n’a connu ni les fins de mois ni le boulanger. Ce n’est pas une preuve de conscience. C’est une manière frappante de nommer la limite entre le langage appris et l’expérience vécue. Et c’est à ceux qui conçoivent et utilisent ces outils de dire où s’arrête ce qu’ils peuvent simuler.

Pour conclure

La prochaine fois qu’un tableau de résultats synthétiques affichera un consensus parfait, une seule question suffit : comparée à des humains, quelle est la dispersion ? Si personne ne sait répondre, l’unanimité ne prouve rien. Si la réponse existe, le synthétique redevient ce qu’il sait faire de mieux : explorer, avant de valider sur le terrain.

Et vous, quelle est la dernière réponse "unanime" qui vous a (peut-être) convaincu un peu trop vite ?