Visibilité IA : pourquoi deux tests identiques ne donnent pas le même résultat

Un même test de visibilité IA, relancé deux minutes plus tard, ne rend pas les mêmes noms. Pour une agence, un chiffre donné sans sa marge ne prouve donc aucun progrès.

Le client pose une question simple, la réponse ne l’est pas

Imaginez un dirigeant de PME qui a payé trois mois de travail sur sa visibilité auprès des assistants IA. Il ouvre ChatGPT, tape la question que poseraient ses acheteurs, et ne voit pas sa marque. Le lendemain, il recommence et la voit. Il appelle son agence : est-ce que ça marche, oui ou non ?

L'agence a souvent un tableau de bord qui affiche un pourcentage. 35 % de citations le mois dernier, 45 % ce mois-ci. Dix points de mieux, le client est content, la mission est renouvelée.

Le problème, c'est que ces dix points peuvent ne rien vouloir dire. Pas parce que l'outil se trompe, mais parce qu'un assistant IA ne répond pas deux fois de la même façon à la même question. Comparer deux chiffres sans savoir de combien ils varient d'eux-mêmes, c'est comparer deux tirages au sort.

Un moteur de recherche classique rend une page de résultats relativement stable d'une heure à l'autre. Un assistant IA génère une réponse à chaque fois. Il choisit ses sources, les résume, en écarte certaines, et ce choix bouge d'un appel à l'autre, même quand rien n'a changé sur le web. Pour une agence, la conséquence est directe : avant de mesurer un progrès, il faut savoir quelle part du mouvement vient du moteur lui-même.

Ce que j'ai mesuré moi-même

J'ai construit un outil qui pose les questions des acheteurs d'une marque à ChatGPT, Perplexity, Claude et Gemini, et qui relève si la marque est nommée dans la réponse. En le construisant, j'ai d'abord mesuré le bruit de mes propres tests. Trois constats, tous tirés de mes relevés.

Deux passages, deux listes différentes. En août, j'ai lancé deux fois de suite le même test sur le même site, avec les mêmes questions et les mêmes moteurs, à deux minutes d'intervalle, sans rien changer entre les deux. Sur les cinq concurrents remontés, deux seulement étaient communs aux deux passages.

Un verdict stable peut cacher une liste instable. Sur un site qu'aucun moteur ne citait, j'ai relancé plusieurs fois les mêmes questions. Le verdict "non cité" est resté le même 45 fois sur 45. Ce n'est pas une preuve de stabilité : zéro est un plancher, on ne peut pas descendre plus bas, et une marque citée de temps en temps bougerait sans doute davantage. Dans ces mêmes réponses, en revanche, la liste des domaines cités n'a gardé qu'un domaine sur neuf d'un passage à l'autre. Or c'est souvent cette liste que les tableaux de bord mettent en avant.

Zéro ne veut pas dire jamais. Le 22 octobre, j'ai mesuré la marque de ma propre société sur les questions que posent ses acheteurs. Résultat : aucune réponse ne la nommait, sur aucun des quatre moteurs. La conclusion tentante serait "nous sommes absents". La conclusion juste est plus prudente : avec ce nombre de questions, la vraie fréquence de citation sur Perplexity peut aller de 0 % à 16 %. Un zéro mesuré laisse la place à une marque citée environ une fois sur six, que le test n'a simplement pas croisée.

Ces chiffres portent sur très peu de sites. Ce sont des ordres de grandeur, pas une loi. Mais ils suffisent à montrer qu'un pourcentage donné sans sa marge raconte moins qu'il n'en a l'air.

Ce qu'un intervalle change pour une agence

La réponse statistique à ce problème existe depuis longtemps : donner chaque chiffre avec son intervalle de confiance. Au lieu de "35 %", on écrit "35 %, quelque part entre 20 % et 50 %". C'est moins flatteur, et c'est beaucoup plus utile.

Prenons l'exemple du début. Le mois dernier, 35 % avec un intervalle de 20 à 50 %. Ce mois-ci, 45 % avec un intervalle de 30 à 60 %. Les deux intervalles se recouvrent largement : rien ne permet de dire que la situation a changé. Les dix points de mieux sont compatibles avec le simple bruit du moteur.

À l'inverse, si l'on passe de 10 % (entre 3 et 25 %) à 55 % (entre 40 et 70 %), les intervalles ne se touchent plus. Là, quelque chose a bougé, et l'agence peut le montrer.

Pour une agence, cette discipline a trois effets concrets.

1. Elle protège la relation client. Une agence qui annonce dix points de progrès un mois, puis dix points de recul le mois suivant, perd sa crédibilité alors qu'elle n'a rien fait de mal. Celle qui a prévenu que les écarts de cette taille ne sont pas lisibles n'a rien à justifier.
2. Elle déplace la promesse. On ne promet plus "vous serez davantage cité", que personne ne peut garantir. On promet une comparaison honnête entre deux relevés datés, faits de la même façon. C'est une promesse qu'on peut tenir.
3. Elle rend un vrai progrès crédible. Le jour où l'écart sort de la marge, le client n'a plus de raison d'en douter, parce qu'on lui a montré avant ce qui n'en était pas un.

La marge se dit avant le premier relevé, pas après le second. Dite après, elle ressemble à une excuse. Dite avant, elle fait partie du contrat.

Ce qui échappe même à l'intervalle

L'intervalle mesure le bruit d'un moteur à un moment donné. Il ne mesure pas un changement de moteur.

Début septembre, ChatGPT a changé de modèle entre deux de mes relevés espacés d'un mois. Le premier relevé et le second n'interrogeaient donc pas tout à fait le même système. Aucun intervalle, aussi bien calculé soit-il, ne pouvait le signaler : il décrivait la variation à l'intérieur de chaque relevé, pas la différence entre deux versions d'un moteur.

Ce genre de rupture ne prévient pas. Un relevé de visibilité IA est une photographie datée d'un système qui change sans annonce. Le dire au client fait partie de l'honnêteté de la mesure, au même titre que la marge.

Ce que je dis désormais à une agence avant le premier relevé

Trois phrases, dites avant de commencer.

La première : chaque chiffre viendra avec sa marge, et un écart qui reste dans la marge ne sera pas présenté comme un progrès.

La deuxième : la comparaison à trente jours peut très bien dire "rien de lisible n'a changé". C'est un résultat, pas un échec de la mesure.

La troisième : entre deux relevés, un moteur peut changer de modèle, et ce changement ne se verra pas dans les chiffres.

Une agence qui pose ces trois phrases devant son client vend moins de certitudes. Elle vend en revanche le seul chiffre qui résiste à la question "vous êtes sûrs ?".