Attention à la vraie valeur statistique de vos tests A/B

Cette chronique est la première d’une série de trois tribunes dédiées à la significativité statistique, qui ont pour ambition d’éclairer les décideurs et d’aider les utilisateurs d’A/B testing à appréhender correctement les indicateurs à leur disposition dans le but de prendre des décisions en connaissance de cause.

Que signifie précisément un indicateur de confiance ?

En effet, l’indicateur de confiance représente le pourcentage de chances d'obtenir, dans des conditions rigoureusement identiques (en termes d'observations), le même résultat à l'avenir. Et par résultat, il faut comprendre uniquement une information binaire : soit A bat B, soit B bat A. Pour cette raison, l'indicateur de confiance est souvent appelé « probabilité de battre l'original » (« chance to beat original »).

Ainsi, si vous avez un gain de conversion de 15 % pour votre variante et une significativité statistique de 99 %, cela signifie uniquement que votre variante a effectivement 99 % de chances de surperformer par rapport à l'original, mais pas qu'il y a 99 % de chances que le prochain gain de conversion soit de 15 %. Votre gain de conversion réel peut en fait n’être que de 3 %... Attention, ceci ne veut pas dire non plus que le gain de conversion donné pour un test est totalement dénué de sens, uniquement que l'indicateur de confiance ne s'applique pas du tout à celui-ci. Là intervient la question de la taille de l’échantillon : sur un trafic et un nombre de conversions modestes, l’écart-type sera potentiellement très élevé. Sur un trafic important, il sera limité.Dans tous les cas, cette absence de garantie n'est pas problématique en soi : dès lors qu'une variante bat l'original, vous avez intérêt à la passer en production même si le gain de conversion est minime. Et ce qui peut jouer contre vous peut aussi jouer pour vous : un gain de conversion de 2 % obtenu en test peut se transformer en gain de conversion de 10 % plus tard en production...

En effet, un indice de confiance s'obtient à partir d'un nombre déterminé d'observations et représente un pourcentage de chances de parvenir au même résultat, avec le même nombre d'observations à l'avenir. Donc si vous avez un indice à 90 % mais uniquement obtenu sur 50 visites, vous avez bien une probabilité de retrouver le même résultat… mais sur 50 visites seulement. En extrapolant, vous pouvez très bien avoir 3 valeurs de significativité différentes au cours d’un test, une de 90 % à 1 000 visites, une de 65 % à 15 000 et une dernière de 95 % à 50 000. Il ne faut pas tenir compte des deux premières valeurs, car la dernière est la seule représentative de votre trafic en production.
Du point de vue des mathématiques appliquées, une courbe d'évolution de la significativité en fonction du temps n’a pas de sens.

En réalité, l'indice de confiance ne devrait être affiché qu'une fois le test terminé ou proche d’être terminé (ie : proche d’atteindre le nombre cible de visiteurs) afin d'éviter la tentation bien naturelle de regarder régulièrement ce chiffre. C’est la raison pour laquelle nous insistons toujours sur l’importance de réaliser des tests sur l’intégralité et non pas seulement une fraction de son trafic. S’il fait sens de démarrer sur une faible part de son trafic afin de valider la bonne tenue d’un test, il est impératif de l’étendre sous peine de tirer de fausses conclusions sur la variante gagnante.