Comment mesurer l’impact de sa stratégie de testing sur le long terme ?

Si les résultats de chaque test sont explicites, mesurer le ROI de votre activité de testing sur le long terme est plus difficile qu’il n’y parait. Le point qu’on oublie régulièrement, c’est que vous opérez dans un univers mouvant.

Vous menez régulièrement des tests A/B et plusieurs d’entre eux ont conduit à des incréments significatifs. 12 mois après, vous constatez pourtant que votre taux de conversion n’a pas évolué. Vous vous demandez légitimement où sont passés ces gains et comment l’expliquer à votre responsable ou à votre client si vous êtes une agence ? Si les résultats de chaque test sont explicites, mesurer le ROI de votre activité de testing sur le long terme est plus difficile qu’il n’y parait.

Le point qu’on oublie régulièrement, c’est que vous opérez dans un univers mouvant. Vos sources de trafic changent, vos profils d’internautes changent, votre offre change et les actions de la concurrence remettent sans arrêt en question vos modèles. Vous vous méprenez si vous pensez que le simple fait de mener des tests suffit à vous doter d’un cadre d’expérimentation infaillible. Vous partez du postulat que votre audience ne change pas ; or ce n’est jamais le cas. Vous vous en êtes déjà rendu compte lorsque des éléments externes affolent vos KPIs comme un apport de trafic plus ou moins qualifié suite à une campagne TV ou à des retombées presse… Un manque de maturité sur le sujet peut vous laisser croire que 10% de gain sur un test doit automatiquement se solder par un +10 % à la fin de l’année. Un test reste une expérimentation à un instant T et non une vérité immuable.

Tracer la progression s’avère donc finalement difficile, car toutes vos métriques sont en constante évolution. Vous ne pouvez pas juste relever votre taux de conversion et le comparer avec celui d’il y a 6 ou 12 mois. L’analyse des moyennes est également trompeuse et il est important d’exprimer l’impact de vos tests sous forme de fourchette et non de valeurs absolues. Pour un test affichant +3% de gain, l’amélioration peut en fait se situer entre -3% et +6% suivant la distribution réelle de vos conversions. Vous devez également analyser vos taux de conversion par cohorte ou segment d’audience pour exclure les pics et anomalies.

Une fois ces points de vigilance rappelés, plusieurs solutions restent envisageables si vous voulez quantifier l’impact de vos tests sur le long terme.

Maintenir une petite portion de votre trafic exempte de tous tests. Cela peut s’avérer difficile techniquement à mettre en place, mais le principe consiste à mener un test sur une année en y affectant un faible pourcentage de votre trafic (ex. : 5%). Sur ce test, vous n’apporterez aucune modification si ce n’est le dépôt d’un cookie spécifique. Sur tous les tests que vous mènerez ultérieurement, vous prendrez soin d’exclure les internautes ayant ce cookie. Bien qu’imparfaite, compte tenu de la suppression possible des cookies sur une aussi longue période, cette méthode est un point de départ pour évaluer l’impact de vos tests sur le long terme.

Re-tester d’anciennes variantes pour vérifier le maintien de l’uplift initiale. Si, en comparant la version gagnante d’un précédent test, devenue votre version de contrôle, avec la version originale, votre nouveau challenger, vous constatez une dégradation, cela signifie que votre nouvelle version de contrôle reste plus efficace que la première. Une apparente stabilité des résultats est alors probablement due à des éléments externes comme une dégradation de la qualité de votre trafic. En revanche, re-tester présente un coût d’opportunité, car vous pourriez utiliser votre temps à meilleur escient en testant de nouvelles idées. Par ailleurs, vous allez délibérément renvoyer une partie de votre trafic vers une version potentiellement moins performante. Si vous acceptez ce coût, aménagez dans votre roadmap des slots pour re-tester (follow up test).

Si vous vous intéressez à la valeur du client — Customer Lifetime Value — vous pouvez, en lisant les cookies déposés par votre solution de testing, transférer les données comme l’ID du test et l’ID de la variation directement à votre système d’information interne pour mener ultérieurement des analyses par cohorte sur vos profils d’utilisateurs segmentés par test.

Conclusion
Le testing permet d’acquérir une meilleure connaissance de ses internautes et de valider ce qui fonctionne ou non. Vous ne devez pas prendre ses résultats comme parole d’évangile, à transmettre à votre comptable ou votre contrôleur de gestion. Sachez, aussi, qu’essayer d’établir avec précision combien vous ont rapporté vos tests vous prendra un temps non négligeable que vous pourriez utiliser autrement.