5 recommandations pour bien démarrer dans l'A/B testing

Le passage à des méthodologies data-driven est incontournable pour tout acteur ayant la chance de fédérer des quantités de données importantes, comme c’est le cas dans le Web. Néanmoins, la maitrise des différentes techniques, dont l’A/B testing, n’est pas toujours évidente au démarrage.

En matière de testing, les conseils et recommandations ne manquent pas. Cependant, par expérience, je sais que la situation de chaque entreprise est unique. Certains acteurs ont quelques pages concentrant l’essentiel de leur trafic; d’autres au contraire éclatent celui-ci sur des milliers de pages... Ne serait ce que sur ce simple exemple, l’approche à l’A/B testing devrait être radicalement différente.
Il est donc finalement plus difficile de prodiguer des recommandations générales que des recommandations personnalisées, mais c’est un exercice intéressant. J’ai décidé de diviser ces conseils en trois niveaux d’expertise: débutant, avancé et expert. Cela correspond environ également au volume de trafic. Un petit site bénéficiera plutôt des astuces pour novices alors que les sites à forte audience seront intéressés par les aspects avancé et expert.

Nous commençons cette première série en se focalisant logiquement sur les débutants en testing, ceux qui sont en train de réaliser leurs premiers tests ou même de réfléchir à la mise en place de méthodes data-driven. Soyons honnêtes, en France, il s’agit d’ailleurs pour l’instant de l’immense majorité des acteurs ! Bonne lecture et bon courage.

1. Ne pas avoir peur du syndrome de la boite noire

Le tout premier obstacle qui apparait lorsqu’on veut faire de l’A/B testing est bien évidemment le choix des tests. Vous avez un site qui fonctionne, qu’est ce que vous pourriez bien y changer pour améliorer votre conversion? Cela peut être particulièrement vrai si vous venez de vous doter d’un outil de testing (Kameleoon, Omniture Test & Target, Optimizely...): il est probablement très puissant, vous permettant de réaliser des tas de choses dont vous n’aviez pas connaissance quelques jours plus tôt, mais au final, concrètement, que faire ? C’est ce que j’appelle le syndrome de la boite noire.
Et bien, rassurez vous, ce ne sera jamais un problème. Il s’agit juste d’un frein psychologique initial, qui disparait très vite une fois dans le feu de l’action. Personnellement, mis devant l’épreuve, je n’ai encore jamais rencontré un client qui ne sache pas quoi tester... et c’est normal.
Il existe d’ailleurs une multitude d’articles sur le Web vous présentant des exemples de “cas standards” intéressants à tester. A mon avis, cela n’a pas grand intérêt, justement parce que c’est un faux problème. Plutôt que de lire un n-ième article vous conseillant de changer la couleur et le wording de vos boutons “Ajouter au panier”, passez un peu de temps à réfléchir à votre site et à son profil de visiteurs : les idées vont venir par dizaines.

2. Commencer par des tests simples

Une fois le syndrome de la boite noire dépassée, vous aurez au contraire le problème inverse, beaucoup plus réel : trop d’idées à tester. C’est à cet instant là qu’il vaut mieux être raisonnable, et commencer avant tout par des tests simples. Imaginons en effet que vous ayez 5 idées initiales, 4 donnant lieu à des changements rapides à mettre en place (un jour de réalisation chacune), et une qui implique une réalisation plus complexe (disons une semaine). Vous avez donc le choix, pour le même laps de temps, entre réaliser 1 test complexe ou 4 tests simples.
Chaque test ayant, en moyenne 25% de chances d’améliorer le taux de conversion, 25% de le dégrader et 50% de ne pas le modifier, il est évident qu’il est plus intéressant de partir sur l’option des 4 tests. En choisissant le test complexe, même si potentiellement le gain de conversion est plus important, vous avez - malheureusement - 75% de chances de ne rien récolter du tout, et d’être extrêmement déçu, surtout pour un début...
Évitez donc les frustrations au maximum, et réalisez des tests simples. Bien entendu, simple ne veut pas dire insignifiant. Il est inutile de tester un changement de police sur un texte d’une partie mineure de votre site, cela n’a aucune chance de modifier votre taux de conversion. Une fois plus aguerri, vous comprendrez mieux quels sont les tests susceptibles d’être intéressants. Gardez toujours une logique ROIste : temps passé sur la mise en place d’un test vs. potentialité du gain qu’il vous amènera.

3. Comprendre la significativité statistique et les enjeux de trafic

C’est une question qu’on me pose systématiquement : combien me faudra-t-il de temps, au vu de mon trafic, pour obtenir un résultat mathématiquement fiable ? Et la cruelle réponse est invariablement : cela dépend du test. En effet, si vous réalisez un changement tellement positif que les 30 premiers visiteurs de la variante réalisent une conversion, alors que les 30 premiers de l’original n’en réalisent aucune, vous pouvez déjà affirmer que la variante est statistiquement meilleure. Donc obtenir un test significatif avec seulement 60 échantillons ! (en pratique, bien entendu, cela n’arrive absolument jamais).
Au contraire, un changement qui n’apportera aucune réelle différence de taux de conversion peut nécessiter des millions de visiteurs avant d’être fiable. Il faut donc bien comprendre qu’il n’existe pas de règle absolue; seules des connaissances mathématiques poussées peuvent vous éclairer. De manière pratique, vous n’avez pas besoin d’être un expert en statistiques pour vous lancer. Une métrique classique et facile à obtenir, le z-score, vous indique combien de chances une variante a de mieux performer qu’une autre. Utilisez la sans trop vous soucier du reste dans un premier temps.

L’A/B testing étant une méthode data-driven, le facteur clé universel reste néanmoins la quantité de données disponible. Ici les données proviennent du trafic. Gardez donc ces chiffres en tête:

En dessous de 10 000 visiteurs/mois, il faut absolument cibler des KPIs intermédiaires plutôt que des conversions finales (par exemple mise en panier plutôt qu’achat définitif) qui seront trop peu nombreuses.
De 10 000 à 200 000 visiteurs, les tests peuvent mettre un temps important à donner des résultats fiables statistiquement. Il faut donc être vigilant à la durée de ceux-ci.
De 200 000 à 1 million de visiteurs, cela devient confortable. Certaines pages peu fréquentées (fin du tunnel de conversion) peuvent encore poser des difficultés.
Au delà de 1 million de visiteurs, le trafic n’est plus que rarement un problème.

4. Ne pas hésiter à réaliser plusieurs tests en parallèle

C’est un corolaire du point précédent. Quand vous ne disposez que d’un trafic faible, les tests mettront du temps à produire des résultats exploitables. Le facteur bloquant sera donc ce temps d’acquisition, et non plus le temps de réalisation (mise en place) des variantes. Vous pouvez cependant mitiger cet obstacle en lançant plusieurs tests en simultané. En procédant de cette manière, le même laps de temps vous permet d’obtenir les résultats de plusieurs tests, multipliant d’autant vos chances de gain.
Théoriquement, c’est une erreur de procéder ainsi, car des tests lancés en simultané peuvent interférer entre eux. Du point de vue des puristes, le concept de tests simultanés n’existe pas: il ne peut s’agir que d’un unique test, multivarié. Dans la pratique, n’ayez surtout pas d’états d’âme, car dans 95% des cas il n’y aura pas de corrélation. Par exemple, il est très peu probable qu’un test sur une fiche produit perturbe un test lancé en simultané sur la fin du tunnel de conversion.
Un peu d’intuition suffira pour repérer les cas où une corrélation est possible, et les bénéfices apportés par les tests parallèles dépassent de très loin les risques. Surtout pour des acteurs ayant un petit trafic.

5. Utiliser au maximum la segmentation de votre interface de reporting

Cette notion est complexe mais vaut la peine d’être présentée très tôt. Segmenter votre trafic permet parfois d’obtenir des informations extrêmement importantes. Par exemple, un test pourrait ne pas produire de résultat concluant sur votre trafic au global. Mais en observant différents segments de votre trafic, par exemple les visiteurs français et les visiteurs étrangers, vous pouvez vous apercevoir que les premiers préfèrent nettement la variante A, alors que les seconds la variante B.

Segmenter est donc essentiel. Mais attention. La segmentation doit intervenir dans votre interface de reporting, autrement dit généralement dans votre solution de Web Analytics. Il ne faut pas confondre cette segmentation avec celle que propose un outil de testing (qui est une fonctionnalité en réalité mieux dénommée ciblage, ou encore segmentation a priori). Car il s’agit ici d’un ciblage du test : quelles sont les personnes à qui le test sera présenté. Or, il faut absolument que ce panel soit le plus large possible ! Plus vous segmentez à ce niveau-là, et plus vous perdez des informations potentiellement cruciales pour la suite. Ainsi, si vous configurez votre test pour ne prendre en compte que votre trafic SEM, toute chance d’inférer plus tard des conclusions sur le comportement des autres sources (affiliation, SEO...) pour ce test est perdue.
Méfiez vous donc du ciblage a priori, il s’agit d’une fonctionnalité avancée et qui peut être facilement mal utilisée. Au contraire, testez au global et effectuez vos segmentations dans votre outil de reporting: non seulement l’interface sera plus adaptée, mais vous serez sûr d’avoir à disposition toutes les données utiles.