Comment choisir et définir ses A/B tests ?

Conduire une politique systématique d’A/B testing fait intervenir trois phases distinctes: la définition du périmètre des tests et leurs variantes, puis la réalisation/l’intégration effective des variantes et le paramétrage des expériences dans une solution dédiée à l’A/B testing, et enfin l’analyse des résultats.

Je présente ici plusieurs méthodologies portant sur la première de ces étapes - le choix des idées de tests -, avec des commentaires et conseils issus de la relation avec nos clients.

Intuition ou data-driven ?

Il n’y a finalement que deux grandes méthodes pour cerner le périmètre d’un test visant à améliorer la conversion d’un site. La première, la plus naturelle, consiste à essayer de s’imaginer dans le rôle d’un simple visiteur du site. En simplement parcourant le site, quels sont les messages que je ressens ? Est ce qu’ils sont clairs, et traduisent fidèlement l’image que veut projeter le site ? Il faut essayer de raisonner négativement: est ce que cette page ou cette zone de page n’induirait pas le client potentiel en erreur? Est ce que cette offre, a priori utile, n’en cannibaliserait pas d’autres potentiellement plus rentables ou qui convertiraient mieux ?Cette approche peut s’avérer en réalité plus difficile qu’elle ne paraît, car il est difficile pour un e-marketeur connaissant parfaitement le site d’avoir un œil extérieur. Les personnes de l’équipe marketing, qui ont participé largement à la conception du site Web et à son positionnement, seront généralement aussi celles qui vont définir les tests. Pour pallier à ce biais inhérent, on peut demander à un proche son avis (technique très à la mode et très utilisée outre Atlantique, et connue sous le nom de “mommy’s test”), se fier à un regard neuf porté par un nouveau collaborateur, ou même externaliser ce travail auprès d’une agence.

Méfiance toutefois

Des regards extérieurs, s’ils ont l’avantage d’être moins liés à l’existant d’un site et d’un parcours client, auront l’inconvénient d’être trop critiques et surtout potentiellement déconnectés de la réalité et de la majorité des besoins. Les retours seront similaires à ceux pouvant être récoltés dans un questionnaire en ligne; les acteurs utilisant ce type de technique déclarent souvent que les suggestions obtenues ne sont ensuite pas validées par la majorité une fois mises en application (syndrome de la minorité active). Sur une approche fondée sur l’intuition, la meilleure attitude à adopter est donc selon moi un mix entre des avis éclairés et experts, et des ressentis neufs.
L’autre méthode consiste à repérer les endroits faibles du site grâce à une analyse plus ou moins poussée de ses tableaux de web analytics. Si un taux de rebond anormalement haut est observé sur une landing page, c’est un candidat évident à une optimisation par A/B tests successifs. De même qu’une étape du tunnel de conversion avec un fort taux d’abandon. Bien entendu, cette approche, qui est data-driven contrairement à la première, est de fait plus proche de la politique d’A/B testing qu’elle soutiendra. Dans certains cas, elle est même la seule réellement disponible, ou plus exactement, il serait dangereux de ne pas l’utiliser. Je pense notamment aux sites à faible trafic. Dans ce cas de figure, mieux vaut avoir les yeux rivés sur sa solution de Web analytics lors de la conception des sites, car il est inutile de réfléchir à des expériences qui seraient impossibles à réaliser par manque de trafic sur cette partie du parcours client (par exemple fin du tunnel de conversion).
Même si cette approche devrait logiquement séduire davantage un aficionado du data-driven comme moi, je n’écarte pas pour autant la première méthodologie. D’abord parce qu’il faut bien admettre que les équipes marketing n’ont pas toujours le temps ou les compétences pour réaliser une étude approfondie sur leurs statistiques de trafic (même si c’est fort regrettable). Ensuite et surtout, parce que même si une lecture d’analytics aboutit à une définition de périmètre pour un test, les changements ergonomiques eux-mêmes peuvent être uniquement choisis par un humain. C’est à dire que les chiffres pointent vers des pistes d’optimisation; deviner les optimisations possibles reste une affaire d’intuition marketing.

Un site Web est une entité en perpétuelle évolution

Une des caractéristiques de l’A/B testing est d’être addictif. Plus vous en faites, et plus vous cumulez d’uplifts de conversion, et plus vous avez envie d’en faire. Idéalement, cela aboutit à des politiques où tout nouveau changement d’importance sur un site Web est testé. Dans ces conditions, trouver et définir des tests devient de plus en plus simple: en effet, au lieu de travailler sur l’existant du site (ce qui, bien évidemment, représente un univers de tests possibles très large), on travaille sur ses évolutions actuelles.

Par exemple, vous avez développé une nouvelle fonctionnalité sur votre home-page: un carrousel avec les offres les plus populaires du moment. Au moment du déploiement, testez la présence de ce carrousel (vs. la version d’avant qui n’en avait pas). Vous saurez ainsi rapidement si cette nouveauté est bénéfique ou non pour vos ventes. De manière plus poussée (et plus réaliste), vous serez aussi amené à tester différentes variations mineures sur le carrousel (positionnement sur la page, graphisme, etc...). C’est très facile à réaliser avec des outils d’A/B testing agiles, et vous serez surpris des résultats. En effet, considérons que la version de base d’une nouvelle fonctionnalité apporte un certain uplift (disons X%) mais a demandé des ressources considérables (conception, prototypage, et surtout développement technique). Par quelques tests itératifs mineurs sur cette version de base, on arrive bien souvent à doubler l’uplift (2X % au lieu de X%), et cela aura demandé infiniment moins de ressources...

Une source inépuisable d’idées de tests se trouve donc simplement dans les évolutions prévues pour le site. Ces évolutions donnent toujours lieu à des discussions interminables, qu’il vaut mieux écourter et remplacer par du testing: le bon choix est alors garanti. Tout ce qui arrive de neuf sur votre site est un excellent candidat à un A/B test. Vous avez une nouvelle campagne d’acquisition qui démarre mal ? Rattrapez la en optimisant la landing page. On vous démarche pour un module e-commerce un peu coûteux ? Testez immédiatement son ROI, vous saurez rapidement si cela vaut le coup. Vous l’aurez compris, plus besoin d’aller chercher très loin pour obtenir de nombreuses idées expériences.

S’inspirer des tests réalisés par d’autres

En guise de conclusion, je rappelle qu’il existe sur Internet une quantité importante d’études de cas et de présentation de tests (la plupart des ressources sont cependant uniquement disponibles en anglais, comme le site http://whichtestwon.com/). Vous pouvez librement vous en inspirer, mais gardez en tête la règle d’or: ce qui marche sur un autre site peut tout à fait échouer sur le mien.
Bref, inspirez vous des success stories des autres... mais n’oubliez pas de valider ces idées en réalisant les A/B tests correspondants !