Quel trafic mensuel est nécessaire pour faire de l’A/B testing ?

Les acteurs du web en France privilégient toujours l'acquisition de trafic à l'optimisation de conversion. Pourtant, en prenant certaines précautions, vous pouvez tester votre site et être confiant que les résultats de test se réalisent en pratique.

Ce qu'il faut savoir sur l'A/B testing

A priori, comparer une page A avec une page B est facile : il suffit de répartir les visiteurs en 2 groupes qui verront chacun une page différente (A ou B) et de mesurer comment ces visiteurs se comportent sur chaque page.

Mais cette simple définition de l'A/B testing ne suffit pour réaliser des tests dans de bonnes conditions et de déterminer - avec précision - quelle page est la meilleure.

Faire de l'A/B testing demande d'appliquer certaines notions statistiques indispensables pour ne pas se tromper et ne pas gaspiller son budget Marketing.

Parmi ces éléments, il faut prendre en compte la durée du test, la taux de confiance ("confidence level" en anglais) ou encore la "puissance".

Malheureusement, la plupart des marketeurs ne sont pas statisticiens et cet exercice peut donc s'avérer difficile. La conséquence est que beaucoup d'entre-eux ne prennent pas la peine de faire les calculs et se trompent lorsqu'il s'agit de déterminer le gagnant d'un test.

Mais la bonne nouvelle est que plusieurs outils sont maintenant disponibles en ligne pour calculer l'échantillon de visiteurs nécessaire pour réaliser un test avec un bon niveau de confiance. Nous recommandons par exemple la page de AB Testguide.

Pour obtenir une réponse sur l'échantillon nécessaire (Minimum sample size), vous devez fournir 3 types d'informations :

1. Vos données actuelles

Le taux de conversion ("Conversion rate Control") est celui que vous souhaitez mesurer, cela peut être classiquement un ratio Inscriptions/Visiteurs ou un ratio Ventes/Visiteurs.
Le nombre de visiteurs uniques par semaine ("Unique visitors...") est celui de la page concernée : celle qui va être testée.

2. Vos estimations

Le pourcentage d'amélioration souhaité est la question la plus difficile.

Comment savoir ?

Lors du Digital Elite Camp qui s'est déroulé à Tallinn en Juin 2015, la plupart des experts en optimisation des conversions (CRO) étaient présents. Après discussions, tous s'accordaient à dire qu'il est très difficile d'atteindre régulièrement plus que 10% d'amélioration sur votre taux de conversion global (Visiteurs/Ventes).

Et aller au-delà de 10% passe par des changements dits "innovants", ce qui implique des changements importants sur une page ou un site web.
Donc si vous souhaitez faire une estimation réaliste, je vous recommande d'utiliser "5%".

La durée du test ne se décide pas, elle se calcule. Cela dépend de votre nombre de visiteurs uniques et de votre cycle de vente. Le test doit toujours avoir une durée supérieure à 1 cycle de vente.

Les changements dits "itératifs" - qui consistent par exemple à changer un message, un CTA (appel à action) ou une vidéo vs image - apportent généralement moins de 5%, voire beaucoup moins !

Sur ce point, les experts en optimisation des conversions (CRO) confirment que réaliser un test sur 3 mois ou plus est très risqué, car beaucoup trop de paramètres changent pendant une période aussi longue (en moyenne, >10% des internautes suppriment leur cookies chaque mois, ce qui pollue fortement vos résultats).

Idéalement, je cherche à ne pas dépasser 30 jours pour un test, 60 jours étant un maximum.

3. Les paramètres statistiques

Sans entrer dans des explications techniques (vous les trouverez ici), voici les recommandations qui permettent d'avoir une réponse fiable :

Hypothèse : "2-sided" (pour aussi prendre en compte les effets négatifs)
Puissance : 80% (au-delà la taille de l'échantillon nécessaire augmente beaucoup)
Confiance : 95%

Maintenant vous pouvez calculer simplement quel est l'échantillon de visiteurs nécessaire pour tester votre site ou votre Landing Page.

Mais en fonction de votre trafic et de vos paramètres, vous allez constater que votre page n'a tout simplement pas assez de visiteurs. C'est pourquoi nous avons souhaité aller plus loin - en faisant plusieurs séries de calculs - pour répondre à la question suivante :

Quels trafic mensuel est nécessaire pour faire du A/B testing ?Le modèle ci-dessous pour vous permet d'estimer le trafic mensuel nécessaire pour effectuer des A/B tests dans de bonnes conditions. C'est-à-dire : quel est le pourcentage minimum d'amélioration que vous devez atteindre pour que votre test soit fiable, en fonction du nombre de visiteurs par mois.Les conditions fixes sont les suivantes :

Taux de conversion actuel du site : 2%,
Durée du test : 30 jours,
1 variations testée + 1 page d’origine,
Niveau de confiance : 95%,
Puissance : 80%.

Les volumes de visiteurs sont découpés en 4 zones, selon le niveau de difficulté pour atteindre un Uplift (pourcentage amélioration du taux de conversion). Par exemple : 40% se situe dans la zone "Fear factor" car il est exceptionnel d'atteindre ce niveau de performance avec un A/B test.

Ces 4 zones vous permettent de situer votre site sur ce graphique :

1. Fear Factor

Si vous avez moins de 10'000 visiteurs par mois sur votre site, faire du A/B testing est très spéculatif, il faudra améliorer votre taux de conversion de plus de 30% pour pouvoir déterminer une "page gagnante" !

2. Thrilling

Entre 10'000 et 100 000 visiteurs par mois, faire de l'A/B testing sera un vrai challenge ! Un minium de 9% d'amélioration sur votre taux de conversion sera nécessaire. Sachant que les experts en optimisation ont eux-même du mal à atteindre ce niveau de performance.

3. Exciting

Entre 100'000 et 1'000'000 de visiteurs par mois, vous êtes dans une zone "Exciting" : il faut entre 2% et 9% d'amélioration sur votre taux de conversion, selon votre trafic.

4. Safe

Au delà d'un million de visiteurs par mois, vous êtes dans une zone "safe", qui vous permet de réaliser de nombreux tests itératifs.

Attention toutefois à ne pas prendre ces chiffres pour des réponses définitives : il faut toujours prendre en compte les données de la page testée, et pas seulement les données globales du site.

Que faire si vous n'avez pas assez de trafic ?

Sans tester, vous ne pourrez pas valider vos hypothèses, il faut donc trouver les moyens de tester même lorsque votre trafic est faible.

Si votre trafic est trop faible (moins de 10'000 visiteurs par mois), il est très difficile d'optimiser de façon "itérative".

Vous avez 2 possibilités (idéalement à mener en parallèle) :
1. Concentrez-vous sur l'acquisition, augmentez votre trafic !
2. Travaillez, idéalement avec l'aide d'un spécialiste, sur les aspects comme :

votre Proposition de Valeur (pourquoi vos visiteurs doivent acheter / s'abonner chez vous et non pas chez un concurrent, et pourquoi il doivent le faire toute suite ?),
l'analyse heuristique (analyse de votre site basé sur l'expérience),
des tests fonctionnels (est-ce que votre site - incluant le tunnel de conversion - marche correctement sur tout type de navigateurs, appareils...),
une meilleur connaissance de vos visiteurs et clients (mini-enquêtes, user testing...).

Lorsque vous arrivez dans la zone des 10'000 à 100'000 visiteurs par mois, vous restez toujours dans une zone difficile : les tests itératifs ne seront pas puissants et vous devrez créer des tests à fort impact ("innovants") pour obtenir des résultats fiables. Utiliser des techniques de Neuroscience et d'économie comportementale permettra de booster les performances d'un test en plus des éléments mentionnés ci-dessus.

Attention aux tests sur micro-conversions !

Les micro-conversions correspondent à des étapes de votre entonnoir de conversion, par exemple l'ajout d'un produit au panier sachant que la conversion finale est la vente.

Il est plus facile d'augmenter le taux d'une micro-conversion, que d'une (macro-)conversion, et il est donc très tentant de réaliser des tests sur des micro-conversions. Le problème est qu'il faut AUSSI mesurer l'impact sur les macro-conversions quand vous travaillez à un niveau précis de votre entonnoir.

En conclusion

Le A/B testing est une technique indispensable pour valider vos hypothèses d'amélioration, mais il faut des connaissances avancées pour apporter des résultats fiables sur le long terme.

En effet, un entonnoir de conversion peut se comporter comme une balance Roberval c'est d'ailleurs pour cela que nous l'appelons l'effet Roberval: si vous optimisez "trop" d'un côté, cela fait fait baisser l'autre côté : par exemple, si vous sur-optimisez une page par des messages incitatifs mais que la promesse n'est pas tenue sur les pages suivantes, c'est votre taux de conversion global qui va baisser.

Le simple fait de souscrire à des solutions de A/B testing ne vous garantit aucun résultat car l'objectif principal des vendeurs de logiciels de A/B testing est de vous vendre des abonnements sur 12 mois, c'est d'ailleurs pourquoi certains pratiquent la désinformation ou la confusion, mais cela fait l'objet d'un autre article publié ici.