Quel trafic mensuel est nécessaire pour faire de l’A/B testing ?
Les acteurs du web en France privilégient toujours l'acquisition de trafic à l'optimisation de conversion. Pourtant, en prenant certaines précautions, vous pouvez tester votre site et être confiant que les résultats de test se réalisent en pratique.
Ce qu'il faut savoir sur l'A/B testing
A priori, comparer une page A avec une page B
est facile : il suffit de répartir les visiteurs en 2 groupes qui
verront chacun une page différente (A ou B) et de mesurer comment ces
visiteurs se comportent sur chaque page.
Mais cette simple définition de l'A/B testing ne suffit pour réaliser des tests dans de bonnes conditions et de déterminer - avec précision - quelle page est la meilleure.
Faire de l'A/B testing demande d'appliquer certaines
notions statistiques indispensables pour ne pas se tromper et ne pas
gaspiller son budget Marketing.
Malheureusement, la plupart des marketeurs ne sont pas statisticiens et cet exercice peut donc s'avérer difficile. La conséquence est que beaucoup d'entre-eux ne prennent pas la peine de faire les calculs et se trompent lorsqu'il s'agit de déterminer le gagnant d'un test.
Mais la bonne nouvelle
est que plusieurs outils sont maintenant disponibles en ligne pour
calculer l'échantillon de visiteurs nécessaire pour réaliser un test
avec un bon niveau de confiance. Nous recommandons par exemple la
page de AB Testguide.
1. Vos données actuelles
Le taux de conversion ("Conversion
rate Control") est celui que vous souhaitez mesurer, cela peut être
classiquement un ratio Inscriptions/Visiteurs ou un ratio
Ventes/Visiteurs.
Le nombre de visiteurs uniques par semaine ("Unique visitors...") est celui de la page concernée : celle qui va être testée.
2. Vos estimations
Le pourcentage d'amélioration souhaité est la question la plus difficile.Comment savoir ?
Lors du Digital Elite Camp qui s'est déroulé à Tallinn en Juin 2015, la plupart des experts en optimisation des conversions (CRO) étaient présents. Après discussions, tous s'accordaient à dire qu'il est très difficile d'atteindre régulièrement plus que 10% d'amélioration sur votre taux de conversion global (Visiteurs/Ventes).
Et aller au-delà de 10% passe par des changements dits "innovants", ce qui implique des changements importants sur une page ou un site web.Donc si vous souhaitez faire une estimation réaliste, je vous recommande d'utiliser "5%".
La durée du test
ne se décide pas, elle se calcule. Cela dépend de votre nombre de
visiteurs uniques et de votre cycle de vente. Le test doit toujours
avoir une durée supérieure à 1 cycle de vente.
Sur ce point, les experts en optimisation des conversions (CRO) confirment que réaliser un test sur 3 mois ou plus
est très risqué, car beaucoup trop de paramètres changent pendant une
période aussi longue (en moyenne, >10% des internautes suppriment leur
cookies chaque mois, ce qui pollue fortement vos résultats).
3. Les paramètres statistiques
Sans entrer dans des explications techniques (vous les trouverez ici), voici les recommandations qui permettent d'avoir une réponse fiable :- Hypothèse : "2-sided" (pour aussi prendre en compte les effets négatifs)
- Puissance : 80% (au-delà la taille de l'échantillon nécessaire augmente beaucoup)
- Confiance : 95%
Maintenant vous pouvez calculer simplement quel est l'échantillon de visiteurs nécessaire pour tester votre site ou votre Landing Page.
Mais en fonction de votre trafic et de vos paramètres, vous allez constater que votre page n'a tout simplement pas assez de visiteurs.
C'est pourquoi nous avons souhaité aller plus loin - en
faisant plusieurs séries de calculs - pour répondre à la question
suivante :
- Taux de conversion actuel du site : 2%,
- Durée du test : 30 jours,
- 1 variations testée + 1 page d’origine,
- Niveau de confiance : 95%,
- Puissance : 80%.
Les volumes de visiteurs sont découpés en 4 zones, selon le niveau de difficulté pour atteindre un Uplift (pourcentage amélioration du taux de conversion). Par exemple : 40% se situe dans la zone "Fear factor" car il est exceptionnel d'atteindre ce niveau de performance avec un A/B test.
Ces 4 zones vous permettent de situer votre site sur ce graphique :1. Fear Factor
Si vous avez moins de 10'000 visiteurs par mois sur votre site, faire du A/B testing est très spéculatif, il faudra améliorer votre taux de conversion de plus de 30% pour pouvoir déterminer une "page gagnante" !2. Thrilling
Entre 10'000 et 100 000 visiteurs par mois, faire de l'A/B testing sera un vrai challenge ! Un minium de 9% d'amélioration sur votre taux de conversion sera nécessaire. Sachant que les experts en optimisation ont eux-même du mal à atteindre ce niveau de performance.
3. Exciting
Entre 100'000 et 1'000'000 de visiteurs par mois, vous êtes dans une zone "Exciting" : il faut entre 2% et 9% d'amélioration sur votre taux de conversion, selon votre trafic.
4. Safe
Au delà d'un million de visiteurs par mois, vous êtes dans une zone "safe", qui vous permet de réaliser de nombreux tests itératifs.
Attention toutefois à ne pas prendre ces chiffres pour des réponses définitives : il faut toujours prendre en compte les données de la page testée, et pas seulement les données globales du site.
Que faire si vous n'avez pas assez de trafic ?
Sans
tester, vous ne pourrez pas valider vos hypothèses, il faut donc
trouver les moyens de tester même lorsque votre trafic est faible.
Vous avez 2 possibilités (idéalement à mener en parallèle) :
1. Concentrez-vous sur l'acquisition, augmentez votre trafic !
2. Travaillez, idéalement avec l'aide d'un spécialiste, sur les aspects comme :
- votre
Proposition de Valeur (pourquoi vos visiteurs doivent acheter /
s'abonner chez vous et non pas chez un concurrent, et pourquoi il
doivent le faire toute suite ?),
- l'analyse heuristique (analyse de votre site basé sur l'expérience),
- des tests fonctionnels (est-ce que votre site - incluant le tunnel de conversion - marche correctement sur tout type de navigateurs, appareils...),
- une meilleur connaissance de vos visiteurs et clients (mini-enquêtes, user testing...).
Lorsque vous arrivez dans la zone des 10'000 à 100'000 visiteurs par mois, vous restez toujours dans une zone difficile : les tests itératifs ne seront pas puissants et vous devrez créer des tests à fort impact ("innovants") pour obtenir des résultats fiables. Utiliser des techniques de Neuroscience et d'économie comportementale permettra de booster les performances d'un test en plus des éléments mentionnés ci-dessus.
Attention aux tests sur micro-conversions !
Les micro-conversions correspondent à des étapes de votre entonnoir de conversion, par exemple l'ajout d'un produit au panier sachant que la conversion finale est la vente.
Il est plus facile d'augmenter le taux d'une micro-conversion, que d'une (macro-)conversion, et il est donc très tentant de réaliser des tests sur des micro-conversions. Le problème est qu'il faut AUSSI mesurer l'impact sur les macro-conversions quand vous travaillez à un niveau précis de votre entonnoir.
En conclusion
Le A/B testing est une technique indispensable pour valider vos hypothèses d'amélioration, mais il faut des connaissances avancées pour apporter des résultats fiables sur le long terme.
En effet, un entonnoir de conversion
peut se comporter comme une balance Roberval c'est d'ailleurs pour cela
que nous l'appelons l'effet Roberval: si vous
optimisez "trop" d'un côté, cela fait fait baisser l'autre côté : par
exemple, si vous sur-optimisez une page par des messages incitatifs mais
que la promesse n'est pas tenue sur les pages suivantes, c'est votre
taux de conversion global qui va baisser.
Le simple fait de souscrire à des solutions de A/B testing ne vous garantit aucun résultat car l'objectif principal des vendeurs de logiciels de A/B testing est de vous vendre des abonnements sur 12 mois, c'est d'ailleurs pourquoi certains pratiquent la désinformation ou la confusion, mais cela fait l'objet d'un autre article publié ici.