A/B testing et Personnalisation, le jeu des 7 différences

L’A/B testing et la personnalisation sont deux pratiques qui visent le même objectif : l’optimisation de la conversion. Mais, il existe des différences majeures qu’il faut connaître pour être en position de succès dans chacun des domaines.

Nous avons tous au moins joué une fois au jeu des 7 différences, ce jeu où deux figurines en apparence parfaitement semblables masquaient des différences plus ou moins difficiles à trouver. On peut appliquer l’image à l’A/B testing et la personnalisation : les deux pratiques visent le même objectif (l’optimisation de la conversion), mais il existe des différences majeures qu’il est nécessaire de bien connaître pour être en position de succès dans chacun des domaines. Si vous êtes adeptes des deux pratiques, vous savez sans doute déjà les identifier. Pour les autres, les voici pour vous lancer sans risque !

1/ Ergonomie vs. Proposition de valeur : L’A/B testing et la personnalisation ont des terrains de jeu assez marqués. L’A/B testing est privilégié pour l’amélioration de l’expérience utilisateur (qualité de la navigation, mise en avant des éléments graphiques, ergonomie, etc.) afin de dynamiser son site alors que la personnalisation vise à améliorer la proposition de valeur de son offre (avec des contenus et des messages adaptés à chacun de ses segments visiteurs). 

2/ Enjeu opérationnel vs. stratégique : C’est une différence fondamentale. Quand on parle A/B testing, on parle d’une pratique qui se confond rapidement avec la technique : on diffuse deux versions d’une même page de manière aléatoire (dont l’une a été préalablement modifiée) à une audience représentative et on regarde quelle version a le meilleur taux de conversion. La pratique vise à comparer deux choix ergonomiques (modification d’une page, du parcours, etc.). La méthodologie est similaire d’une entreprise à une autre, quel que soit le domaine d’activité observé.

A l’inverse, la personnalisation de la relation client « on site » ne va pas s’exprimer de la même façon selon les objectifs, la typologie et le domaine d’activité de l’entreprise.

Pour certaines, l’analyse en amont de leur audience va être capitale pour identifier les segments les plus prometteurs (le « qui ? ») alors que pour d’autres, l’objet de toutes les attentions sera porté sur des triggers d’action très évolués indépendamment de la cible, en fonction par exemple du prix observé par le visiteur ou d’une réponse à un questionnaire (le « quoi ? »). Pour résumer, la personnalisation requiert un alignement de la pratique avec les objectifs métier et les cibles de l’entreprise.

Notons au passage que la personnalisation est souvent définie par erreur comme une « simple » action (afficher une pop-in, un bandeau, un sticky header, etc.) alors que c’est une pratique qui implique une démarche globale (dont nous parlons plus en détail dans cet article).

3/ Ne démarrez pas de la même manière ! Constat sur le site vs. Constat visiteur : La modification ergonomique d’une page ou du parcours client est le centre d’attention de l’A/B testing : on commence par identifier ses zones potentielles de sous-optimisation afin de créer une ou plusieurs variantes que l’on va ensuite analyser. La personnalisation, elle, se pilote par segments visiteurs. C’est une évidence pour les marketeurs : on ne définit pas un parcours utilisateur ou une offre pour s’interroger ensuite sur la cible à laquelle on la destine. Quand on personnalise, on part toujours de la connaissance client : on adapte ses offres et ses messages à ses cibles, pas l’inverse.

4/ Séquentiel vs. Concomitant : Il est fortement recommandé en A/B testing de mener ses tests séquentiellement afin de ne pas créer de « bruit » dans l’analyse d’un test. De fait, en dehors de certaines situations spécifiques, on lance généralement ses tests l’un après l’autre. A l’inverse, les adeptes de la personnalisation réalisent beaucoup d’expériences personnalisées en parallèle qu’il est nécessaire de piloter. Personnaliser son site, c’est créer des expériences optimisées selon différents segments ; il arrive alors couramment qu’un même individu qui appartienne à deux segments différents soit de fait exposé à plusieurs personnalisations. Il sera alors nécessaire de prioriser et de scénariser ses actions.

5/ Exploiter ses données utilisateurs vs. Travailler l’ergonomie de son site : Une plateforme CRM ou DMP n’est pas indispensable pour faire de la personnalisation on-site. En revanche, elle enrichit fortement la connaissance client avec des données client existantes (de type socio- démographiques) ou off-site (achats en magasin). C’est pourquoi il est pertinent de s’appuyer sur elle pour élargir l’éventail des segments auxquels s’adresser et maximiser ses possibilités d’expérience personnalisées. Peu de pertinence en revanche pour l’A/B testing dont la pratique n’est pas enrichie par une connexion à une base clients à moins que l’on souhaite tester spécifiquement une modification ergonomique ou une nouvelle fonctionnalité sur un segment de cette base. Mais dans les faits, nous observons très peu ce type de cas.

6/ On n’analyse pas de la même façon (Significativité statistique vs. Groupe témoin) : L’A/B testing consiste à déterminer laquelle des variantes est la plus performante. Pour identifier une éventuelle variante gagnante avec certitude, il convient de le faire avec un taux de significativité statistique supérieur à 95% car à l’arrivée, une, et une seule version sera conservée dans la durée. A l’inverse, une démarche de personnalisation n’implique pas (forcément) de suivre une valeur statistique. Les expériences personnalisées sont parfois temporaires : on recherche une augmentation des conversions sur un laps de temps donné. Dans d’autres cas, l’objectif est la fidélisation client, sans recherche d’une conversion court terme. C’est pourquoi on mesure la personnalisation en comparant l’expérience avec un groupe témoin plutôt qu’en recherchant une significativité statistique.

7/ Terrain vs. Exécutif : Parce qu’elle concerne très majoritairement l’ergonomie du site et aussi parce que ses résultats sont validés par la significativité statistique, l’A/B testing permet de ramener la décision au plus près du terrain, un avantage considérable dans un contexte de forte pression du « time-to-market ». Ce n’est pas le cas pour la personnalisation dont le sujet est intimement lié au métier et à la stratégie marketing de l’entreprise : la direction marketing et/ou e-commerce doit rester fortement impliquée et coordonner l’ensemble des actions on-site pour qu’elles soient en cohérence avec les objectifs globaux.

Conclusion : Bien que les deux pratiques soient complémentaires et visent les mêmes objectifs, l’A/B testing et la personnalisation présentent des différences majeures.