A/B Testing : la faille gênante d'Optimizely en cours de correction
Semaine agitée dans le petit monde de l'A/B testing. Il y a quelques jours, une faille gênante affectant le service Optimizely a été diffusée. Elle permettait de connaître assez facilement les tests menés par les utilisateurs. De quoi par exemple savoir quels chantiers sont en cours sur des sites web ou de s'apercevoir que certains prix peuvent être considérablement réduits lors de certains tests. Parmi les utilisateurs connus de la solution figurent Starbucks, CNN, Healthcare.gov, ou encore GoDaddy, entre autres.
John McLaughlin qui a découvert la faille et l'a transmise au site VentureBeat a même mis en place un site dédié, whatyatesting.com, qui permet de voir les tests et expérimentations en cours sur de nombreux clients d'Optimizely.
La faille est notamment due à un choix de fonctionnement, comme l'explique très bien son concurrent Visual Website Optimizer qui ne s'est pas privé de publier un long article détaillant cette vulnérabilité : "Le problème vient du fait qu'Optimizely utilise un CDN fait pour du contenu statique afin de servir le fichier JavaScript qui réalise les changements des A/B tests", résume le rival. Ce dernier a néanmoins ensuite mis à jour son article pour bien souligner qu'il était aussi possible d'avoir des informations concernant les tests réalisés avec sa solution, comme avec la plupart des outils d'A/B testing reposant sur des JavaScripts s'intégrant avec des outils analytics, mais dans une moindre mesure.
Plusieurs jours après la divulgation de la vulnérabilité, Optimizely a réagi. Sans vraiment reconnaître une faille, la jeune pousse admet toutefois aujourd'hui que "certains de ses utilisateurs peuvent préférer" que leur expérimentations soient moins compréhensibles. L'éditeur explique ainsi travailler sur de "nouvelle possibilités" qui "permettront de mieux gérer les informations inclues dans la librairie JavaScript d'Optimizely". Elles doivent être "bientôt" disponibles.
Optimizely nous a aussi fait parvenir un commentaire tenant à souligner qu'"Optimizely n'était pas le seul affecté par ce problème". Visual Website Optimizer a d'ailleurs en effet aussi promis d'apporter des changements similaires à son outil.
Edit. Article édité pour intégrer la mise à jour de Visual Website Optimizer et le commentaire envoyé par Optimizely. Ce dernier a aussi révélé dans la foulée les 3 nouvelles options qui doivent permettre de donner plus de contrôle quant à la façon de gérer et montrer les expériences.