Voici les KPI essentiels pour mesurer la performance de ses bots
Les chatbots sont encore rares mais leurs performances peuvent déjà être mesurées assez finement. C'est même un point crucial pour un spécialiste comme Thomas Sabatier, le CEO de The Chat Bot Factory, à l'origine de plusieurs bots privés (pour BNP Paribas, Pierre Fabre, Auchan…) et de ses propres agents conversationnels sur Facebook Messenger. "Pour un bot, nous conseillons de commencer avec une base fonctionnelle assez simple. Les indicateurs de performance permettront ensuite de bien l'évaluer, et ainsi de mieux cerner ses possibilités d'évolution."
The Chat Bot Factory comme OhMyBot, qui a déjà activé une dizaine de robots en France et à l'international (pour Samsung ou d'autres entreprises asiatiques), ont mis en place des tableaux de bords pour mesurer la performance de leurs bots. Il existe des KPI (pour key performance indicator) communs, mais aussi des indicateurs plus personnalisés, liés au projet. Des KPI qui dépendent aussi de la plateforme sur laquelle le bot est déployé. A ce sujet, "c'est sur Facebook Messenger que se trouve l'essentiel de notre marché", précise Thomas Guenoux, COO et cofondateur de OhMyBot.
Le nombre d'utilisateurs est l'indicateur le plus évident : "il correspond au visiteur unique d'un site web", compare Thomas Guenoux. Le tableau de bord fourni par The Chat Bot Factory fait aussi remonter le nombre de nouveaux utilisateurs. En revanche, pas question de tout savoir sur chacun d'eux. Facebook limite les informations auxquelles les robots vont pouvoir accéder. "Il ne s'agit que des informations publiques, c'est-dire souvent pas grand-chose : le nom et le prénom. La date de naissance n'est par exemple pas fournis sans opt-in de l'utilisateur, ce qui limite les statistiques que l'on peut obtenir", prévient le COO de OhMyBot.
S'intéresser aux étapes-clés
Ensuite, au sein de la discussion entre l'utilisateur et le robot, il est possible de mesurer la durée de l'échange et le nombre de messages ou de phrases. Le nombre d'utilisations ou de messages par utilisateur est aussi intégré au tableau de bord de The Chatbot Factory. "Les clics sur les médias riches, comme les vidéos ou les images, peuvent aussi être trackés", précise le CEO de The Chat Bot Factory. La conversation passe souvent par des étapes-clés imaginées en amont, car les robots suivent régulièrement un arbre de décision. "Il sera dans ce cas possible de faire remonter des statistiques sur les étapes atteintes, et de mieux analyser les usages et les chemins parcourus par les utilisateurs. Les étapes les plus problématiques, avec des taux d'abandon élevés, pourront apparaître clairement, ce qui aidera à améliorer le bot", observe Thomas Sabatier.
L'indicateur du taux de conversion sera enfin surveillé avec attention. Cette étape ultime peut se réaliser sur Messenger… ou sur le site. Thomas Guenoux préfère rester sur Messenger "afin de proposer une expérience intégrée, rapide et sans friction, c'est d'ailleurs celle qui est encouragée par Facebook". Mais il est aussi possible d'essayer d'envoyer l'utilisateur vers un site web, en lui faisant cliquer sur un lien. Le trafic provenant de ce lien pourra alors être suivi avec un outil de Web Analytics comme Google Analytics. De quoi enrichir les indicateurs mesurant la performance des bots.
Une fois le dialogue terminé, le chatbot peut relancer la conversation, sous certaines conditions : "cela doit être fait dans les 24 heures, car, au-delà, il n'y a qu'une seule tentative possible impose Facebook, pour éviter que les bots soient trop intrusifs", explique Thomas Guenoux. De quoi générer de nouveaux indicateurs : taux de rétention et de réengagement, nombre moyen de réengagements, ou encore délai moyen entre les réengagements pourront donc aussi être suivis.
Si un socle de KPI peut être commun à tous les bots, des indicateurs plus personnalisés peuvent être mis en place. Par exemple, si le bot doit conseiller l'utilisateur sur les programmes télé, des statistiques sur le type de programmes télé recommandés peuvent être mis en place. Une démarche qui vaut pour les produits qu'un bot va pousser. D'ailleurs, des e-commerçants ont déjà commencé à explorer le potentiel des bots en matière de recommandation de produits (Auchan, avec du vin notamment). Le chatbot d'un assureur envoyant des devis personnalisés pourra quant à lui générer des statistiques sur le périmètre et le montant des devis envoyés.
Analyses des sentiments et de l'humeur
Un autre champ à analyser porte sur les verbatim de l'utilisateur. Des analyses peuvent être réalisées sur leur humeur et leurs sentiments. Chez The Chat Bot Factory, cinq niveaux de satisfaction de l'utilisateur du bot sont distingués, de "très content" à "très mécontent" : "Chaque phrase est étudiée pour déboucher sur une analyse macro cherchant à mesurer la satisfaction globale de l'utilisateur", détaille le CEO. Du côté de OhMyBot, le corpus des réponses est aussi analysé, mais le traitement automatique est couplé à une analyse humaine. "Car si la satisfaction ou l'insatisfaction globale peut être assez facile à apprécier dans de nombreux cas, il existe souvent des nuances que seul l'humain pourra percevoir et interpréter correctement", remarque Thomas Guenoux, inspiré par les pratiques des community managers.
Dernière possibilité : un indicateur mettant en avant la proportion de messages peu compris pourra être mis en place. "S'intéresser aux messages mal compris est particulièrement utile. Cela permet de faire progresser les aptitudes du robot en améliorant sa compréhension", explique le CEO de The Chat Bot Factory. Sur ce sujet, Thomas Guenoux tient à tordre le coup à certaines idées reçues. "Aujourd'hui, les bots comprennent assez peu le langage naturel. En réalité, la plupart des bots qui ont été mis en ligne ont un fonctionnement assez basique et sont limités à poser quelques questions simples, fermées et très dirigées", explique-t-il.
Outre cette limite, le CTO pointe aussi du doigt le problème posé par les questions ouvertes : "Même si 80% des réponses de l'utilisateur sont comprises par le robot il en restera 20% auxquelles il ne répondra pas. Et un utilisateur ne tolérera pas forcément que le chatbot, qui est le représentant d'une marque, ne comprenne pas ce qu'il lui dit. Dans une conversation, chaque mauvaise réponse est de trop". Les humains peuvent en effet être plus durs avec les robots qu'avec eux-mêmes.