Rufus, le chatbot d'Amazon qui ferait mieux de se taire
Rufus, le chatbot IA d'Amazon inauguré le 1er avril 2024 aux Etats-Unis, est enfin arrivé en France, mais en accès restreint. Depuis le 29 octobre dernier, une poignée de clients de l'application Amazon peuvent en bénéficier dans l'Hexagone. Le JDN a pu le tester et vous livre ses conclusions… un peu salées.
D'abord, petit rappel. La promesse de Rufus est classique : le chatbot se veut un assistant de shopping alimenté par une IA générative formée sur le catalogue Amazon et des informations disponibles sur Internet. Rufus est une aide en avant-vente pour répondre aux besoins du client, le renseigner sur les caractéristiques des produits, avec l'objectif louable d'augmenter le taux de conversion. Mais encore faut-il que l'expérience utilisateur soit à la hauteur.
Des avis clients génériques… et faux
Pour jauger la pertinence de Rufus, nous demandons depuis la page d'accueil de l'application une sélection de cadeaux pour une jeune maman. Question : "Ma sœur vient d'avoir un enfant, que puis-je lui offrir qui soit utile ?". En réponse, l'IA fait montre d'une bonne compréhension du langage naturel et fournit une sélection pertinente.
Nous jetons notre dévolu sur la bougie parfumée Diptyque Feu de Bois (oui, on aime ça). Là encore, tout se passe bien. Rufus nous indique sans problème le prix, la taille ou la durée de combustion et compare même ces caractéristiques avec d'autres gammes ou tailles de bougies. Ensuite… il dérape.
Comme nous souhaitons en savoir toujours plus (après tout, c'est un cadeau), nous interrogeons le chatbot sur les avis des clients. Dans un premier temps, Rufus refuse de répondre, ni même de donner la note moyenne du produit. Un élément qui pèse pourtant dans la décision d'achat. Nous insistons : "Quels sont les avis négatifs pour la bougie Dyptique Feu de Bois ?". Surprise, Rufus finit par donner une synthèse des avis négatifs (malgré notre faute de frappe sur le nom de la marque). Mais ces avis semblent très génériques.
Méfiant (on est comme ça), nous posons la même question pour la bougie feu de bois de la marque Yankee Candle. Résultat, les avis négatifs cités sont identiques : prix trop élevé et parfum peu prononcé. Comble de notre échange : cette référence n'est même pas vendue sur Amazon.fr ! Quand nous demandons à l'IA "Où as-tu trouvé ces avis ?", elle reconnaît son erreur : "Je ne peux pas fournir d'informations détaillées sur les avis négatifs pour ces bougies spécifiques. Cependant, en général, les avis négatifs sur les bougies parfumées…"
Les avis donnés par Rufus sont donc les commentaires négatifs généralement émis pour des bougies parfumées, sans que cela soit précisé de prime abord. La marque Diptyque, qui vend ses produits près de 100 euros, appréciera d'être mise dans le même panier que Yankee Candle et ses prix tournant autour de la trentaine d'euros.
Constat similaire chez L'Oréal ou Philips
Afin de nous assurer que le problème n'était pas une exception, nous avons réitéré l'expérience sur d'autres produits tels que le shampoing L'Oréal Professionnel Absolut Repair et la centrale vapeur Philips PerfectCare Compact Plus.
Cette fois, Rufus se montre plus coopératif et délivre directement des avis négatifs. Le parfum du shampoing L'Oréal serait trop prononcé selon les clients. Après vérification dans la section avis, nous avons constaté qu'une vingtaine de clients ayant laissé des notes de une ou deux étoiles critiquaient un shampoing asséchant rendant le démêlage difficile. D'autres ont constaté des chutes de cheveux. Seuls trois clients ont signalé une senteur qui n'était pas à leur goût. Là encore les informations fournies par Rufus ne semblent donc pas représentatives de la réalité. Quand on interroge le chatbot sur la source de ces avis, il botte en touche :
Même constat pour la centrale à vapeur compacte de Philips. Les avis négatifs avancés par Rufus portent sur un réservoir d'eau trop petit et un poids trop élevé. Alors même que le modèle se limite à 400 grammes et que le réservoir d'eau atteint 1,5 litre. Plutôt des points forts donc.
Une nouvelle fois, pour en avoir le cœur net, nous avons examiné la section avis de la fiche Amazon. Si les commentaires mentionnent une fonctionnalité vapeur tombant rapidement en panne ou un manque de réglage de la chaleur, ainsi que des traces laissées sur certains vêtements, personne ne reproche au produit son poids ou sa contenance. Mais alors comment expliquer ces avis généraux qui peuvent porter préjudice aux marques ?
Plutôt que des réponses, nous voici avec quelques questions. Sans doute l'IA a-t-elle accès aux informations du produit (taille, poids, prix…) dans la base de données car elles sont contractuelles (donc identiques d'une fiche produit à l'autre). En revanche, est-ce le cas des avis clients ? Un même produit étant vendu par plusieurs vendeurs, n'est-il pas trop complexe d'agréger et résumer des commentaires présents sur différentes fiches ? Et ces avis évoluant tous les jours, l'entraînement du chatbot se fait-il en temps réel ?
Pour le savoir, nous avons contacté Amazon, qui n'a pas souhaité répondre précisément à nos questions. Cependant le marchand nous assure que le chatbot, encore en version bêta, a été entrainé à partir des centaines de millions de produits du catalogue Amazon, mais aussi des avis clients, des questions-réponses de la communauté et des données accessibles au public sur le Web. "Rufus apprend et s'améliore en continu, et les retours des clients sont le meilleur moyen d'améliorer l'expérience de chacun", rappelle un porte-parole d'Amazon. Les clients sont invités à donner leur avis en notant les réponses de Rufus, et ont également la possibilité de laisser des commentaires libres.
Dernière chance
Pour donner une dernière chance à l'assistant shopping, nous avons tenté une autre approche. Plutôt que de débuter la conversation depuis la page d'accueil, nous interagissons directement depuis la section avis du shampoing L'Oréal Professionnel Absolut Repair.
Comme il le fait systématiquement, le bot propose une question : "Quels sont les avis des clients au sujet de ce produit ?". Convaincu d'avoir enfin une réponse fiable, nous cliquons... pour apprendre que Rufus ne trouve pas d'informations détaillées. Le chatbot nous a donc proposé une question à laquelle il avoue ne pas savoir répondre.
Après une bonne nuit de sommeil, nous renouvelons l'expérience sur la même fiche produit. Impossible de se résoudre à un échec. Bonne nouvelle, Rufus semble retrouver la raison et fournit cette fois-ci un résumé fiable des avis clients : "les avis sont partagés concernant le prix, l'hydratation et son effet sur les cheveux secs".
Une réponse enfin correcte qui ne nous fera pas oublier un autre exploit du chatbot, qui nous a proposé la veille des "produits populaires" de la catégorie shampoing : des barres de toit de la marque Thule… Tais-toi Rufus.