La réussite du Test Turing par l'ordinateur Eugene remise en question
Lundi dernier, une nouvelle a fait grand bruit. Baptisé Eugène Goostman, un chatterbot (ou logiciel conversationnel) aurait pour la première fois remporté le fameux Test Turing. Conçu par l'informaticien Alan Turing en 1950, ce test vise à mesurer la faculté d'une machine à imiter la conversation humaine.
Pour le valider, l'objectif est de faire croire en un temps imparti (ici de 5 minutes) à un panel de juges qu'un échange à distance est réalisé avec un humain réel et pas ordinateur. L'épreuve était organisée par l'université anglaise de Reading et la Royal Society, et pour être remportée convaincre au moins 33% des juges présents.
La réussite du test par Eugène Goostman, censé être un adolescent de 13 ans, a été largement commentée. Aujourd'hui, elle est remise en cause par plusieurs chercheurs. La plupart d'entre eux pointent notamment le fait que le test en question ne serait pas un véritable Test Turing. Plusieurs éléments méthodologiques auraient contribué à le biaiser. En premier lieu, faire passer le soi-disant interlocuteur pour un garçon de 13 ans. Ensuite, le présenter comme non-anglophone de langue maternelle. Pas étonnant dans ces conditions pour les juges de ne pas avoir de réponse à certaines questions, pouvant être considérées subjectivement comme un peu trop complexes, ou un anglais parfois imparfait.
Pour ces chercheurs, le fait de limiter la durée du test à 5 minutes a aussi naturellement contribué à cacher certaines failles. Enfin, le nombre de juges n'étant que de trois, cela laisse songeur sur le caractère vraiment sérieux de ce test (seul l'un d'entre eux devait tomber dans le panneau...).