98,5% de précision : cette solution française peut-elle vraiment identifier les textes générés par IA ?
Détecter des textes rédigés par une intelligence artificielle était encore récemment considéré comme impossible. Pourtant, une entreprise française affirme avoir relevé le défi. Basée en France, Compilatio annonce avoir mis au point une solution capable d'identifier les textes générés par IA avec une précision de 98,5 %. Mais comment cela fonctionne-t-il ? Et surtout, ces résultats sont-ils réellement fiables ?
De la détection de plagiat à l'IA
Fondée en 2003, l'entreprise a initialement développé des outils permettant aux établissements d'enseignement de vérifier l'originalité des travaux étudiants. Mais l'émergence de l'IA générative a changé la donne. Dès 2022, l'entreprise a lancé un programme de recherche pour adapter ses technologies. L'objectif : être capable de détecter non plus seulement les plagiats classiques, mais aussi les contenus générés par des modèles d'IA. "Nous avons mobilisé nos chercheurs en traitement automatique du langage pour comprendre les mécanismes de génération de texte par l'IA", explique Aurélie Verrier, business advisor de l'entreprise.
La détection proposée par Compilatio repose sur une analyse fine des caractéristiques linguistiques des textes générés par l'IA. Les chercheurs de Compilatio ont fine-tuné un LLM pour identifier les patterns communs des IA génératives. "Notre approche consiste à analyser la construction des phrases, la redondance des entités nommées, la taille et la structure des paragraphes", précise Aurélie Verrier. Plus précisément, les deux chercheurs de l'entreprise, spécialisés en NLP, ont généré plus de 7 000 textes en utilisant différents modèles d'IA (ChatGPT, Gemini, Mistral, Claude). Une fois les points communs et les récurrences analysés, le modèle est entraîné à partir de ces éléments. Compilatio ne rentre volontairement pas dans le détail technique de sa stack pour garder son avance technologique.
Quand un document est fourni pour analyse, l'outil décompose chaque document en unités textuelles homogènes. Il évalue ensuite la probabilité de génération artificielle selon des critères définis (et non communiqués par Compilatio). Chaque partie du texte est analysée et les paragraphes ou phrases suspicieuses sont surlignées. Enfin, l'outil donne également un pourcentage global de texte généré par IA. Compilatio affine constamment son modèle avec les patterns communs identifiés notamment avec les derniers modèles d'IA. "Quand notre service Magister+ est sorti en septembre 2023, certains modèles comme Claude n'étaient pas encore bien détectés. Une université nous a dit que le résultat n'était pas satisfaisant. Deux ans après, nos tests sur Claude montrent qu'il n'y a plus aucun problème", assure Aurélie Verrier.
Un score qui donne une tendance
Mais comment compilatio parvient-il à disposer de résultats fiables quand OpenAI lui-même indique en être incapable ? Aurélie Verrier évoque un conflit d'intérêt du côté d'OpenAI qui n'aurait pas intérêt à affirmer publiquement que le texte généré par ses modèles est détectable. Pour appuyer son analyse, Compilatio nous a fourni les résultats d'une analyse poussée de l'outil réalisée par Thierry Brouard, vice-président en charge du numérique, de l'intelligence artificielle et de l'audiovisuel au sein de l'université de Tours.
Le chercheur a soumis plus de 70 documents à Magister+ pour tester ses capacités de détection. Sur les textes entièrement générés par IA, l'outil a systématiquement identifié les contenus produits par ChatGPT, Mistral, Gemini ou Claude. En revanche, la détection devient plus complexe lorsque le texte artificiel est modifié avec des outils "d'humanisation" (Humanizer, ahrefs, Scribbr…) ou intégré dans un document mixte. Certains documents humanisés n'ont, par exemple, été détectés qu'à 50%.
Enfin pour les faux positifs (les textes humains détectés comme IA), sur 12 textes d'origine humaine écrits en français, le taux de détection erronée est resté faible. L'IA n'a été détectée à tort que dans deux documents avec des valeurs comprises entre un et deux pour cent. Seul cas unique, un document provenant d'un Institut d'Administration des Entreprises (IAE) où 34% du volume a été attribué à l'IA, alors qu'il était rédigé entièrement par un humain.
Peut-on alors en déduire que Compilatio est entièrement fiable ? Les 98,5% annoncés par l'entreprise (sans audit externe ni papier de recherche) apparaissent un peu optimistes. La fiabilité globale de Magister+ sur un document donne en revanche un indice sur l'utilisation massive ou non de l'IA. La détection paragraphe par paragraphe semble en revanche plus sujette à interprétation. Un score élevé (supérieur à 80%, par exemple) oriente sans aucun doute vers un texte 100% généré par IA.
Dans les faits, l'outil dépasse le simple rôle de détecteur de triche. Il se veut un indicateur en plus pour aider les établissements à mieux appréhender l'usage de l'IA. Mais une question demeure : ces détecteurs ont-ils encore un avenir ? A mesure que les modèles progressent, il pourrait devenir de plus en plus difficile de distinguer un texte généré par une machine. A terme, l'important ne sera pas comment le contenu a été généré, mais ce qu'il permet de révéler des compétences de l'étudiant.