AI fact checking : 3 outils pour vérifier la qualité des textes générés par l'IA
Après l'IA générative pour générer des textes, voici l'IA pour contrôler la véracité des faits générés par celle-ci. Dernier exemple en date, une technologie fournie par Google à de petits éditeurs. Elle permettrait d'exposer la fiabilité de chaque partie du texte généré en le soulignant en différentes couleurs. La firme de Moutain View explique que ces outils IA ne sont pas là pour remplacer la rédaction, la création et la vérification des journalistes de leurs informations. Mais plutôt pour permettre aux petits éditeurs locaux de produire un journalisme de qualité en utilisant du contenu factuel provenant de sources de données publiques. Cet exemple d'AI Fact checking n'est pas le seul. En voici trois autres.
AI + Fact Checking, les résultats des moteurs de recherche comme sources
Un des derniers nés de la R&D de Semji se nomme l'AI + Fact checking. Il doit permettre de réduire le risque d'hallucinations des textes générés par l'IA. En quelques secondes, la technologie propose un système de couleur pour visualiser rapidement les contenus IA à vérifier.
Le vert est utilisé si la source est identifiée. L'orange ou le rouge, si l'IA n'a pas trouvé de source qui corrobore le fait. L'utilisateur doit alors vérifier l'information par lui-même. Il peut s'aider d'une requête Google générée par AI + Fact checking sous forme de question en lien avec le passage surligné. Objectif : permettre à l'utilisateur de vérifier directement le fait dans la SERP.
Comment cela fonctionne ? L'outil identifie dans le texte quelles sont les affirmations objectives comme "Ce logiciel est sorti en 2022", ou subjectives, comme "Ce logiciel est génial". Il vérifie ensuite les faits repérés, grâce à ce que l'agence nomme des "sources tiers autorisées". " Elles s'obtiennent en crawlant les résultats des moteurs de recherche : le titre ainsi que l'extrait du contenu", expliquent Nicolas Nguyen, et Julien Gensollen, respectivement cofondateur et Product Owner chez Semji. La société s'appuie sur la capacité des moteurs de recherche à remonter dans leurs résultats des sources d'informations reconnues et pertinentes. " Nous nous basons sur ces informations pour faire corroborer un texte généré avec une source. "
Semji est une solution à destination des moyens et grands comptes. Actuellement en version bêta, AI+ Fact Checking est disponible sur l'ensemble des licences, en fonction du volume de Crédits IA.
Factiverse, une technologie brevetée et ChatGPT
Persuadée que la prochaine vague d'IA amènera à travailler sur la confiance d'un texte généré par cette technologie, la société norvégienne Factiverse utilise l'apprentissage automatique avancé pour analyser le contenu. Trois couleurs surlignent là aussi différentes parties du texte : "Etayé" en vert, "Mixte" en jaune et "Litigieux" en rose. Il est possible de sélectionner une partie du texte non surlignée et de l'analyser.
La recherche s'effectue en temps réel dans les sources provenant de Google, Bing, Wikipedia et Wikidata. Selon la société, l'outil est aussi formé sur des articles provenant de médias d'informations réputés et de vérificateurs de faits certifiés. Il offre aux utilisateurs des liens directs vers ces sources.
"Notre avantage concurrentiel réside dans notre technologie brevetée et basée sur la recherche, qui surpasse les principaux LLM tels que Mistral 7B et GPT-4 dans des tâches telles que la détection d'allégations et la prédiction de la véracité", livre Gaute Kokkvoll, head of product chez Factiverse. "Nos modèles sont construits à partir de zéro et basés sur des données d'entraînement de haute qualité, provenant d'organisations de vérification des faits certifiées par l'IFCN, l'International Fact-Checking Network. Nous sommes donc en mesure d'ajouter une couche d'explicabilité et de traçabilité à notre IA que les LLM tels qu'ils fonctionnent aujourd'hui ne peuvent pas reproduire."
D'après la société, il est possible de poster un texte dans plus de 40 langues. Elle déclare que son outil fonctionne mieux sur les grands sujets d'actualité. Selon nos tests, la fonctionnalité marche mieux en anglais qu'en français. L'outil offre aussi un accès à ChatGPT. Il doit permettre de "traduire le résultat de la vérification des faits dans un langage quotidien compréhensible."
Factiverse peut être intégré en tant qu'API à une application, une plateforme ou à un CMS. L'outil propose un essai gratuit de 14 jours, dans ChatGPT et AI Editor. Le forfait payant actuel est de 10 euros par mois, avec une limite de 3 000 caractères par demande. La version pro, à 239 euros par an, présente une limite de texte à 10 000 caractères par demande.
Factinsect, sous forme de plugin
L'entreprise autrichienne parle d'un outil "formé de manière impartiale, totalement transparente et qui suit les lignes directrices éthiques de l'Union européenne pour une IA digne de confiance." Là aussi, la fiabilité d'une partie du texte est confirmée ou non par un code tricolore. La couleur verte signifie qu'une source "fiable" a confirmé l'information. Rouge que la déclaration est réfutée ou partiellement réfutée par d'autres sources. Gris, que Factinsect n'a trouvé aucune source sur ce sujet.
La promesse de Factinsect est de comparer le contenu du texte avec des médias sélectionnés "de qualité". "Pour l'instant, nous utilisons des médias de référence qui suivent le code d'honneur de la presse autrichienne", déclare Romana Dorefer, cofondatrice de Factinsect. "Bientôt, nous ajouterons des publications scientifiques comme sources de comparaison. Notre spécificité est que nous pouvons comparer une affirmation avec des sources dans différentes langues."
Factinsect s'adresse principalement aux entreprises de médias, aux journalistes, aux créateurs de contenus, aux écoles, aux administrations et aux établissements publics. Disponible notamment en anglais, il pourrait être proposé en français dans les prochains mois. "Nous utilisons déjà des modèles de machine learning qui fonctionnent pour de nombreuses langues. Ce ne serait donc pas très compliqué de proposer Factinsect en français", explique Romana Dorefer.
L'outil se présente sous forme de plugin sur les navigateurs de bureau Chrome, Firefox et Edge. Il est possible de le tester gratuitement depuis le navigateur de bureau. "Nous proposons actuellement Factinsect gratuitement aux utilisateurs privés. Nous ne sommes pas encore sûrs qu'il existe un marché pour le fact checking", précise Romana Dorefer.