Quelle erreur êtes-vous prêt à signer ?

Toute intelligence artificielle peut se tromper, et aucun comparatif ne dira laquelle se trompera sur la réponse qui compte.

Imaginons un questionnaire de sécurité qui arrive d’un grand client : une longue liste de questions, une échéance courte. Une équipe le remplit avec l’aide d’une IA, relit vite, et le responsable de la sécurité signe. À la question "les sauvegardes sont-elles chiffrées ?", l’IA a répondu oui, en s’appuyant sur une politique qui a changé depuis. Personne ne l’a vu. Le client, lui, le verra au premier audit. Ce jour-là, la question ne sera pas de savoir si l’IA s’est trompée : elle s’est trompée, comme tout le monde. La question sera : qui a signé, et sur la foi de quoi ?

Ce scénario dit l’essentiel. Une erreur d’IA se rattrape tant qu’elle reste un brouillon ; elle coûte dès qu’une personne l’a engagée sous l’en-tête de l’entreprise. Choisir son IA reste la bonne question ; elle se pose seulement usage par usage, car la même IA, avec le même taux d’erreur, est inoffensive dans une note interne et dangereuse dans une réponse à un client. On ne choisit donc pas une IA pour l’entreprise ; on la choisit pour chaque usage, selon ce qu’une erreur y engagerait.

Quatre niveaux, une seule question

La méthode est celle d’une analyse d’impact, comme pour tout autre risque. Elle tient en une question, posée à chaque usage : si la réponse est fausse et que personne ne s’en aperçoit, qu’est-ce qui est engagé ? Quatre réponses sont possibles. Rien : une note interne, une reformulation, un brouillon relu de toute façon. Du travail : un document à reprendre, du temps perdu, aucun engagement pris. Un engagement : une réponse contractuelle, une déclaration à un client, une offre. Une exposition : un reporting réglementaire, une attestation de conformité, un document produit sous le contrôle d’une autorité.

Le comité de direction n’a pas à estimer ce que coûterait chaque erreur ; aucune source ne le donne à l’avance, et tout chiffre général serait faux dans le cas particulier. Il a à décider, pour chaque niveau, ce que l’entreprise accepte : signer sans vérification, exiger de voir la source, ou refuser de laisser une machine produire. C’est une décision de tolérance au risque, et elle se prend usage par usage, non une fois pour toutes pour "l’IA".

À chaque niveau, son outil

Pour les deux premiers niveaux, une IA générative grand public convient, dans les limites de ce que l’on peut lui confier sans risque, et je ne conseillerais à personne de s’en priver : là où rien n’est engagé, la vitesse suffit.

Pour les deux autres, la vitesse n’est plus le critère, et trois exigences la remplacent. Que chaque affirmation cite le document, la page et la version dont elle est tirée, pour que le signataire vérifie d’un regard ce qu’il aurait dû retrouver lui-même. Que le système sache se taire : "les sources ne permettent pas de répondre" vaut mieux qu’une phrase plausible, car devant un auditeur, une réponse absente se complète et une réponse fausse se paie. Et qu’une personne nommée valide, avec une signature tracée.

Une quatrième exigence s’y ajoute : la vérification ne doit pas être confiée au modèle qui a rédigé. Un modèle qui se relit lui-même se corrige mal ; des chercheurs l’ont montré à la conférence ICLR 2024, et une étude plus récente va dans le même sens : la vérification est d’autant plus efficace que celui qui vérifie ressemble moins à celui qui a répondu. Le contrôle revient donc à une autre IA que celle qui a rédigé, spécialisée sur le métier et les documents de l’entreprise : elle vérifie chaque affirmation contre sa source et signale ce qu’il ne peut pas établir. Le désaccord entre les deux ne donne pas la réponse ; il désigne l’endroit où un humain doit regarder. Et ce contrôle s’exécute dans l’espace protégé de l’entreprise, non chez un tiers.

Ce que le comité décide

L’ordre compte. D’abord l’inventaire des usages et, pour chacun, ce qu’une erreur silencieuse engagerait. Ensuite la tolérance, niveau par niveau. Enfin seulement l’outil, dimensionné sur cette tolérance et non sur la démonstration du fournisseur. Ce que l’on obtient n’est pas une IA prudente partout : c’est une IA rapide là où l’erreur se rattrape, et exigeante là où elle engage.

Revenons au questionnaire. Avec cette méthode, la réponse sur les sauvegardes aurait porté la référence de la politique, sa version et sa date ; une seconde IA, ou le relecteur devant cette date, aurait vu que la version citée n’était plus la dernière ; et le responsable de la sécurité aurait signé en sachant ce qu’il signait. La machine se serait trompée quand même. Mais quelqu’un l’aurait su avant le client.