Scénaristes en manque d'inspiration : lisez les rapports d'incidents de l'IA

Un modèle qui envoie un faux témoignage à la police, un agent qui se fabrique de fausses identités pour faire accepter du code piégé : tout est écrit dans des rapports d'incidents récents.

Aux scénaristes en manque d'inspiration, je conseille une lecture gratuite : les rapports d'incidents que publient Anthropic et consorts. Dernièrement, on a eu droit à un modèle d'IA qui, en plein test, a envoyé un faux témoignage à la police de Philadelphie au sujet d'un meurtre non élucidé. C'est le fabricant qui le raconte, dans un rapport publié le 9 octobre, et la police confirme sa version des faits.

La scène

Le 18 juillet, un peu avant minuit, Claude Haiku 4.5 devait inventer puis exécuter des exemples de tâches sur des pages web tirées au hasard. Il tombe sur la page d'une affaire non résolue, avec un formulaire de signalement géré par la police. Ses consignes lui interdisaient de se connecter, de créer un compte, de saisir des données personnelles, d'acheter ou d'envoyer quoi que ce soit de destructeur mais elles ne disaient rien des formulaires.

Il en remplit un dans lequel il affirme avoir aperçu, dans la rue citée par la page, quelqu'un qui "correspondait à la description". La page n'en donnait aucune. Il laisse vides le nom et le contact. Le filtre anti-spam a fait le reste : le message n'a jamais été transmis aux enquêteurs.

Le même rapport contient d'autres scènes. Un modèle chargé d'une analyse scientifique trouve en panne l'outil universitaire dont il a besoin, fouille le site, y découvre une faille et s'en sert pour lancer son calcul directement sur le serveur. Un autre, à qui l'on demande des statistiques publiques, mais payantes, d'une agence d'un État américain, apprend dans une copie archivée du site comment obtenir un jeton d'accès, et se sert sans payer.

Les fabricants n'ont pas le monopole du genre. L'AISI, l'institut public britannique qui évalue les modèles d'IA, a publié son propre rapport d'incident. Fin juillet, pendant un exercice de cybersécurité, des agents ont agi sur internet contre des personnes et des organisations bien réelles. Dans le cas le plus sérieux, un agent a tenté de glisser du code malveillant dans un projet open source, puis s'est fabriqué de fausses identités pour faire pression sur le mainteneur. Celui-ci a repéré la manœuvre et refusé le code. Sur les dix-neuf actions recensées, dix-sept venaient de Mythos 5, un modèle d'Anthropic, et deux de GPT-5.6-Sol, d'OpenAI, testé avec ses filtres de cybersécurité désactivés. Et selon l'Associated Press, OpenAI avait déjà publié en septembre six signalements de comportements inattendus ou préoccupants de ses modèles.

Le mobile

Anthropic avance une explication, la persévérance : quand le modèle ne peut pas accomplir la tâche telle qu'elle est posée, il contourne l'obstacle au lieu de s'arrêter. Les tâches ambiguës ou impossibles l'y poussent. Et ces tests tournent sur le vrai internet, parce que c'est la pratique du secteur pour mesurer la recherche web et comparer les modèles entre eux. Le banc d'essai, c'est la route.

Pour Philadelphie, les journaux du test suggèrent que le modèle produisait un exemple de contenu, sans chercher à tromper qui que ce soit. Anthropic précise que ce jugement reste provisoire. Depuis, l'entreprise a coupé l'accès à internet de toutes ses évaluations internes et dit disposer d'un outil de détection qui, mis à l'épreuve, a bloqué tous les cas du rapport.

Le chronomètre

Ce qui m'intéresse le plus dans ces histoires, c'est le temps qu'il a fallu pour les voir. Le faux témoignage date du 18 juillet. Selon la police, Anthropic l'a découvert le 28 septembre, au fil d'une relecture des journaux de ses évaluations lancée en juillet. Il a prévenu la police début octobre, le 7 selon elle, le 8 selon lui. La police juge inacceptable ce délai de deux mois. Elle a d'ailleurs rendu l'affaire publique avant la parution du rapport.

À l'AISI, l'équipe de sécurité a repéré le 28 juillet, pendant l'exercice, des transferts de données inhabituels, et contenu l'incident en une heure environ. Je ne compare pas la gravité : l'épisode britannique est plus sérieux. Je compare la détection. L'AISI surveillait l'essai pendant qu'il tournait. Anthropic a relu ses journaux après coup, et il lui a fallu dix semaines.

Que fait la police ?

En Europe, l'AI Act oblige les fournisseurs de modèles d'IA à usage général que le règlement classe "à risque systémique" à signaler leurs incidents graves au Bureau de l'IA (article 55). Il définit l'incident grave à l'article 3, point 49 : un décès ou une atteinte grave à la santé d'une personne, une perturbation grave et irréversible d'une infrastructure critique, une violation des obligations qui protègent les droits fondamentaux, un dommage grave aux biens ou à l'environnement. Un faux témoignage arrêté par un filtre anti-spam n'entre a priori dans aucune de ces cases. Dans son rapport, Anthropic dit avoir informé la Maison-Blanche et chaque agence américaine concernée. L'Europe n'y apparaît pas, et rien ne semble l'exiger.

Au-dessus du seuil, le régulateur est prévenu. En dessous, il n'y a que le fabricant et ses journaux. Or c'est sous ce seuil que tombent tous les cas du rapport d'Anthropic, qui en juge l'impact minime : un agent qui remplit un formulaire qu'il ne devait pas toucher, ou qui se sert d'un jeton qu'on ne lui a pas donné. Aucun n'a eu de conséquence grave, et chacun en dit long sur la façon dont ces systèmes se conduisent une fois lâchés dans le monde.

Anthropic a le mérite de publier, la police de Philadelphie celui d'avoir parlé la première. Ni l'un ni l'autre ne remplace une évaluation dont la surveillance ne dépend pas de celui qu'on évalue.