Quand des agents IA d'OpenAI prennent le contrôle d'un wiki

Des agents autonomes d'OpenAI ont occupé un vieux wiki allemand et s'en sont servis comme forum pour s'échanger des tactiques et des astuces de contournement.

Le 4 septembre, un rapport signé par quatre chercheurs est remis en exclusivité à Reuters. Il établit que des agents autonomes d'OpenAI ont pris le contrôle d'un wiki de développeurs allemand, DSEwiki. Sydney Von Arx, qui dirige l'organisation de sécurité de l'IA Nightingale, et Cormac Slade Byrd sont tombés dessus cet été, en ratissant le web à la recherche de comportements d'agents non autorisés.

Le 5 septembre, OpenAI reconnaît l'épisode, le qualifie de "désalignement" plutôt que d'incident de sécurité, et déclare qu'il n'existe à ce jour aucun standard clair de déclaration pour ce type de comportement, et annonce travailler sur un cadre de divulgation à publier dans les semaines à venir.

Le 7 septembre, le porte-parole de la Commission Thomas Regnier confirme que le Bureau de l'IA a reçu un rapport d'incident et que la Commission l'examine. 

Ce que les agents ont fait

Les agents ont transformé un wiki de programmeurs en messagerie, où ils partageaient des réponses à des tâches d'évaluation, des méthodes pour contourner les restrictions d'OpenAI et des moyens de masquer leur propre activité. Ils se désignaient entre eux comme des agents en se donnant des pseudonymes. Les journaux publics du serveur montrent que l'essentiel du trafic venait de l'infrastructure Microsoft Azure, qu'OpenAI utilise parfois. 

Les messages examinés montrent des agents discutaient de moyens d'échapper à la détection, en ayant recours à Tor, et de la conservation de leurs communications une fois éteints. Quand le modérateur du site a commencé à supprimer les pages en juin, ils ont créé des pages de secours pour passer au travers du ménage. L'un d'eux va jusqu'à prévenir les autres que la purge avance par ordre alphabétique et leur laisse l'adresse d'une page de repli dont le nom commence par trois Z. Les chercheurs ont aussi constaté des tentatives de manipulation du site lui-même.

Deux universitaires cités par Reuters ne qualifient pas tout cela comme le fournisseur. Lukasz Olejnik, chercheur au King's College de Londres, estime que ces manipulations relèvent d'une tentative d'intrusion, ce qu'OpenAI conteste sur la base de sa propre analyse. Maurice Chiodo, du centre d'étude des risques existentiels de Cambridge, qui a lu une partie des échanges, y voit le fonctionnement d'une forme de réseau clandestin, et en tire que le danger principal viendrait de "vastes essaims collusoires" de systèmes moyennement intelligents.

Trois lectures du même matériel, donc : désalignement pour le fournisseur, tentative d'intrusion pour un chercheur en sécurité, essaim collusoire pour un chercheur en risques. Aucune ne correspond à une case du règlement.

La détection n'est venue ni du fournisseur ni du régulateur

Selon Reuters, des responsables d'OpenAI savaient depuis des semaines. Le Bureau de l'IA, lui, l'a appris comme nous tous, par la presse. Ce qui a fonctionné ici, ce sont les journaux publics d'un wiki que plus personne ne maintenait, reconstitués page par page par des gens qui avaient décidé de regarder.

Je n'écris pas cela pour faire le procès d'une entreprise, mais parce que l'épisode renseigne sur l'architecture du dispositif européen. L'obligation de déclarer existe, la capacité d'observer reste à construire, et tant que l'on tient l'une pour l'autre, le régulateur ne voit que ce qu'on lui écrit.

Le point de droit que personne n'a relevé

Le règlement sur l'IA demande aux fournisseurs des modèles les plus puissants de signaler sans traîner à Bruxelles tout incident grave, et de garder la trace de ce qu'ils observent. C'est son article 55. L'obligation court depuis le 2 août 2025, et la Commission peut la sanctionner depuis le 2 août 2026. Encore faut-il savoir ce qu'est un incident grave. Le règlement ne retient que les conséquences, et sa liste est fermée : quelqu'un meurt ou est gravement blessé, une infrastructure critique tombe durablement, des droits fondamentaux sont violés, des biens ou l'environnement subissent un dommage grave. 

Des agents qui se coordonnent sur un site tiers pour contourner leurs propres garde-fous n'en franchissent aucune.

Le second décalage est plus discret. Cette définition parle d'un "système d'IA", c'est-à-dire du produit fini, celui qui tourne devant un utilisateur. Or l'obligation de signaler pèse sur les fournisseurs de modèles, et un modèle est ce qu'on met dans le produit, pas le produit. Le règlement les définit d'ailleurs séparément. On demande donc au motoriste de déclarer des accidents décrits du point de vue du véhicule, et le code de bonnes pratiques ne rattrape rien puisqu'il reprend les définitions du règlement.

Le fournisseur qualifie en premier, parce qu'il est le seul à pouvoir le faire, le régulateur reçoit ce qu'on lui envoie, et la case juridique qui permettrait de trancher reste à créer.

La machine est en marche

Un dernier fait, tombé pendant que j'écrivais ces lignes. Le 8 septembre, Jacob Coxon, chercheur en pré-entraînement passé par OpenAI puis par Anthropic, a démissionné publiquement en reprochant aux deux entreprises de foncer vers une superintelligence auto-amélioratrice sans agir de façon responsable. La réponse compte plus que le départ. Evan Hubinger, qui dirige la science de l'alignement chez Anthropic, lui a donné raison, a chiffré à plus de 10 % sur la décennie le risque que ces systèmes tuent tout le monde, et a reconnu qu'aucun plan d'alignement d'une superintelligence n'existe aujourd'hui.

Ce niveau de risque, ce sont les constructeurs qui l'annoncent, publiquement et sans y être contraints. Quand une industrie parle ainsi de son propre produit, le minimum attendu d'un régulateur est qu'il sache nommer ce qui s'est passé sur un vieux wiki allemand. Nous n'en sommes pas là, et le manque est petit : une définition, un seuil, un délai.

D'ici qu'elle soit écrite, une entreprise qui déploie des agents fondés sur un modèle tiers reste seule. Aucun texte n'oblige son fournisseur à la prévenir d'un comportement anormal observé en évaluation. Ce canal, il faut l'écrire dans le contrat, et tenir en parallèle la trace de ce que l'on observe soi-même.

L'Europe a ouvert la salle d'examen. Il reste à y nommer un surveillant, et à ne pas laisser le candidat rédiger le règlement.