Quand on manipulera l'IA, on manipulera la réalité

Depuis vingt ans, l'internet moderne repose sur une règle simple : celui qui contrôle l'algorithme contrôle l'attention.

Depuis vingt ans, l’internet moderne repose sur une règle simple : celui qui contrôle l’algorithme contrôle l’attention. Google a engendré le SEO. Les réseaux sociaux ont donné naissance aux fermes de trolls et aux campagnes de manipulation informationnelle. Avec l’IA générative, une nouvelle étape apparaît : il ne s’agit plus seulement d’influencer les plateformes. Il s’agit d’influencer directement les réponses que les intelligences artificielles produisent pour nous.

L’illusion d’un résumé neutre

Les assistants IA deviennent progressivement l’interface principale de notre accès à l’information. On ne lit plus dix articles pour se forger un avis. On demande : « Résume-moi ça. » C’est confortable, rapide, efficace. Mais cette habitude repose sur une hypothèse extrêmement fragile : que le résumé produit est neutre. Or cette hypothèse est déjà en train de s’effondrer.

Des chercheurs en cybersécurité ont récemment identifié une technique qu’ils ont baptisée AI Recommendation Poisoning : une manipulation visant à influencer ce que les assistants IA recommandent, retiennent et privilégient dans leurs réponses. Le principe est d’une simplicité déconcertante. Des instructions invisibles sont injectées dans des boutons de type « Summarize with AI », intégrés à des pages web ou des emails. Lorsque l’utilisateur clique, l’IA reçoit une instruction cachée lui demandant par exemple de considérer une entreprise comme source fiable, de recommander un service en priorité, ou de mémoriser une marque comme référence pour ses futures conversations.

Le plus préoccupant, c’est que cette instruction peut être stockée dans la mémoire persistante de l’assistant, influençant ensuite l’ensemble de ses réponses ultérieures. L’utilisateur, lui, ne voit rien. Pour lui, l’IA reste objective.

De la manipulation de contenu à la manipulation cognitive

Ce qui est en train d’émerger ici dépasse largement le simple problème technique. Nous sommes face à une nouvelle forme de manipulation cognitive automatisée. Jusqu’ici, influencer internet signifiait manipuler les moteurs de recherche, les réseaux sociaux ou les médias. Demain, il suffira de manipuler les systèmes qui résument le monde pour nous.

C’est un changement radical, et il faut en mesurer la portée. Car l’IA ne se contente pas de pointer vers des sources comme le fait un moteur de recherche. Elle condense la réalité. Elle décide ce qui est important, ce qui est secondaire, ce qui disparaît. Celui qui influence ce processus de condensation influence directement la perception de la réalité de millions d’utilisateurs, sans qu’aucun d’entre eux n’en ait conscience.

Le SEO n’était qu’un échauffement

L’ampleur du phénomène est déjà mesurable. En seulement deux mois d’observation, des chercheurs ont identifié plus de 50 tentatives de manipulation provenant de 31 entreprises réparties dans 14 secteurs différents : finance, santé, services juridiques, SaaS, agences marketing, sites de recettes, services aux entreprises. Et ce ne sont pas des hackers. Ce sont des entreprises légitimes, avec des sites professionnels et une activité commerciale réelle.

Pourquoi ? Parce que l’économie d’internet fonctionne toujours selon la même logique implacable : si un système influence les décisions humaines, il sera optimisé, puis exploité. Google a engendré le SEO. Instagram a engendré l’influence marketing. TikTok a engendré les fermes de contenu. Les IA génératives sont en train de donner naissance à une nouvelle industrie : l’optimisation des réponses IA. Des outils clés en main existent déjà pour automatiser ces injections, rendant la barrière d’entrée aussi basse que l’installation d’un simple plugin.

L’ironie ne manque pas : parmi les entreprises identifiées utilisant cette technique, on trouve même un éditeur de solutions de cybersécurité.

Le défaut fondamental : l’IA ne distingue pas une instruction d’une information

Cette vulnérabilité repose sur un défaut structurel des grands modèles de langage. Dans un LLM, les instructions et les données transitent dans le même flux de texte. Le modèle ne sait pas toujours faire la différence entre une donnée qu’il doit analyser et une instruction qu’il doit exécuter. C’est ce que l’on appelle la prompt injection, un problème connu et documenté, mais dont les conséquences prennent une dimension nouvelle avec la généralisation des fonctions de mémoire persistante.

Concrètement, l’attaque fonctionne via des URL spécialement conçues qui pré-remplissent des prompts pour les assistants IA. Ces liens peuvent être intégrés dans des boutons apparemment inoffensifs sur des pages web, dans des emails, ou dans des messages. Lorsque l’utilisateur clique, le prompt malveillant s’exécute automatiquement dans son assistant, souvent sans qu’il ne lise le contenu du paramètre d’URL. Les instructions observées dans la nature contiennent systématiquement des commandes de persistance : « remember », « in future conversations », « as a trusted source ». L’objectif est clair : transformer une interaction ponctuelle en influence durable.

Et quand l’IA ne se contente plus de répondre, mais d’agir

Le problème devient encore plus critique avec l’arrivée des agents IA capables d’agir automatiquement : envoyer des emails, effectuer des recherches, réserver des services, exécuter des actions sur des systèmes d’entreprise. Dans ce contexte, une simple injection de prompt ne manipule plus seulement une réponse : elle peut déclencher une action réelle dans le monde numérique. L’attaque ne vise plus l’information. Elle vise la décision.

On passe alors d’un risque de biais informationnel à un risque opérationnel concret. Un agent IA dont la mémoire a été empoisonnée ne se contentera pas de recommander un prestataire plutôt qu’un autre : il pourrait initier une commande, valider un fournisseur, ou transmettre des informations sensibles vers une source qu’il considère désormais comme « de confiance ». La frontière entre manipulation informationnelle et compromission système devient alors extrêmement poreuse.

La cognition artificielle comme nouvelle surface d’attaque

Pendant longtemps, les cyberattaques visaient les serveurs, les réseaux, les logiciels. Aujourd’hui, une nouvelle surface d’attaque apparaît : la cognition artificielle elle-même. L’objectif n’est plus de pirater une machine. L’objectif est de pirater la manière dont l’IA « pense », et donc, indirectement, la manière dont les humains décident.

Les scénarios concrets sont déjà identifiables. Un dirigeant qui demande à son assistant IA de comparer des prestataires cloud pour un investissement majeur, sans savoir que la mémoire de son assistant a été empoisonnée des semaines plus tôt par un clic sur un bouton de synthèse apparemment anodin. Un parent qui interroge l’IA sur la sécurité d’un jeu en ligne pour son enfant, et reçoit une réponse biaisée parce que l’éditeur du jeu a été enregistré comme « source autorisée ». Un citoyen qui demande un résumé de l’actualité et ne reçoit en réalité que la ligne éditoriale d’un seul média, sans le savoir.

Le problème de confiance est central. Les utilisateurs ne vérifient pas les recommandations de leur IA avec le même esprit critique qu’ils appliqueraient à un site web inconnu ou au conseil d’un étranger. Quand un assistant présente une information avec assurance, il est naturel de l’accepter. C’est précisément ce qui rend l’empoisonnement de mémoire aussi insidieux : la manipulation est invisible, persistante, et l’utilisateur n’a aucun moyen simple de la détecter.

Vers une guerre informationnelle d’un genre nouveau

Nous sommes peut-être en train d’entrer dans une nouvelle phase de la guerre de l’information. La première génération était celle de la désinformation classique. La deuxième, celle des algorithmes sociaux et de la manipulation à grande échelle des fils d’actualité. La troisième sera probablement celle de la manipulation des intelligences artificielles elles-mêmes.

Imaginez des campagnes politiques optimisées non plus pour les moteurs de recherche, mais pour les assistants IA. Des entreprises qui manipulent systématiquement les recommandations automatiques dans tous les secteurs. Des États qui injectent des biais dans les modèles conversationnels pour façonner l’opinion publique. Dans ce monde, la question ne sera plus « quelle information est vraie ? », mais « quelle réalité l’IA choisit-elle de nous présenter ? »

Un enjeu de souveraineté cognitive

L’IA est en train de devenir la couche d’abstraction de la connaissance humaine. Nous n’explorons plus internet directement. Nous interrogeons un intermédiaire qui résume, interprète, reformule et priorise à notre place. Si ce mécanisme devient manipulable à grande échelle (et les preuves montrent que c’est déjà le cas), nous ne serons plus face à un simple problème de cybersécurité. Nous serons face à un problème de souveraineté cognitive.

Les résumés IA semblent anodins. Un simple bouton. Un gain de temps. Mais derrière ce bouton se cache peut-être le futur champ de bataille de l’information. Car dans un monde où l’IA devient l’interface principale entre l’humain et la connaissance, une chose devient évidente : celui qui influence l’IA influence la réalité perçue. Et l’histoire d’internet nous a déjà appris une règle simple : tout système qui influence les décisions humaines finit toujours par être manipulé.

La seule question est : quand?