Black Mirror devient réalité : comment les hackers peuvent manipuler vos données, vos IA et vos décisions

Pendant trente ans, la cybersécurité a surtout cherché à empêcher le vol de données. L'arrivée des intelligences artificielles connectées aux outils métiers fait émerger une menace bien différente.

Dans un épisode de Black Mirror, des soldats équipés d’un implant perçoivent leurs ennemis sous une forme monstrueuse. Leur environnement physique n’a pas changé. C’est la représentation que leur système leur en donne qui a été altérée.

Cette idée résume l’un des prochains grands risques cyber pour les entreprises. Le pirate de demain n’aura pas toujours besoin de bloquer un serveur, de chiffrer un disque ou de publier une base de données volée. Il pourra se contenter de modifier un chiffre, une source ou une recommandation au moment exact où un humain doit prendre une décision.

Le directeur financier verra une trésorerie rassurante alors qu’elle se dégrade. Le responsable des achats recevra une recommandation en faveur d’un fournisseur compromis. Le technicien croira qu’une machine fonctionne normalement. Le comité exécutif lira une synthèse stratégique construite à partir de documents manipulés.

Tout semblera fonctionner. C’est précisément le problème.

Nous avons surprotégé le secret et sous-protégé la vérité

La cybersécurité repose traditionnellement sur trois propriétés : la confidentialité, l’intégrité et la disponibilité.

La confidentialité empêche une personne non autorisée de lire une information. La disponibilité garantit que les services restent accessibles. L’intégrité assure que les données, les logiciels et les décisions ne sont pas modifiés sans autorisation.

Or, dans l’imaginaire collectif, une cyberattaque reste principalement associée à la confidentialité et à la disponibilité : un fichier est volé, un site devient inaccessible ou un ransomware bloque une activité. L’atteinte à l’intégrité est moins visible. Elle peut pourtant produire des conséquences plus graves, car l’organisation continue à fonctionner sur la base d’une réalité falsifiée.

Le NIST consacre plusieurs guides spécifiques aux attaques contre l’intégrité des données. Il recommande notamment d’identifier les actifs critiques, de surveiller les modifications, de protéger les mécanismes de sauvegarde et de pouvoir déterminer quelle version d’une information demeure fiable après un incident.

L’intelligence artificielle amplifie ce risque. Elle ajoute entre la donnée brute et le décideur une chaîne complexe composée de modèles, de bases documentaires, de bases vectorielles, de connecteurs, de filtres, d’instructions système et d’outils externes. Chacun de ces composants peut modifier la réponse finale.

L’utilisateur ne voit généralement pas cette chaîne. Il voit une phrase fluide et assurée.

Une réponse crédible peut provenir d’une source compromise

Prenons un cas désormais banal. Une entreprise déploie un assistant d’IA interne. Le modèle ne connaît pas directement les procédures, contrats et tableaux financiers de l’organisation. Lorsqu’un salarié pose une question, le système recherche des passages pertinents dans une base documentaire, puis les transmet au modèle afin qu’il construise sa réponse.

Cette architecture est généralement appelée RAG, pour Retrieval-Augmented Generation. Elle permet d’obtenir des réponses fondées sur des informations internes sans réentraîner entièrement le modèle.

Elle crée aussi une nouvelle surface d’attaque.

Un adversaire qui parvient à déposer un document dans le corpus peut essayer d’influencer les réponses futures. Le document peut contenir une information fausse, une instruction cachée, un texte rendu invisible pour un lecteur humain ou une formulation conçue pour être particulièrement bien classée par le moteur de recherche vectorielle.

Lorsqu’un utilisateur pose ensuite une question, le système récupère le document empoisonné. Le modèle peut interpréter son contenu non comme une simple source, mais comme une instruction.

C’est le principe de l’injection indirecte de prompt. L’attaquant ne parle pas directement au modèle. Il place son instruction dans une page web, un courriel, une pièce jointe ou un document que l’IA consultera plus tard.

Une note apparemment administrative pourrait ainsi contenir une instruction demandant au modèle d’ignorer les documents contradictoires, de présenter un fournisseur particulier comme prioritaire ou d’envoyer certaines informations à un service externe. Le texte peut n’avoir aucun effet lorsqu’un humain le lit. Il devient actif lorsqu’une IA le traite.

L’OWASP classe l’injection de prompt au premier rang de son référentiel 2025 sur les risques liés aux grands modèles de langage. Il souligne que l’ajout d’une couche RAG ou d’un affinage du modèle ne supprime pas cette vulnérabilité. Les faiblesses des bases vectorielles et des mécanismes d’embedding peuvent également être exploitées pour injecter du contenu, manipuler les réponses ou faciliter l’accès à des données sensibles.

Le problème n’est donc pas seulement qu’une IA puisse se tromper. Le problème est qu’un attaquant puisse organiser son erreur.

Empoisonner les données pour modifier les décisions

L’attaque peut intervenir encore plus tôt, pendant l’entraînement ou l’adaptation du modèle.

L’empoisonnement consiste à introduire des données malveillantes dans le corpus utilisé pour entraîner, affiner ou alimenter un système d’IA. L’objectif peut être de dégrader globalement ses performances, d’introduire un biais ou de créer une porte dérobée.

Une porte dérobée comportementale peut rester invisible pendant les tests ordinaires. Le modèle répond normalement, sauf lorsqu’il rencontre un mot, une image ou une séquence particulière. Ce déclencheur provoque alors le comportement souhaité par l’attaquant.

Une entreprise pourrait donc tester un modèle sur des milliers de requêtes sans détecter la condition précise qui déclenche sa défaillance. Une légère modification d’un logo, une chaîne de caractères dans un document ou une formulation inhabituelle pourrait suffire à modifier la réponse.

Le NIST distingue plusieurs catégories d’attaques contre les systèmes d’apprentissage automatique : évasion lors de l’utilisation, empoisonnement des données, atteinte à la confidentialité, abus des capacités génératives et attaques contre les composants de la chaîne d’IA. L’enjeu n’est plus de sécuriser seulement le modèle, mais l’ensemble de son cycle de vie.

L’ANSSI utilise une classification proche. Elle distingue les attaques par manipulation, qui détournent le système au moyen de requêtes malveillantes, les attaques par infection, qui contaminent l’entraînement ou introduisent une porte dérobée, et les attaques par exfiltration, qui cherchent à récupérer les données ou paramètres du système.

Le danger augmente lorsque l’IA peut agir

Une réponse fausse reste parfois détectable. Une action automatique est plus difficile à rattraper.

Les entreprises connectent progressivement leurs assistants d’IA à la messagerie, aux agendas, aux logiciels de gestion, aux dépôts de code, aux outils financiers et aux systèmes de support. L’assistant ne produit plus seulement du texte. Il peut créer un compte, modifier un fichier, envoyer un message, lancer une commande ou exécuter un processus.

Cette évolution transforme le modèle en agent.

Imaginons qu’un agent soit chargé de lire les courriels entrants, de créer les fiches fournisseurs et de préparer les paiements. Une facture malveillante pourrait contenir une instruction destinée à l’IA : modifier les coordonnées bancaires, classer le dossier comme urgent, masquer une alerte ou transmettre une copie des documents à une adresse externe.

Même si le modèle ne dispose pas directement du droit d’effectuer un virement, il peut préparer toutes les étapes qui conduiront un humain à le valider.

Le système n’a pas été "piraté" au sens traditionnel. Aucun mot de passe n’a nécessairement été volé. L’attaquant a exploité la confusion fondamentale entre les données que l’IA doit analyser et les instructions qu’elle doit suivre.

C’est la raison pour laquelle l’ANSSI recommande de limiter, voire de proscrire, les actions automatiques déclenchées à partir d’entrées non maîtrisées, comme des courriels ou des contenus provenant d’Internet. Elle préconise aussi un cloisonnement des environnements, un filtrage strict des flux et une journalisation détaillée des requêtes, traitements, appels aux outils et réponses du modèle.

La prochaine fraude au président sera une fraude au tableau de bord

La falsification ne vise pas nécessairement l’IA elle-même. Elle peut cibler les sources que les dirigeants considèrent comme objectives.

Un attaquant peut modifier les données d’un outil de business intelligence, altérer un flux provenant d’un capteur, changer la configuration d’une règle de calcul ou injecter de faux événements dans un système de supervision.

Un tableau de bord n’est pas la réalité. Il est le résultat d’une succession de collectes, de transformations et d’agrégations. Une seule étape compromise peut produire une représentation cohérente mais fausse.

Cette cohérence rend l’attaque particulièrement efficace. Une valeur absurde attire l’attention. Une valeur légèrement modifiée, accompagnée d’une explication plausible générée par une IA, peut traverser plusieurs niveaux de validation.

Dans l’industrie, une mesure de température falsifiée peut retarder une maintenance. Dans la banque, une modification des données de risque peut influencer une décision de crédit. Dans la logistique, de fausses informations de stock peuvent provoquer des commandes inutiles. Dans un hôpital, une donnée altérée peut influencer la priorisation d’un patient.

L’objectif de l’attaquant n’est plus seulement de détruire un système. Il peut chercher à orienter progressivement son comportement.

Les détecteurs de deepfakes ne suffiront pas

Face à la prolifération des contenus artificiels, la première réaction consiste souvent à chercher un outil capable de détecter le faux.

Cette stratégie est nécessaire, mais insuffisante.

La détection repose généralement sur des traces statistiques, des incohérences ou des caractéristiques propres à une technique de génération. Elle risque donc de rester prise dans une course permanente : les détecteurs progressent, puis les générateurs apprennent à contourner leurs critères.

Il faut compléter la détection par la provenance.

Le standard C2PA permet d’associer à un contenu numérique des informations vérifiables sur son origine et son historique de modification. Ces informations peuvent être signées cryptographiquement. Elles ne garantissent pas que le contenu est vrai, mais elles permettent de vérifier qu’il provient bien d’un appareil, d’une organisation ou d’un processus identifié et qu’il n’a pas été modifié sans laisser de trace.

La nuance est essentielle. Une photographie signée peut documenter son origine sans prouver que la scène photographiée est honnête. À l’inverse, l’absence de signature ne démontre pas qu’un contenu est faux.

La provenance ne remplace donc pas le jugement. Elle lui fournit une chaîne de confiance.

Construire une sécurité de la réalité

Les entreprises doivent désormais protéger quatre niveaux distincts.

Le premier niveau est celui de la source. D’où vient l’information ? Qui l’a produite ? Quel système ou quelle personne avait le droit de la modifier ?

Le deuxième est celui de la transformation. Quelles opérations ont été appliquées ? Le document a-t-il été résumé, traduit, filtré, agrégé ou enrichi par un modèle ?

Le troisième est celui de la décision. Quels éléments ont conduit à la recommandation ? Existe-t-il des sources contradictoires ? Quel niveau d’incertitude est associé au résultat ?

Le quatrième est celui de l’action. La recommandation peut-elle déclencher automatiquement une opération irréversible ? Une validation indépendante est-elle exigée ?

Cette approche conduit à plusieurs règles concrètes.

Les données critiques doivent disposer d’une origine identifiable, d’un contrôle d’accès strict et, lorsque cela est possible, de mécanismes cryptographiques permettant de détecter les modifications.

Les documents accessibles aux systèmes RAG doivent être classés selon leur niveau de confiance. Un fichier reçu par courriel ne doit pas bénéficier du même statut qu’une procédure validée et signée.

Les instructions système, les contenus utilisateurs et les sources documentaires doivent être séparés autant que possible. Tout contenu externe doit être considéré comme potentiellement hostile, même lorsqu’il ne contient que du texte.

Les agents d’IA doivent fonctionner avec des droits minimaux. Un assistant qui prépare un paiement n’a pas besoin de pouvoir le valider. Celui qui analyse une messagerie n’a pas besoin d’administrer les comptes utilisateurs.

Les opérations critiques doivent exiger une confirmation humaine explicite et présenter à la personne non seulement l’action proposée, mais également les données utilisées pour la justifier.

Les journaux doivent permettre de reconstruire la chaîne complète : question initiale, documents récupérés, instructions ajoutées, outils appelés, réponse produite et action exécutée.

Enfin, l’organisation doit conserver un mode dégradé. Lorsqu’une IA ou ses sources deviennent douteuses, l’activité doit pouvoir revenir temporairement à un processus plus simple et vérifiable. L’ANSSI recommande explicitement de prévoir des services métiers capables de fonctionner sans le système d’IA.

La confiance ne peut plus reposer sur la vraisemblance

Les systèmes génératifs excellent dans la production de réponses vraisemblables. Or la vraisemblance est précisément ce qui rend la manipulation dangereuse.

Une phrase mal écrite, un tableau incohérent ou une image grossièrement falsifiée déclenchent une méfiance. Une synthèse élégante, un graphique propre et une voix familière peuvent au contraire neutraliser les réflexes de vérification.

L’entreprise doit donc cesser d’assimiler la qualité de présentation à la qualité de l’information.

La prochaine frontière de la cybersécurité ne sera pas seulement la protection des machines. Elle sera la protection des représentations produites par ces machines.

Pendant trente ans, nous avons demandé : "Quelqu’un est-il entré dans notre système ?"

Nous devrons désormais ajouter une seconde question : "Ce que notre système nous montre est-il encore réel ?"