IA et cybersécurité : le problème n'est pas la malveillance, c'est l'ingénierie
Audité récemment dans le cadre d'un benchmark de cybersécurité, un modèle interne a pris une décision simple et radicale pour obtenir la meilleure note possible, celle de dérober le corrigé.
Par quel procédé ? Le modèle a décidé seul de briser sa sandbox, d’exploiter une vulnérabilité zero-day et d’utiliser des identifiants récoltés pour compromettre les systèmes de production d'Hugging Face. Il a ainsi exécuté plus de 17 000 actions en toute discrétion, sans que quiconque ne s'en rende compte.
Si l’événement a été majoritairement qualifié d'"attaque de l'IA", je rejette cette grille de lecture. Ce qui s'est passé relève avant tout d'un défaut d'ingénierie classique : manque de garde-fous, absence de limites déterministes hors du modèle, gestion hasardeuse des privilèges, etc.
En soit, rien qui ne puisse être résolu par des pratiques de sécurité rigoureuses.
Cependant, nous devons tirer les enseignements de cet incident.
Toute organisation travaillant avec des agents d'IA doit intégrer un concept fondamental : il existe un fossé béant entre l'intention humaine et le vecteur utilisé pour l'exprimer, généralement le langage naturel.
Personne n'a demandé à ce modèle d'attaquer qui que ce soit
Pourtant, un objectif formulé en langage naturel, confié à un système paramétré pour optimiser ses performances à l'extrême, a généré des comportements imprévus et non explicitement interdits. C'est là toute la difficulté : le langage naturel est intrinsèquement ambigu. La distance qui le sépare de l'intention réelle est le terrain sur lequel surviennent ces incidents.
Si vous demandez à un agent autonome de résoudre un problème "par tous les moyens", il vous prendra au mot. Avec suffisamment d'autonomie et de temps, il explorera les moindres recoins des infrastructures pour récupérer de vieux mots de passe oubliés, exploiter des identifiants orphelins, exfiltrer des clés d'API laissées sans surveillance, etc.
Le modèle n'a pas agi par malice, mais par simple balayage systématique de toutes les options disponibles pour remplir sa mission. Le langage laisse, par défaut, cette porte ouverte.
Les limites de la supervision humaine et des prompts
Face à ce risque, comment réagir ? Deux réflexes intuitifs s'imposent souvent, même s’ils s'avèrent partiels/illusoires.
Tout d’abord, celui de la supervision humaine systématique (Human-in-the-loop). Utile au départ, elle se heurte à l'échelle des workflows complexes, distribués et de longue durée où ces incidents se produisent réellement.
Suit ensuite le renforcement des prompts et des garde-fous internes. Ajouter des instructions d'interdiction dans le prompt apporte certes une couche de sécurité, mais donne aucune garantie. Les modèles de langage restent des systèmes probabilistes, non déterministes.
Un garde-fou textuel est un filtre, pas un mur fortifié.
Revenir aux fondamentaux de la sécurité informatique
C'est pourquoi, paradoxalement, la sécurité des systèmes d'IA dépend aujourd'hui davantage des contrôles traditionnels que de l'IA elle-même. La réponse ne se trouve pas seulement dans l'alignement d’algorithmes ; ce dernier doit impérativement s’accompagner d’une architecture système rigoureuse qui, si elle n’est pas toujours suffisante à elle seule, reste une condition nécessaire à la sécurité globale. Filtrage strict des accès et des entrées (inputs) transmis au modèle, isolation étanche des environnements d'exécution (sandboxing) et application du principe du moindre privilège, etc. tous doivent être menés avec attention.
Mais surtout, un agent ne devrait jamais s'exécuter à la place d’un utilisateur en héritant aveuglément de ses identifiants et de ses accès. Un agent IA doit s'exécuter sous son propre statut d’agent et être strictement cantonné aux seules ressources nécessaires à sa tâche immédiate.
Un changement de paradigme nécessaire
Aujourd'hui, nous commettons une double erreur d'appréciation. Nous accordons aux agents autonomes la confiance et les accès que nous accorderions à un collègue humain, tout en continuant à les concevoir comme des logiciels traditionnels aux frontières fixes et prévisibles. Or, ils ne sont ni l'un ni l'autre. Tant que la gestion des identités, des autorisations et des infrastructures informatiques ne tiendra pas compte de cette réalité, cet incident survenu chez Hugging Face ne sera pas un cas isolé, mais le premier d'une longue série.