Les agents d'IA requièrent plus qu'un garde-fou humain

Maîtriser les actions des agents d'IA, et les risques qu'ils peuvent causer, reste complexe, même avec la présence d'un humain.

Avec la vitesse d’évolution de l’IA, les outils deviennent rapidement obsolètes. Les risques liés à l’IA suivent la même dynamique, gagnant progressivement les données et les opérations, au-delà des seuls modèles. Pourtant, les approches des risques liés à l’IA développés par les entreprises ne semblent pas évoluer ni prendre en compte ces changements.

Certains employés humains ont, aujourd’hui, moins de privilèges que certains agents internes, qui bénéficient, eux, d’autorisations plus larges pour réaliser des déploiements, modifications ou publications de façon automatisée. La présence d’un individu dans le cycle n’apporte plus une sécurité suffisante aux agents, qui travaillent à la même vitesse que les machines, diffusant également leurs erreurs à tous les systèmes, plus vite qu’un humain ne pourrait le faire. Si ces erreurs semblent, à première vue normales, elles peuvent causer des dommages collatéraux importants (perte de transaction, interruption des flux de travail…).

Identifier le parcours réalisé par une erreur dans les différents systèmes est presque impossible, et le seul choix possible est de réinitialiser le système, causant davantage de perturbations et des coûts. Mettre en place une solution qui permettrait d’annuler toute conséquence immédiate de l’IA de façon instantanée devient prioritaire : pour cela, il faudrait faire évoluer les processus de restauration, en misant sur une approche centrée sur les changements, et non sur les systèmes.

Comprendre les nouveaux risques possibles

En matière d’agents d’IA, plus de 60% des organisations expérimenteraient leur utilisation, selon une étude de McKinsey, et on parle bien ici d’expérimentation. Cela sous-entend donc que la façon dont les agents impactent l’ensemble des opérations n’est pas vraiment prise en compte. Plus de neuf agents sur dix (97%) disposeraient d’ailleurs d’énormes privilèges pouvant mener à des conséquences négatives et dangereuses. Parmi lesquels la possibilité qu’un agent supprime par erreur, en quelques secondes l’ensemble d’une base de données de production, sauvegardes inclues, à cause d’une hallucination créées par des données de mauvaise qualité. Cela s’est déjà produit, ce n’est, justement, pas une hallucination.

L’évolution des risques n’est pas un phénomène nouveau ni soudain. S’il suffisait, quand les LLMs n’étaient encore qu’au stade d’expérimentation, qu’intervienne un humain pour bloquer les résultats faussés, ce n’est plus suffisant aujourd’hui. Premièrement en raison de la vitesse à laquelle les agents travaillent, mais aussi du fait que ces derniers sont en surnombre par rapport aux employés humains, environ 82 fois plus nombreux dans une entreprise type selon les estimations. Cela impose de revoir en profondeur la stratégie de sécurité, au lieu de seulement mettre à jour les mesures en place.

Sans intervention humaine, avoir confiance dans les systèmes est impossible

Quand on sait que les agents d’IA ont potentiellement accès à toutes les données d’une entreprise, incluant les données non structurées fournies par les utilisateurs, avec un accès d’autant plus important pour les agents avec des privilèges illimités, on comprend que l’enjeu n’est pas ce que ces agents peuvent faire, mais surtout à quoi ils ont accès. La réalité est que les agents accèdent même à des historiques de conversation, ou de vieux documents redondants. Il n’est pas certain que les cadres de contrôle et de gouvernance en place sur ces données soient adaptés aux workflows basés sur l’IA.

Le nœud du problème est que les approches traditionnelles n’ont pas été conçues pour des agents d’IA qui utilisent les données à la vitesse des machines, et qui sont capables de passer outre les barrières de gouvernance concentrées sur les terminaux et les identités. Cela concerne par exemple le Zero Trust.

Pour faire face à ces problématiques, il est nécessaire d’intégrer les mesures de sécurité directement aux données grâce à une classification et un masquage, au lieu de les superposer, ce qui revient à adopter une approche de sécurité plus granulaire, au lieu de l’axer uniquement sur les systèmes. Cela permet d’appliquer les règles avant même qu’un agent d’IA ne puisse agir, ce qui n’est pas chose aisée.

Voir l’IA de façon plus précise

Les processus de restauration doivent suivre la même dynamique, en arrêtant de s’établir sur des interventions humaines et un principe de restauration à l’échelle du système, ce qui n’est clairement pas adapté à l’ère de l’IA agentique. Revoir en profondeur les stratégies représente un coût conséquent, tout en faisant peser le risque de conséquences collatérales encore plus coûteuses, à cause d’un manque de précisions.

Les entreprises doivent mettre en place une restauration axée sur les changements, face à l’intégration toujours plus fort des agents d’IA aux opérations métier. Il est possible d’identifier exactement la façon dont l’agent a procédé et de corriger spécifiquement les actions problématiques, grâce à des mécanismes d’attribution associés aux objets suivis ou au suivi des changements au niveau des enregistrements, tout en tenant compte des dépendances. L’objectif est de ne corriger que ce qui doit l’être, avec une vraie granularité. Mais dans leur processus d’apprentissage, les agents IA continueront forcément à produire des erreurs. Pour les entreprises qui n’auraient pas encore eu à opérer un retour en arrière total après une erreur d’un de leurs agents, elles doivent désormais se demander quand elles devront le faire, et non pas si elles devront le faire.

Tout est question d’anticipation des erreurs, avant qu’elles ne se produisent, en particulier parce que les agents qui font une erreur peuvent vraiment bloquer tout le système d’une entreprise. Pour autant, il est nécessaire que les humains continuent de superviser les agents d’IA et n’abandonnent pas tout gouvernance. Mais s’appuyer sur une restauration de précision est essentiel pour corriger les problèmes liés aux agents : tout d’abord pour réduire les coûts opérationnels, mais aussi pour avoir confiance dans leur efficacité d’utilisation de l’IA agentique. En cas d’erreur liée à l’IA, les conséquences ne devraient pas être trop catastrophiques si une restauration de précision est en place.