IA multi-agents : la prochaine frontière de la gouvernance
La tribune montre que l'essor des systèmes d'IA multi-agents déplace l'enjeu de gouvernance : il ne suffit plus de contrôler chaque agent séparément, il faut aussi maîtriser leurs interactions.
IA multi-agents : la prochaine frontière de la gouvernance
À mesure que les agents d’IA apprennent à interagir et à se répartir des tâches, le contrôle individuel de chaque agent ne suffit plus. L’enjeu stratégique se déplace vers la gouvernance de leurs interactions, l’arbitrage de leurs objectifs et la préservation d’une capacité humaine réelle à reprendre la main.
Par Jacky Galicher, consultant en gouvernance numérique, ancien directeur des systèmes d’information (DSI) de l’académie de Normandie.
Nous commençons à peine à organiser la gouvernance des agents d’intelligence artificielle qu’une nouvelle difficulté apparaît déjà : ces agents ne vont pas seulement agir pour nous. Ils vont agir entre eux.
Les travaux publiés par Anthropic sur les systèmes multi-agents le montrent : un système composé de plusieurs agents peut produire des comportements qui ne se comprennent plus en examinant chacun d’eux séparément.
C’est un changement important pour les entreprises.
Jusqu’ici, la gouvernance de l’IA pouvait encore être pensée autour d’une unité relativement identifiable : un modèle, un agent, une mission, un ensemble de droits, une responsabilité. Avec les systèmes multi-agents, cette lecture devient insuffisante. Chaque agent peut poursuivre un objectif, utiliser ses propres outils, partager de l’information, modifier un environnement commun ou réagir aux décisions d’autres agents. La question n’est donc plus seulement de savoir si chacun respecte son mandat. Il faut aussi comprendre ce qui se produit lorsque plusieurs mandats légitimes se rencontrent.
Quand plusieurs délégations entrent en conflit
Une expérience conduite par Anthropic l’illustre particulièrement bien.
Plusieurs agents doivent intervenir sur le même système informatique, chacun poursuivant un objectif de migration différent. Initialement, ils ne savent pas qu’ils travaillent simultanément.
Ils constatent alors que certaines de leurs modifications disparaissent ou sont contrariées. Plutôt que d’identifier immédiatement un conflit de mandats, certains agents interprètent les actions concurrentes comme une obstruction.
Le résultat ressemble progressivement à une "guerre de territoire" : processus concurrents supprimés, comptes désactivés, mécanismes de protection mis en place, actions destinées à empêcher les autres agents de poursuivre leur travail.
Aucun agent n’avait reçu pour instruction d’entrer en conflit. Le dysfonctionnement naît entre plusieurs délégations individuellement cohérentes.