Le fossé de gouvernance de l'IA : entre confiance et responsabilité

ABBYY

La gouvernance de l'IA est souvent perçue comme un frein au développement. Mais bien gérée, elle peut dynamiser le développement des initiatives d'intelligence artificielle

Demandez à 10 dirigeants d’entreprise qui devrait être tenu responsable lorsqu’un système IA produit un résultat nuisible ou incorrect, et vous obtiendrez au moins cinq réponses différentes. Ce n’est pas une hypothèse. C’est le résultat de la dernière étude ABBYY sur l’automatisation intelligente.

Cela mérite un moment de réflexion. L’IA est désormais intégrée dans les processus critiques des entreprises dans le monde entier. Elle influence les décisions de recrutement, les approbations de crédit, les interactions avec les clients et les prévisions de la chaîne d’approvisionnement. Et pourtant, les personnes qui l’implémentent ne parviennent pas à s’accorder sur une question fondamentale : lorsque la technologie échoue, qui est responsable ?

C’est le fossé de gouvernance. Ce n’est pas un manque d’ambition ou d’investissement. C’est un manque de clarté, de supervision et de confiance, et il s’élargit plus vite que la plupart des organisations ne sont prêtes à l’admettre.

Le développement de l’IA dépasse la capacité à la gouverner.

La tension principale dans les données est simple. L’adoption s’accélère. La gouvernance ne suit pas. Près de la moitié des dirigeants d’entreprise français (44 %) affirment que l’IA est adoptée plus rapidement que leur organisation ne peut la gouverner efficacement. Cette seule statistique redéfinit une grande partie de la conversation actuelle sur l’IA. Le risque urgent n’est pas que les entreprises soient trop prudentes. C’est qu’elles avancent rapidement tandis que les garde-fous prennent du retard.

Cela crée une exposition à la conformité qui s’accumule avec le temps. Chaque nouveau modèle, flux de travail ou décision automatisée ajouté sans supervision correspondante augmente la surface d’exposition aux erreurs et diminue les chances que quelqu’un sache qui est censé les corriger.

Personne ne s’accorde sur la responsabilité de l’IA.

C’est ici que le fossé de gouvernance devient le plus visible. Lorsqu’on leur a demandé qui devrait assumer la responsabilité lorsque l’IA produit des résultats nuisibles ou incorrects, les dirigeants d’entreprise se sont divisés :

  •  24 % estiment que la responsabilité devrait être partagée entre l’organisation et le fournisseur.
  •  26 % disent que l’organisation utilisant l’IA devrait en assumer la responsabilité principale.
  •  21 % la placent entièrement auprès du fournisseur d’IA.
  •  16 % désignent l’utilisateur final.
  •  12 % pensent que les régulateurs devraient prendre les devants.

Il n’y a pas de réponse majoritaire. Pas de consensus dominant. Juste des avis fragmentés. Et c’est dangereux pour une raison simple : lorsque la responsabilité est répartie entre cinq parties possibles, elle n’appartient effectivement à personne. En cas de défaillance grave de l’IA, cette ambiguïté se transforme en accusations, en réponse retardée et en exposition réglementaire précisément au moment où la rapidité et la clarté sont les plus importantes. 

Le problème s’aggrave également au sein des organisations. La connaissance de qui est responsable de l’IA diminue fortement à mesure que l’on descend dans l’organigramme. Les dirigeants français rapportent que, si 88 % des cadres supérieurs savent qui est responsable du développement, de la mise en œuvre et de la gestion de l’IA, cela tombe à 84 % chez les cadres intermédiaires, et à seulement 73 % parmi les employés, les personnes souvent les plus proches du fonctionnement quotidien de ces systèmes.

Si un employé rencontre un problème critique dans un système d’IA, la confusion survient. Ce manque de clarté retarde la résolution et augmente les risques opérationnels.

Pendant ce temps, la direction générale, même familière avec qui est responsable de l’IA, reste éloignée des défis quotidiens, créant un décalage entre les décisions stratégiques et la mise en œuvre pratique.

Le déficit de confiance derrière les chiffres

La confusion sur la responsabilité repose sur un problème de confiance plus large. Les dirigeants d’entreprise français n’ont pas encore confiance dans les systèmes qu’ils déploient :

  •  Seulement 26 % font entièrement confiance aux systèmes d’IA pour produire des résultats précis.
  •  Seules 24 % des sondés font entièrement confiance à l’IA pour expliquer comment des décisions importantes ont été prises, ou pour protéger les informations confidentielles.
  •  Seulement 22 % font entièrement confiance à l’IA pour fonctionner sans introduire de risques inacceptables.
  •  Mais 27 % pensent qu’elle est conforme à la réglementation

Ce sont des chiffres remarquablement bas pour une technologie déjà intégrée dans les processus métier essentiels. Ils révèlent une réalité inconfortable : les organisations déploient des outils en lesquels elles n’ont pas entièrement confiance, sans accord clair sur qui répond lorsque cette confiance s’avère mal placée.

La gouvernance est considérée comme un frein, non comme un moteur.

Une des raisons pour lesquelles l’écart persiste est une idée reçue répandue selon laquelle la gouvernance et l’innovation sont des forces opposées.

67 % des dirigeants d’entreprise français affirment que les exigences en matière de gouvernance des données, c’est-à-dire les contrôles qui maintiennent les données précises, sécurisées et conformes, ralentissent le déploiement de l’IA. Et 26 % supplémentaires affirment que les préoccupations éthiques ralentissent considérablement leurs initiatives en matière d’IA.

La gouvernance, en d’autres termes, est souvent perçue comme une friction. Cette friction a des conséquences. Si 47 % des dirigeants français disent que leurs initiatives en matière d’IA ont dépassé les objectifs attendus, 13 % affirment que la performance est en dessous des attentes. Les mentions des freins les plus importants sont révélatrices :

  •  La qualité des données était le principal obstacle, cité par 17 % des dirigeants.
  •  L’intégration avec les systèmes existants au même niveau à 18 %.
  •  Les coûts de mise en œuvre sont arrivés en troisième position à 14 %.

On remarque que le plus grand obstacle au retour sur investissement de l’IA n’est pas la sophistication du modèle mais les données et la confiance qui la sous-tendent.

L’IA exige que les organisations sachent d’où proviennent les données, si elles sont fiables, comment elles peuvent être utilisées, et où elles sont stockées et traitées. À mesure que la souveraineté des données prend de l’importance, un passage vers des contrôles lisibles par les machines qui régissent les données tout au long de leur cycle de vie est nécessaire pour garantir une conformité cohérente.

La vérité contre-intuitive : La gouvernance est la clé du succès de l’IA

L’argument est confirmé par la recherche : ce n’est pas la gouvernance qui ralentit l’IA, c’est une gouvernance faible. Les organisations qui considèrent la gouvernance comme une fondation, plutôt qu’un obstacle, sont celles qui obtiennent de meilleurs résultats :

  •  72 % des dirigeants français affirment que la gouvernance a rendu leurs initiatives en matière d’IA plus réussies.
  •  70 % disent que leur approche de gouvernance équilibre efficacement l’atténuation des risques avec la nécessité de livrer l’IA rapidement.
  •  Les cadres de gouvernance facilitent le développement des systèmes d’IA (63 %), l’extension au-delà de la phase pilote (52 %) et encouragent l’adoption par les employés (59 %).

Une bonne gouvernance ne sacrifie pas la sécurité à la rapidité, elle permet les deux. Cela donne aux équipes la confiance nécessaire pour sortir l’IA du purgatoire des pilotes et la mettre en production, car les contrôles, la responsabilité et la supervision sont déjà en place.

Mais avoir des règles n’est pas la même chose que d’être prêt. Il y a une distinction cruciale cachée dans les données entre avoir une politique de gouvernance et être préparé à un échec de gouvernance. Sur le papier, la plupart des organisations françaises semblent couvertes : 77 % déclarent avoir mis en place un cadre de gouvernance de l’IA formel. Mais les mesures de sécurité racontent une autre histoire :

  •  Seulement 52 % ont un processus de signalement des incidents liés à l’IA.
  •  Seulement 45 % ont un plan de réponse aux incidents d’IA.
  •  Seulement 34 % disposent de capacités de retour en arrière pour l’IA.
  •  Seulement 32 % disposent d’un bouton d’arrêt d’urgence pour l’IA.

En d’autres termes, une grande partie des organisations ont écrit des règles mais n’ont pas construit le frein d’urgence. Avoir un cadre régit la manière dont l’IA est censée se comporter. La réponse aux incidents, les interrupteurs d’arrêt et les capacités de retour en arrière sont des mécanismes de sécurité qui déterminent ce qui se passe lorsque cela ne fonctionne pas. L’écart entre ces deux est l’endroit où se trouvent les dommages réputationnels et réglementaires.

La supervision humaine reste une protection essentielle. 55 % des dirigeants français affirment que les humains examinent toutes les décisions importantes de l’IA avant qu’une action ne soit entreprise, bien que l’approche varie selon le marché, atteignant 61 % en Australie et tombant à 49 % à Singapour. À mesure que l’IA prend des décisions plus conséquentes, garder un humain dans la boucle n’est pas un signe d’immaturité. C’est une marque de discipline.

La supervision humaine valide les résultats de l’IA, garantit la fiabilité dans les tâches à enjeux élevés et soutient l’apprentissage continu et l’optimisation des modèles pour s’adapter aux besoins des entreprises. Intégrer des examinateurs humains aux points de décision critiques renforce la confiance dans les flux de travail pilotés par l’IA.

Ce que les dirigeants doivent faire maintenant

Le chemin à suivre ne nécessite pas de ralentir l’innovation mais de réduire l’écart entre l’adoption et la responsabilité. Trois actions sont les plus importantes :

  1. Attribuez explicitement la responsabilité. Mettez fin à l’ambiguïté. Décidez, par écrit, qui possède les résultats de l’IA au sein de l’organisation et la relation avec le fournisseur, et communiquez-le clairement à tous les niveaux, de la direction aux employés les plus proches des systèmes.
  2. Réparez la base de données. La qualité des données est la principale barrière au retour sur investissement pour une raison. Les contrôles lisibles par les machine qui régissent les données tout au long de leur cycle de vie transforment la conformité d’un goulot d’étranglement en une fonctionnalité intégrée.
  3. Construisez les dispositifs de sécurité, pas seulement un cadre. Allez au-delà des documents de politique. Investissez dans la signalisation des incidents, les plans de réponse, les interrupteurs d’arrêt et les capacités de restauration avant qu’un incident ne force la situation.

Les organisations qui répondent à la question "qui est responsable de l’IA ?" avant que quelque chose ne tourne mal seront celles qui déploient l’IA avec confiance. Celles qui laissent la question sans réponse ne font que différer un règlement de comptes. Le fossé de gouvernance peut être comblé, mais il ne le fera pas de lui-même.