Pourquoi toute démarche de gouvernance et de réglementation de l'IA devrait prévoir un "bouton d'arrêt d'urgence"

Certains grands grands noms de la Tech nous mettent en garde contre le potentiel destructeur de l'IA et proclament la nécessité d'une réglementation gouvernementale. Où en est-on ?

L'intelligence artificielle n'est pas l'avenir de l'informatique. Elle est déjà là. L'IA est d'ores et déjà utilisée dans divers secteurs d'activité pour gérer de très nombreuses applications : prévention de la fraude, chatbots, sécurité des véhicules et recommandations d'achat. Mais quelle forme devrait prendre la gouvernance d'entreprise basée sur le risque et la réglementation gouvernementale ? Comment les organisations peuvent elles se protéger contre les acteurs malveillants qui cherchent à exploiter l'IA ? Le fait d'attribuer des identités aux modèles, aux entrées et aux sorties de l'IA serait une bonne piste, à l'image de ce que nous faisons déjà pour les dispositifs, les services et les algorithmes. En instaurant une gouvernance et une protection dès aujourd'hui, les entreprises peuvent s'assurer du fait qu'elles seront mieux préparées aux défis que l'avenir leur réserve. Cette approche progressive pourrait renforcer la confiance et la sécurité, protéger les entreprises contre les cyberattaques exploitant l'IA, responsabiliser les développeurs et, le cas échéant, prévoir ce fameux « bouton d'arrêt d'urgence ».

Des initiatives de régulation de l'IA en plein essor

Alors que l'IA s'intègre toujours plus dans les processus métiers, elle devient inévitablement une cible de choix pour les attaquants. De nouvelles menaces apparaissent, et notamment des acteurs malveillants qui « empoisonnent » l'IA pour orienter les décisions prises par un modèle. Le Center for AI Safety a déjà dressé une liste fournie de risques sociétaux, certains étant plus préoccupants que d'autres dans l'immédiat.

C'est pourquoi les gouvernements du monde entier s'intéressent aux moyens permettant de contrôler le développement et l'utilisation de cette technologie, afin de minimiser les abus ou toute mauvaise utilisation accidentelle. D'ailleurs, l'IA fait l'objet de discussions au G7. La Maison-Blanche tente d'établir des règles de conduite pour protéger les droits individuels et garantir un développement et un déploiement responsables. Mais c'est l'UE qui montre la marche à suivre en matière de réglementation. Ses propositions pour une nouvelle « Loi sur l'IA » ont été récemment approuvées par le législateur. De nouvelles règles de responsabilité sont en cours de préparation pour faciliter l'indemnisation de ceux qui subissent des dommages liés à l'IA.

L'UE reconnaît tacitement l'identité de l'IA

Selon Aristote et son principe de l'identité, toute chose qui existe possède une identité. Les nouvelles réglementations proposées par l'UE en matière d'IA semblent aller dans ce sens. L'UE propose une approche des systèmes d'IA fondée sur le risque, selon laquelle ceux qui sont perçus comme présentant un « risque inacceptable » sont interdits, et ceux qui présentent un « risque élevé » doivent passer par un système d'évaluation et d'enregistrement en plusieurs étapes avant d'être approuvés.

Cela signifie qu'au terme de son développement, tout modèle d'IA doit faire l'objet d'un audit pour s'assurer qu'il est conforme à la réglementation applicable, qu'il est certifié et qu'il peut être enregistré. Une « déclaration de conformité » doit ensuite être signée. Le modèle d'IA peut alors recevoir un marquage CE et être mis sur le marché.

Cette approche du traitement des modèles ou des produits d'IA implique qu'ils disposent d'une identité individuelle - et donc unique. Cet aspect pourrait être formalisé dans un système qui authentifie le modèle en tant que tel, sa communication avec d'autres actifs et les résultats qu'il produit. Ce faisant, nous pourrions vérifier si le modèle a été certifié, s'il est bon, néfaste, ou s'il a été modifié. De même, nous pourrions autoriser et authentifier les connexions et les communications de l'IA, les autres systèmes auxquels elle fait appel et la chaîne de confiance qui produit une décision ou un résultat spécifique.

Ce dernier point sera particulièrement déterminant pour la remédiation et la traçabilité. En effet, les équipes devront retracer la moindre action effectuée par un modèle d'IA au fil du temps, et ce afin d'expliquer la production d'un résultat donné. Et dans le cas d'un « empoisonnement » par un acteur malveillant, elles devront retracer ses agissements au cours de la période de vulnérabilité. Autant de raisons pour lesquelles l'identité est indispensable.

Le fameux « bouton d'arrêt d'urgence »

Lorsque nous parlons d'un tel bouton, nous ne pensons pas à une super identité ; mais plutôt à un certain nombre d'identités apparentées qui opèrent ensemble. Des milliers d'identités machine peuvent être associées aux modèles utilisés pour sécuriser chaque étape du processus afin d'empêcher les accès non autorisés et les manipulations malveillantes, et ce depuis les données d'entrée entraînant le modèle, jusqu'au modèle en tant que tel et ses résultats. Il pourrait s'agir d'une combinaison d'identités machine (par signature de code) permettant de vérifier les résultats et d'identités machine TLS et SPIFFE permettant de protéger les communications avec d'autres machines, services Cloud et entrées d'IA. Les modèles doivent être protégés à chaque étape, que ce soit au cours de leur entraînement ou pendant leur utilisation. Cela signifie que chaque machine doit disposer d'une identité pour empêcher tout accès et manipulation non autorisés, et ce pour chaque processus.

Si les systèmes d'IA devenaient incontrôlables et commençaient à constituer une réelle menace pour l'humanité (certaines personnalités du secteur nous ont avertis d'un tel risque), leur identité pourrait « de fait » être utilisée comme un bouton d'arrêt d'urgence. Si elle perd son identité, opérer devient extrêmement difficile pour l'entité (imaginez voyager sans passeport). Un tel « bouton d'arrêt » pourrait empêcher l'IA de fonctionner et de communiquer avec un service donné. Il permettrait également de la protéger si elle devenait compromise. Cet arrêt d'urgence devrait également permettre de désactiver tout élément considéré comme dangereux sur la chaîne de dépendance générée par le modèle d'IA. C'est là que l'audit et la traçabilité basés sur l'identité deviennent importants.

L'identité comme moteur de la responsabilisation autour de l'IA 

Alors que partout dans le monde, les gouvernements s'interrogent sur la meilleure façon de réglementer une technologie dont l'influence et l'importance ne cessent de croître, aucun d'entre eux n'a évoqué la possibilité d'une gestion de l'identité par l'IA. Pourtant, le règlement de l'UE, qui est de loin le plus complet, stipule que chaque modèle doit être approuvé et enregistré, ce qui implique naturellement que chacun d'entre eux dispose de sa propre identité. Cela ouvre la porte à une perspective séduisante : la construction d'un cadre de confiance de type identité-machine au sein de cet espace en plein essor.

Il reste encore beaucoup à faire. Mais l'attribution d'une identité propre à chaque IA permettrait de renforcer la responsabilité des développeurs et favoriserait une responsabilisation accrue, décourageant ainsi les utilisations malveillantes. L'utilisation de l'identité machine ne se limite pas à la protection des entreprises de demain : il s'agit d'une avancée mesurable dès aujourd'hui. De manière plus générale, elle contribuerait à renforcer la sécurité et la confiance dans une technologie qui, jusqu'à présent, aurait plutôt tendance à en manquer. Pour le régulateur, le temps est venu de réfléchir à la manière de faire de l'identité de l'IA une réalité.