IA éthique et responsable : une première matrice de gouvernance se dévoile
Depuis la publication par la Commission européenne d'un premier livre blanc sur l'IA en 2018, un consensus émerge en Europe sur la délicate question du périmètre éthique de l'intelligence artificielle. "Il recouvre à la fois le sujet des données personnelles utilisées pour entrainer et exécuter les modèles, mais aussi les potentiels biais et dérives qu'ils peuvent engendrer, sans oublier les enjeux d'économie d'énergie des systèmes de machine learning", égraine Gwendal Bihan, cofondateur et CEO du cabinet de conseil Axionable. Isabelle Budor, directrice associée data, privacy et ethics chez Capgemini Invent, ajoute : "La place de la gouvernance éthique de l'IA doit être proportionnelle à sa proximité avec le cœur de métier de l'entreprise et le niveau de risque estimé par la législation". Sur ce dernier point, on pourra se référer au projet de réglementation publié par la Commission européenne le 21 avril dernier, qui dresse une classification des IA par niveau de risque.
| Niveaux de risque | Types d'IA et domaines d'application | Règles et obligations |
|---|---|---|
| Risque inacceptable | - Applications d'IA qui manipulent le comportement humain pour priver les utilisateurs de leur libre arbitre, - Systèmes qui permettent la notation sociale par les États. |
Interdiction |
| Haut risque | Systèmes d'identification biométrique à distance. | Utilisation en temps réel restreinte au maintien de l'ordre dans des cas limité : par exemple, pour rechercher un enfant disparu, prévenir une menace terroriste ou détecter, localiser, identifier ou poursuivre l'auteur ou le suspect d'une infraction pénale grave. Ces systèmes doivent être autorisés par une instance judiciaire ou autre organe indépendante. |
| Risque élevé | - Infrastructures critiques (électricité, transport...), - Education ou formation professionnelle, - Composants de sécurité des produits, - Gestion de la main d'œuvre et accès à l'emploi, - Services privés et publics essentiels, - Maintien de l'ordre, - Gestion de la migration, de l'asile et des contrôles aux frontières, - Administration de la justice et des processus démocratiques. |
- Qualité élevée des data sets pour réduire les résultats discriminatoire, - Systèmes d'évaluation et d'atténuation des risques, - Enregistrement des activités pour garantir la traçabilité des résultats, - Documentation détaillée, - Informations claires et adéquates à l'intention de l'utilisateur, - Contrôle humain approprié, - Niveau élevé de robustesse, de sécurité et d'exactitude. |
| Risque limité | Chatbots, callbots, voicebots... | Systèmes d'IA auxquels s'appliquent des obligations spécifiques en matière de transparence vis-à-vis des utilisateurs. |
| Risque minime | Jeux vidéo, filtres anti-spam.... | Utilisation libre sans obligation réglementaire. |
"Si l'IA est au cœur du produit et, qui plus est, classée dans un domaine considéré à haut risque par l'UE, sa gouvernance devra alors être pilotée par la direction générale", prévient Isabelle Budor. "Est-ce que les cas d'usage envisagés sont trop risqués par rapport aux moyens que l'on est prêts à déployer ? Il s'agira l'équation centrale à résoudre." Sur le plan opérationnel, on pourra s'appuyer sur les instances et process de gouvernance éthique déjà existants. Par exemple sur le front de l'ingénierie qualité ou de la gestion des données (autour du RGPD), ces dernières étant la pierre angulaire du machine learning. "Chargé en principe de superviser l'ensemble des risques (financiers, stratégiques, réglementaires, environnementaux...), le comité des risques se devra en toute logique ajouter l'IA à ses domaines de compétences", ajoute Isabelle Budor.
Comme les autres, les produits à base d'IA commercialisés au sein de l'UE doivent faire l'objet d'un marquage CE certifiant leur conformité avec les exigences de la réglementation communautaire. "L'objectif est désormais d'intégrer à ces exigences un volet ad hoc. Ce qui va passer par l'adoption de décrets d'ici trois à quatre ans", anticipe Gwendal Bihan. Isabelle Budor complète : "Les données à intégrer aux notices d'utilisation seront évidemment précisées, en termes de caractéristiques, de mode d'emploi, d'éventuelles contre-indications..." Les autorités nationales chargées de la surveillance du marché veilleront au respect de ces futures règles.
Un cadre de certification se dessine
Avec pour mission de tester les produits en amont de leur commercialisation, le Laboratoire français de métrologie et d'essais (LNE) a pris les devants. L'établissement public a lancé le 12 juillet dernier une certification ciblant les IA. "Elle porte sur les processus : de la conception de l'application et son développement jusqu'à son maintien en conditions opérationnelles en passant par son évaluation. Elle nécessite de démontrer la capacité à répondre aux exigences des clients en termes de performance, de confidentialité, d'éthique, de réglementation", détaille Gwendal Bihan. "Cette certification produit et son référentiel de bonnes pratiques permettent d'anticiper l'entrée en vigueur des décrets européens."
En parallèle, plusieurs labels peuvent venir renforcer la matrice de gouvernance en faveur d'une IA éthique. C'est le cas du label GEEIS-AI. A l'initiative d'Orange, il vient reconnaitre les organisations soucieuses de réduire les biais algorithmiques sexistes reproduisant les différences de traitement présentes dans les historiques d'entrainement (en matière de rémunération, de recrutement, d'octroi de crédit...). Mis en œuvre dans le cadre du Fonds de dotation Arborus, GEEIS-AI est soutenu par Carrefour, Danone, EDF, L'Oréal ou encore Sodexo.
"La Déclaration de Montréal propose en quelque sorte un serment d'Hippocrate du data scientist"
"Aux côtés de cette initiative, on relève la Déclaration de Montréal pour une IA éthique et responsable, que toute organisation peut signer. Elle propose en quelque sorte un serment d'Hippocrate du data scientist", note Gwendal Bihan. A l'initiative de l'Université de Montréal, elle s'articule autour de 10 grands principes : le bien-être, l'autonomie, la vie privée, la solidarité, la démocratie, l'équité, l'inclusion, la prudence, la responsabilité et la soutenabilité environnementale.
En parallèle, un premier projet de norme a été lancé par l'Organisation internationale de normalisation (ISO). Objectif affiché : définir une approche normalisée permettant aboutir à une IA de confiance, qui soit à la fois transparente, explicable et contrôlable. Dans la même optique, l'Association française de normalisation (Afnor) a elle-aussi initié un chantier sur le sujet.
Pour outiller les politiques de gouvernance éthique, des applications taillées pour détecter les biais algorithmiques (sexistes, racistes...) ont vu le jour. C'est le cas d'AI Fairness 360 chez IBM, ou encore des outils d'explicabilité Lime ou Shap qui permettent de cerner les données ayant le plus de poids dans le calcul d'une prédiction.
Vers une solution au dilemme moral
Reste une question épineuse. Celle du dilemme moral auquel sont confrontées les IA autonomes. Une problématique déjà bien connue dans le secteur automobile. Entre éviter un piéton et emboutir une moto, que choisir ? "Certes ce dilemme se pose également à l'humain. Mais ce qui est toléré chez l'humain ne l'est pas chez un robot, même si celui-ci est statistiquement plus fiable", reconnait le CEO d'Axionable. "Il n'existe pas ou très peu de données d'entrainement pour simuler ces cas extrêmes, par définition très rares." Face à cette difficulté, les constructeurs préfèrent pour le moment s'en remettre à la présence d'un opérateur humain qui pourra à tout moment reprendre la main si nécessaire.
Philosophe et chercheur en éthique à l'Université de Montréal, Marin Gilbert propose une solution. "En partant d'une base de personnes considérées vertueuses qui aura été constituée à partir d'une consultation collective, on pourrait appliquer un algorithme à la proportionnel", explique-t-il dans les colonnes du Monde. Si 50% des personnes vertueuses évitent le piéton, 40% la moto, et 10% préfère s'en remettre au hasard, le véhicule pourrait alors prendre une décision respectant ces proportions. "D'un point de vue moral, on aboutirait à un résultat imprévisible, mais pas indifférent", conclut Marin Gilbert.
Isabelle Budor de réagir : "C'est une piste intéressante. Elle introduit néanmoins un volet subjectif tout en faisant peser une grosse pression sur les épaules des personnes retenues." La directrice associée de Capgemini Invent préfère une autre solution : partir d'historiques revus et corrigés pour éliminer les biais et tenir compte des configurations extrêmes. Une voie qui semble faire consensus. Pour preuve : 82% des décideurs IT impliqués dans des projets de vision par ordinateur saluent les bienfaits de cette démarche dite de synthetic data, tout en pointant du doigt les risques d'une collecte sans filet des données du "monde réel". C'est là l'un des principaux enseignements d'une étude réalisée par l'éditeur Synthesis.ai en lien avec le cabinet Vanson Bourne.