Responsable des risques IA, un nouveau métier au service du machine learning
Le 21 avril dernier, la Commission européenne publiait son projet très attendu de réglementation sur l'intelligence artificielle. Un cadre légal qui prévoit d'imposer des obligations juridiques en fonction du niveau de risque des IA (lire l'article IA éthique et responsable : une première matrice de gouvernance se dévoile). Quatre catégories sont distinguées : les IA inacceptables et donc interdites, comme celles visant à manipuler le comportement humain, les IA à risque élevé impliquant des audits, tel le scoring de crédit ou de CV, les IA à risque limité soumise à des principes de transparence, les chatbots ou le deepfake par exemple, et, enfin, les IA à risque minime, à l'image des filtres anti-spam, qui ne feront l'objet d'aucune d'obligation particulière.
Impliquant un audit dans les structures de plus de 50 salariés et de plus de 10 millions de revenu, les IA à risque élevé concentrent tous les regards. "Les entreprises positionnées dans ce domaine vont devoir nommer un responsable des risques experts en intelligence artificielle", estime Kenn So, associé chez Shasta Ventures et spécialiste du marché de l'IA. Dans cette catégorie dite à risque élevé, la Commission européenne regroupe sans surprise les IA touchant à la justice et au maintien de l'ordre, aux processus démocratiques, à la gestion des migrations, aux infrastructures critiques (électricité, transport...) et aux services publics essentiels. Mais elle y classe également les applications intelligentes centrées sur la sécurité des produits, la formation professionnelle, et plus globalement la gestion de la main d'œuvre et l'accès à l'emploi. C'est-à-dire des IA que toute entreprise est susceptible d'utiliser à terme.
Gérer la mise en conformité
"Le comité des risques se devra en toute logique d'ajouter l'IA à ses domaines de compétences", souligne Isabelle Budor, directrice associée data, privacy et ethics chez Capgemini Invent. Des audits externes entreront en action pour certifier la conformité des IA à risques élevés avec la régulation. Des audits internes, eux, évalueront l'efficacité des processus de gouvernance, de management et de contrôle, et leur alignement sur les objectifs stratégiques de l'entreprise. En amont, le responsable des risques de l'IA s'assurera que l'entreprise est prête. "Il doit faire preuve d'une compréhension approfondie de l'intelligence artificielle, des technologies et des données sous-jacentes, des droits fondamentaux, des risques pour la santé et la sécurité, et maitriser les exigences légales", souligne Kenn So.
Le cadre juridique défini par la Commission européenne liste l'ensemble des exigences attendues d'une IA qui devraient constituer la base des futurs audits :
- Des data sets de haute qualité pour minimiser les risques et la discrimination,
- Des systèmes adéquats d'évaluation et d'atténuation des risques,
- L'enregistrement des activités pour assurer la traçabilité des résultats,
- Une documentation détaillée fournissant toutes les informations nécessaires sur le système et son objectif pour permettre d'évaluer sa conformité,
- Une information claire et adéquate à l'utilisateur,
- Des mesures de surveillance humaine appropriées pour minimiser les risques,
- Un haut niveau de robustesse, de sécurité et de précision.
"Dans le cas des start-up, la mise en conformité sera portée par toute l'entreprise avec le plein investissement des fondateurs. Dans les grandes entreprises, elle sera gérée par une ou plusieurs équipes pilotées par le responsable des risques de l'IA", anticipe Kenn So chez Shasta Ventures.
En binôme avec un ingénieur qualité
Certes, l'entrée en vigueur de la législation européenne n'est pas pour demain. Les décrets d'application devraient être adoptés d'ici trois à quatre ans. "Mais comme pour le RGPD, il est conseillé de prendre les devants", insiste Gwendal Bihan, cofondateur et CEO du cabinet de conseil Axionable. Avec pour mission de tester les produits en amont de leur commercialisation, le Laboratoire français de métrologie et d'essais (LNE) a anticipé l'arrivée du futur règlement en lançant le 12 juillet dernier une certification ciblant les IA.
"En parallèle, un nouveau profil d'ingénieur qualité, là-encore spécialiste en IA, va probablement voir le jour", complète Isabelle Budor. Il aura pour mission de s'assurer de la mise en conformité des produits et services avec les exigences de l'entreprise, y compris celles liées à la gestion des risques identifiées en amont par le responsable des risques de l'IA. A l'instar de ce dernier, il devra maitriser le produit, ses contraintes, mais également les algorithmes et la nouvelle réglementation. Comme souvent, les postes clés impliquent des profils à plusieurs casquettes.
Une fois les systèmes d'IA commercialisés, les autorités de régulation seront chargées de la surveillance du marché et les utilisateurs (et notamment les responsables des risques des IA, ndlr) de leur surveillance sur la base d'outils de monitoring mis en place par les fournisseurs", explique la Commission européenne. Aux fournisseurs et aux utilisateurs de signaler tout incident grave et dysfonctionnements.