6 bonnes pratiques pour minimiser les biais en IA
Les experts en data science le savent. Les biais sont inhérents à toute manipulation de données statistiques. Comme pour les biais cognitifs humains, les biais en IA existent sous des formes diverses et peuvent avoir des impacts plus ou moins importants. Les cas médiatisés sont légion. On pense spontanément au robot recruteur d'Amazon qui discriminait les femmes jusqu'à son arrêt en 2018. Entraîné grâce à l'historique des embauches du géant de l'e-commerce employant majoritairement des hommes, l'IA en avait déduit qu'elle devait privilégier les candidatures masculines. L'IA peut aussi établir des corrélations malheureuses. Reliable AI scientific lead chez Quantmetry, Grégoire Martinon cite le cas du tri des patients aux urgences d'un hôpital. Une expérimentation a conduit à laisser une IA effectuer cette priorisation à la place des médecins. "Cette tentative d'automatisation a donné des résultats contre-intuitifs, observe-t-il. "L'IA avait déduit de l'historique des consultations que les personnes asthmatiques atteintes de pneumonie pouvaient attendre."
A côté de ces dérives aisément repérables, il existe, selon l'expert, des biais plus "subtils" mais tout aussi profonds. "Si on tape "PDG" dans Google Images apparaissent à 85% des photos d'hommes. Le moteur de recherche peut se retrancher derrière le fait que les hommes sont effectivement sur-représentés chez les cadres dirigeants. "Cela ne fait toutefois que fossiliser une situation socialement inacceptable", estime Grégoire Martinon.
1. Prendre conscience de l'existence de multiples biais
Biais d'évaluation, d'omission, d'agrégation, de présentation, de confirmation, d'attribution… Quelque 180 biais altérant notre jugement auraient été recensés à ce jour selon un billet publié par KPMG France. Des biais qui s'introduisent dès le recueil et la sélection des données puis lors de l'entraînement de l'algorithme et, enfin, une fois celui-ci en production, dans l'interprétation du résultat. Une première étape dans la chasse aux biais consiste à prendre pleinement conscience de leur existence et de leur diversité. Grégoire Martinon cerne trois grandes familles de biais. Les biais historiques qui reproduisent les biais du passé (Amazon), les biais de causalité qui établissent des corrélations malheureuses sans logique de cause à effet (personnes asthmatiques), les biais de représentativité dus à un manque de diversité dans le jeu de données (Google Images).
2. Etre vigilant sur l'acquisition des données
Les données en entrée constituent la première source de biais. Une vigilance toute particulière doit donc être portée à l'acquisition de données. "Le jeu de données qui entraîne le modèle doit être représentatif de la population cible sans oublier d'inclure les minorités ethniques à parts égales de leur représentativité dans l'humanité tout entière", rappelle Grégoire Martinon. "A défaut, on perpétue les biais existants." Une réponse simple consisterait à dire "plus il y a de données et plus le signal sera précis" mais elle serait de portée limitée à ses yeux. "Dans ce cas, la définition de l'image sera effectivement meilleure mais le point de vue restera le même."
Il convient donc, selon lui, d'avoir une vision à 360° sur le processus d'acquisition. Comment les données ont été acquises ? Sont-elles représentatives ? "Aujourd'hui, la plupart des modèles de traitement d'image et de texte sont entraînés sur des jeux de données faiblement nettoyés aspirés sur internet, avec tous les biais qu'ils contiennent", déplore Grégoire Martinon. Pour l'expert, il s'agit avant tout de se concentrer sur les variables sensibles comme le genre, l'origine ethnique ou le lieu d'habitation. "A partir d'un niveau de diplômes ou d'un lieu d'habitation, il est malheureusement possible de présupposer une origine ethnique et de recommander des produits ou des offres d'emploi en fonction de certains sociotypes. LinkedIn a, par exemple, un proxy de localisation qui oriente différemment ses offres d'emploi."
3. Mesurer l'impact des biais
Une fois que l'on a des données représentatives, on peut partir sur la modélisation. Il convient à ce stade de définir des métriques pour mesurer les biais et diagnostiquer d'éventuelles dérives.
Il existe des méthodes d'interprétabilité comme les approches graphiques ICE (individual conditional expectations) et PDP (partial dependance plot) qui proposent d'établir visuellement la relation entre une variable et le phénomène à expliquer. Les approches holistiques LIME (pour local interpretable model-agnostic explanations) et SHAP (shapley additive explanations) se proposent de regarder l'impact sur les résultats quand on modifie une ou un couple de ces variables. Un billet du cabinet Avisia aide à choisir la meilleure approche. Les plateformes de MLOps comme celles du français Dataiku ou de l'américain DataRobot intègrent ces approches. Les hyperscalers proposent leurs propres solutions de détection de biais sous forme de services cloud. C'est le cas de SageMaker Clarify pour Amazon Web Services. Microsoft et Facebook proposent, eux, des outils en open source avec respectivement InterpretML et Fairness Flow.
Une fois les biais identifiés, quelle méthode adopter ? Grégoire Martinon prend l'exemple d'une stratégie de recrutement qui vise à embaucher autant de femmes que d'hommes. "Pour redresser un biais de représentativité, une piste peut être de surpondérer la contribution des candidates femmes afin d'arriver à un rééquilibrage", souligne l'expert.
4. Faire le choix de l'explicabilité
La chasse aux biais renvoie à la notion d'explicabilité de l'IA qui fait partie des sept exigences définies par la Commission européenne pour parvenir à une IA dite de confiance. "Toutes les prédictions d'une IA doivent pouvoir être justifiées", estime Grégoire Martinon. Une banque est tenue, par exemple, d'expliciter les critères d'octroi ou de refus d'un crédit bancaire. "Un conseiller doit être capable d'expliquer à Mme Michu que le refus de crédit est lié à son âgée, à son niveau d'endettement ou à ses revenus insuffisants."
Dans ce domaine de l'IA explicable ou X-AI (Explainable AI), le choix de l'algorithme est déterminant. Basés sur des règles métiers, les arbres de décision, les régressions linéaires ou les systèmes experts offrent des résultats aisément interprétables. Ils ne conviennent toutefois pas à des cas d'usage complexes comme la reconnaissance d'images. Les réseaux neuronaux prennent alors le relais mais au prix d'une forte opacité.
Pour éviter l'effet "boîte noire", un équilibre est à trouver entre performances et transparence. Dans un livre blanc intitulé "Intelligence artificielle, restez maître de votre futur !", l'ESN Business & Decision propose à partir d'un tableau comparatif de choisir son type d'algorithme en fonction notamment de la notion d'explicabilité et du risque de biais.
5. Impliquer les experts métiers à toutes les étapes
Le meilleur moyen de réduire les biais reste de laisser l'humain exercer un contrôle continu sur le modèle. Associé chez KPMG France, Romain Lamotte insiste sur l'importance de l'implication des utilisateurs finaux. "Les experts métier doivent être dans la boucle durant tout le cycle de vie d'un projet d'IA, dès la définition du cas d'usage et la conception du modèle jusqu'à son suivi dans le temps", explique-t-il.
Au-delà de leur expertise métier, ces non-spécialistes de l'IA présentent aussi l'intérêt de prendre, a priori, davantage de recul sur les résultats obtenus. Cette implication est d'autant plus essentielle que la démocratisation de l'IA et la notion de citizen développer gagnent du terrain. "Des opérationnels vont s'emparer de modèles d'IA préconstruits", observe Frédéric Commo. "Cela suppose au préalable un travail de sensibilisation et d'éducation pour qu'ils puissent se forger un esprit critique."
Grégoire Martinon étend cet effort de sensibilisation aux utilisateurs finaux. "Les conseillers bancaires, les médecins ou les policiers assistés par une IA doivent être conscients de ses limites et être capables de remettre en cause ses arbitrages. Un biais de confort consiste à suivre la préconisation de l'IA en mettant son esprit critique dans une armoire", argue le consultant.
6. Sensibiliser les équipes de data scientists
Finissons par les premiers concernés par la chasse aux biais : les équipes de data science. "Le volet éthique n'est pas toujours intégré dans les cursus des écoles d'ingénieurs et des experts en IA se sont parfois formés sur le tas", déplore Grégoire Martinon. "Ils ont été éduqués avant tout dans le culte de la performance". Par ailleurs, il pointe le problème de représentativité dans les équipes de data science. Le portrait-robot du data scientist est celui d'un homme blanc, âgé de 25 à 35 ans. Du coup, certaines questions sur la parité ou l'inclusion des minorités ethniques pourraient passer à la trappe. "Des données ou des cas d'usage peuvent paraître anodins à certains et choquants à d'autres", pointe le spécialiste.
Des initiatives se multiplient toutefois pour éveiller les consciences. Des associations comme Women in AI ou Black in AI tentent d'introduire davantage de diversité dans le milieu de la data science. Le collectif Impact AI, qui réunit des entreprises, des ESN, des acteurs spécialisés ou des start-up, s'engage, lui, pour une intelligence artificielle éthique et responsable. On peut aussi évoquer l'association Data for good et son serment d'Hippocrate du data scientist ou Labelia, un nouveau label d'IA responsable et de confiance.