Les modèles de gestion des risques : comment aborder les biais et l'équité ?
Récemment, le patron de GitHub, Thomas Dohmke, prédisait qu'après le tsunami provoqué par les logiciels, c'est au tour de l'intelligence artificielle de devenir omniprésente.
Si personne ne peut nier les avantages de l'IA et du machine learning, il est aussi vrai que les risques de ces technologies persistent. Qu'il s'agisse de l'utilisation fiable de l'IA et du machine learning, de la capacité à comprendre les algorithmes ou du risque accru de propagation des préjugés dans la prise de décision, les acteurs du monde technologique (et au-delà) s'inquiètent. Et à juste titre. Cependant, il existe des méthodes que les organisations peuvent adopter pour atténuer ces préoccupations.
Définir le biais et l'équité dans la modélisation des risques
Les biais dans les programmes d'IA sous-entendent qu’une opinion suggestive entre en compte lors d’une prise de décision automatisée. Ainsi, un algorithme bien intentionné formé sur des données biaisées peut, par inadvertance, prendre des décisions biaisées qui discriminent des groupes de personnes.
Dans les modèles de risque - y compris ceux qui utilisent l'IA et le machine learning - les biais peuvent provenir des données de formation du modèle ou des hypothèses émises durant le développement du modèle. Ces biais de données peuvent provenir à la fois de biais historiques, mais aussi de la manière dont les données sont échantillonnées, collectées et traitées.
Les postulats du modèle peuvent entraîner des différences mesurables dans la performance d'un modèle – avec parfois pour conséquence d’exclure une partie de la population. Prenons en exemple les scores des bureaux de crédit. Afin de construire un profil risque, le modèle de machine learning va se baser sur des variables autour de l'âge, du sexe, de la race, de l'ethnicité et de la religion. Bien que les scores ne considèrent pas directement la race comme un facteur, ils ont été élaborés à partir de données comprenant des éléments tels que l'historique des paiements, les montants dus, la durée de crédit et la composition du crédit. Or, la richesse générationnelle influence ces variables auxquelles les emprunteurs, notamment afro-américains aux Etats-Unis, n'ont pas eu un accès égal. S'il n'est pas corrigé, ce biais continuera à produire des scores de crédit inférieurs et une moindre capacité d'accès au crédit pour ces groupes.
L'équité, en revanche, est considérée comme un concept moral primitif et, par nature, porteur de jugement. Étant donné son caractère qualitatif, il est plus difficile de donner une définition transverse de l'équité indépendamment de ses applications. Ainsi, des cultures distinctes auront des définitions différentes de ce qui constitue une décision équitable. Afin de contrôler la partialité et l'équité dans les systèmes d'IA, les fournisseurs de logiciels d'IA et de machine learning ont commencé à proposer des techniques de détection et de correction.
La mesurabilité – le b.a.-ba d’une meilleure équité
Aux États-Unis, les lois sur le prêt équitable, telles que la regulation B et la loi sur l'égalité des chances en matière de crédit (ECOA), protègent les consommateurs contre la discrimination dans les décisions de prêt. Cette loi interdit à tout créancier d'exercer une discrimination à l'encontre d'un demandeur, concernant tout aspect d'une transaction de crédit, que ce soit en raison de sa race, de la couleur de sa peau, de sa religion, de son origine nationale, de son sexe, de son statut marital ou de son âge. En France, la loi contre la discrimination couvre tous les secteurs, sans avoir un volet spécifique pour l’octroi du crédit.
Il existe aujourd'hui une série de mesures et de méthodes permettant d'évaluer l'équité des résultats de modèles. Pour la gestion des risques, il est recommandé que les contrôles de biais et d'équité soient intégrés tout au long du cycle de vie du modèle au niveau des données, du modèle lui-même et de la couche de décision. La liste des mesures populaires de détection du risque d'iniquité qui peuvent aider à signaler une anomalie dans un modèle, devient heureusement de plus en plus longue. Entre autres, elle inclut l’analyse de corrélation, la parité prédictive positive ou alors l’analyse contrefactuelle. A titre d’illustration, pour évaluer l'équité au niveau individuel, l'analyse contrefactuelle compare les attributs causaux du même dossier avec une version ajustée du dossier pour évaluer le changement de résultat. En considérant que tous les facteurs soient égaux, avec un changement de la valeur d'une variable protégée, comme la race ou le sexe, découvririons-nous une différence dans le modèle ou le résultat de la décision ?
La gestion efficace des risques se fait davantage en première ligne. Lors de l'utilisation de l'analytique avancée, il est de plus en plus important de comprendre et de mesurer le risque d'équité pour éviter d'exploiter les consommateurs vulnérables. La création de cadres et de processus visant à atténuer les préjugés et à traiter le risque d'équité permettra à l'avenir de l'étendre à d'autres modèles de risque avec rigueur.