IA : les armes de Google et Facebook pour faire la chasse aux biais
Biais liés à la couleur de peau ou au genre, erreurs d'algorithmes dans la modération des discours haineux, des fake news… Les Gafa sont régulièrement interpellés sur l'éthique de leurs IA. Conçues par des data scientists majoritairement jeunes, blancs et de sexe masculin, mais aussi entraînées sur des jeux de données parfois viciés, elles peuvent introduire des biais. Selon le principe "garbage in, garbage out", des données fausses en entrée pervertissent le modèle de machine learning. Facebook comme Google ont été très tôt confrontés au problème.
Dès 2019, des salariés du premier informent leur direction que les utilisateurs noirs d'Instagram ont une probabilité environ deux fois supérieure de voir leur compte automatiquement désactivé en cas d'infraction. Un peu plus tôt, Instagram avait été accusé de grossophobie, les photos de personnes de forte corpulence étant plus souvent supprimées par ses algorithmes.
L'IA pour corriger l'IA
Suite de ces révélations, le groupe de Mark Zuckerberg a, selon The Verge, constitué une équipe visant à garantir l'équité de ses services. Dans un billet daté du 15 juin 2020, Adam Mosseri, patron d'Instagram, reconnait l'existence de biais algorithmiques dans la plateforme. "Certaines technologies présentent le risque de répéter les schémas développés par nos sociétés biaisées. Bien que nous travaillions beaucoup à prévenir les biais subconscients dans nos produits […], nous devons en faire plus pour les éviter."
En mai 2018, Facebook levait le voile sur Fairness Flow, un outil visant à détecter les prédictions erronées d'un modèle de machine learning, qu'elles soient liées à l'origine, le sexe ou l'âge des individus. L'entreprise a commencé à tester cette technologie sur son IA de recrutement conçue pour matcher offres et demandes d'emploi. Un processus de sélection particulièrement sensible aux biais. Les chercheurs de Facebook ont, depuis, multiplié les travaux sur le sujet.
En novembre 2020, un billet faisait le point sur le recours aux technologies de machine learning pour identifier le plus rapidement possible les discours haineux sur le réseau social. Des IA qui, selon Facebook, détectent désormais de manière proactive 94,7% des contenus qu'il supprime, contre 80,5% un an auparavant et 24% en 2017. Ces avancées s'appuie sur XLM, une méthode développée en interne pour former des systèmes linguistiques dans plusieurs langues sans nécessiter de data sets d'entrainement étiquetés manuellement.
Un algorithme de modération raciste
Google est également pointé du doigt sur le sujet des biais algorithmiques. Dans un passé récent, Google a subi diverses déconvenues sur la question des biais. En août 2019, des chercheurs de l'Université de Washington relevaient que son algorithme Perspective, censé protéger les minorités de la discrimination et identifier les discours haineux (grossiers, irrespectueux ou déraisonnables), comportait de nombreux biais racistes envers les afro-américains. L'algorithme aurait été formé à partir d'une base de données de près de 100 000 tweets "toxiques". Les personnes en charge d'étiqueter le data set ont pris en compte une parte importante de tweets rédigés en anglais vernaculaire afro-américain. Du coup, l'IA associait ce dialecte propre aux afro-américains à des discours haineux.
En 2017 et 2018, Jigsaw réalise une série de tests pour éprouver l'efficacité de Perspective en le confrontant à des termes identitaires autour de l'orientation sexuelle et de l'origine. L'incubateur se alors félicite des progrès obtenus tout en reconnaissance que le travail n'est pas fini. Le modèle de Google génère encore des associations fausses, bien que légères, entre les termes "gay", "homosexuel" et "noir" et les critères de toxicité.
Les salariés formés à l'éthique de l'IA
Pour éviter ce type de bévues, Google lance en 2017 l'initiative PAIR. Puis, il publie l'année suivante ses "principes" en matière d'IA. En 2019, il annonce former des milliers de salariés à l'éthique des algorithmes. Dans un billet publié en juillet 2020, deux de ses dirigeants expliquent que les nouveaux produits seront dorénavant examinés par des experts pour en décortiquer les biais avant leur lancement. Enfin, le groupe a rédigé une profession de foi sur les pratiques responsables en matière d'IA.
Comme Facebook, Google développe des modèles de machine learning pour lutter contre les discriminations. Le plus connu, What-If Tool, a été présenté en 2018. Intégré à l'application open source TensorBoard, il permet de comparer plusieurs modèles d'IA en évaluant leurs éventuels biais. Les résultats sont restitués dans une interface visuelle, ne nécessitant aucune connaissance de code.