Comment ouvrir la boîte noire de l'IA ?
Comment rendre un algorithme de machine learning interprétable ou explicable ? Un véritable défi quand il s'agit d'éclairer un décideur sur le résultat d'une IA qu'il est censé utiliser pour éclairer ses orientations opérationnelles ou stratégiques. Comment pourrait-il se prononcer s'il ne saisit pas la manière dont le modèle fonctionne, s'il n'a aucun moyen d'apprécier le processus logique qui a conduit à générer tel ou tel indicateur en matière de prévision financière, de recommandation de produits, de maintenance prédictive... Transparence rime aussi avec confiance, et tout particulièrement lorsqu'on évoque l'IA comme nouvelle étape dans l'automatisation des systèmes. La transparence de l'intelligence artificielle va par ailleurs de pair avec des considérations réglementaires : comment une autorité de mise sur le marché peut-elle certifier une IA si elle se résume à une black box ?
En matière d'IA, les chercheurs et data scientists distinguent clairement interprétabilité et explicabilité. "Un algorithme est dit interprétable quand on comprend comment il fonctionne, comment il apprend. C'est typiquement le cas d'une régression linéaire dont le résultat peut s'exprimer sous une forme analytique simple", souligne Andrea Mogini, patron de l'équipe data scientist chez Keyrus, ESN française experte en data intelligence.
Ludovic Denoyer, research scientist chez Facebook Artificial Intelligence Research ajoute : "Globalement, tous les modèles de machine learning basés sur des symboles et opérations sont interprétables relativement aisément : des systèmes experts aux arbres de décision en passant par les forêts aléatoires et les classifications." Tous peuvent s'exprimer de manière analytique, avec à la clé des successions de variables, aux poids différents, ou de règles logiques. "Evidemment, il sera le plus souvent matériellement impossible de reproduire les séquences complètes de calcul compte tenu du volume de paramètres et de données ingérés", précise le chercheur.
A l'inverse des algorithmes de machine learning dits classiques, le deep learning, lui, ne peut se résumer à des formes analytiques simples. Il n'est donc pas "nativement" interprétable. Ce qui ne l'empêche pas d'afficher des résultats révolutionnaires, notamment dans la vision par ordinateur ou le traitement automatique du langage naturel et de la voix. C'est ce qui fait son succès. Un vrai paradoxe.
"Réduire un modèle à un algorithme moins complexe"
Quant à l'explicabilité d'un algorithme, elle consiste à identifier pas à pas les variables d'entrée qui ont mené aux résultats qu'il produit. Dans le cas d'un réseau de neurones par exemple, il s'agira de revenir aux pixels ou à la région d'une image dont le poids aura été prépondérant pour aboutir à une reconnaissance de forme. La méthode DeepLift (pour Deep Learning Important FeaTures) a précisément été conçue pour mettre en œuvre ce type de rétro ingénierie. Elle consiste à remonter au sein d'un réseau de neurones, couche par couche, en assignant un score de contribution à chaque neurone pour cerner au final l'importance prise par telle ou telle data en entrée du système.
Il existe de nombreuses autres méthodes et outils d'explicabilité orientés machine learning. C'est le cas d'Eli5 qui est taillé pour élucider les processus de prévision des classificateurs et régresseurs linéaires de la librairie Scikit-learn, ou encore de Shap qui consiste à moyenner l'impact qu'une variable a pour toutes les combinaisons de variables possibles d'un modèle. "Les variables combinées peuvent évidemment avoir plus d'impact que si elles sont prises indépendamment", commente Frédérick Vautrain, directeur data sciences de Viseo.
"On peut forcer un réseau de neurones à passer par un système symbolique compréhensible"
Côté interprétabilité, "une des méthodes est de réduire le modèle de départ à un algorithme moins complexe tel un arbre de décision ou une régression", explique Jérémie Méhault, consultant en data science chez Viseo. L'approche Lime (pour Local interpretable model-agnostic explanation) s'inscrit précisément dans cette logique. "Elle consiste à partir d'un résultat d'un modèle complexe (de classification en l'occurrence dans le cas de Lime, ndlr) à traduire ce dernier sous la forme d'une approximation linéaire interprétable par un humain", précise Andrea Mogini chez Keyrus.
Aux côtés de Lime, InterpretML figure parmi les outils d'interprétation les plus populaires dans l'IA. Développé par Microsoft, ce package open source introduit son propre algorithme d'interprétation (Explainable Boosting Machine) mais prend également en charge les méthodes Lime et Shap.
Reste à savoir comment rendre un réseau de neurones interprétable ? "En matière de reconnaissance d'images par exemple, l'une des pistes consiste à forcer un modèle de deep learning à passer par un système symbolique compréhensible par l'Homme", argue Ludovic Denoyer. Dans le cas d'un modèle de deep learning de reconnaissance d'animaux, chaque couche du réseau sera centrée alors sur une composante visuelle sémantique de l'animal à détecter : une patte, une oreille, la gueule.
Au-delà de l'interprétabilité et de l'explicabilité d'un modèle d'IA, maîtriser les résultats d'un algorithme passe enfin par le test. "L'objectif est de mesurer la cohérence des résultats avec les objectifs fixés et analyser la sensibiliser aux erreurs", précise Frédérick Vautrain chez Viseo. Andrea Mogini complète : "Il s'agit de mettre au point des protocoles pour éprouver les modèles notamment vis-à-vis des biais qu'on désire éviter. Il est d'ailleurs recommandé de traquer les biais tout au long de la phase d'apprentissage." Des crash test qui, au-delà de la transparence de l'IA, seront un gage de qualité.