Le transfer learning : principal levier au service du deep learning

Le transfer learning : principal levier au service du deep learning Mis au service de la reconnaissance d'image ou vocale, les réseaux de neurones nécessitent une puissance de calcul souvent massive. Le transfert d'apprentissage apporte une réponse au problème.

Brique clé de la vision par ordinateur et de l'intelligence vocale, le deep learning implique une puissance de calcul souvent massive pour fonctionner. L'enjeu est notamment d'entrainer les modèles d'apprentissage des réseaux de neurones qu'il met en musique. Résultat : les processus de traitement sous-jacents se traduisent par des coûts souvent élevés de puissance informatique et surtout des temps d'exécution longs pour aboutir à une IA de qualité. Une solution existe néanmoins pour optimiser cette phase : mutualiser l'apprentissage et les connaissances acquises d'un modèle à l'autre, en pratiquant ce que les experts appellent le transfer learning.

Prenons l'exemple de la vision par ordinateur. Sur ce terrain, les réseaux de neurones permettent typiquement à la machine de reconnaitre un objet sur des photos, par exemple un type de produit ou une catégorie de personne (enfant, adulte, femme, homme...). Pour ce faire, ils se déclinent en couches, chacune centrée sur un élément graphique à identifier, du plus général au plus particulier. S'il s'agit de repérer un chien, le réseau s'attachera ainsi à rechercher d'abord la présence d'une tête, puis de deux oreilles, de quatre pattes, de poils... Pour chaque couche, de nombreuses variables graphiques pourront être prises en compte. Des poids seront définis pour chacune, permettant au final par hiérarchies de combinaisons de repérer la forme globale la plus approchante du sujet à trouver.

"En fonction de la complexité de l'objet à cerner, le volume d'exemples à ingérer lors de la phase d'entrainement du modèle pourra représenter très vite des millions voire des milliards d'images, et par conséquent faire exploser la puissance et les temps de calcul nécessaires", explique Aziz Cherfaoui, directeur technique au sein du cabinet de conseil français Keyrus. Sur le front de la voiture autonome où les cas de figure de scènes à identifier se multiplient, ces chiffres deviendraient encore plus astronomiques... Le niveau de définition des images aura elle-aussi un impact sur la capacité IT à mettre en œuvre. "Dans le domaine de la reconnaissance vocale, le niveau résolution (8, 16, 24, 32 bits) et la fréquence d'échantillonnage des sons (44100 Hz, 48000 Hz) ainsi que la finesse du modèle à capter les nuances de ton et faire la différence entre deux voix feront varier la durée des traitements", précise Aziz Cherfaoui.

"Typiquement, un réseau neuronal qui a appris à reconnaître un chien en photo pourra être en majorité repris pour détecter un chat"

D'où l'intérêt du transfer learning. "Typiquement, un réseau neuronal qui a appris à reconnaître un chien en photo pourra être en majorité repris pour détecter un chat. Un animal qui a également une tête, deux oreilles, quatre pattes, etc. Les couches du réseau correspondantes pourront ainsi être réexploitées. Il ne restera plus que les couches supérieures à ajouter. Ce qui, au final, contribue à réduire de manière très significative le temps et la capacité de calcul", poursuit Aziz Cherfaoui. Du coup, et on le comprend aisément, les data scientists sont friands de cette méthode.

Pour faciliter cette réexploitation des algorithmes de deep learning, des places de marché se sont développées. Baptisées les zoos dans le jargon des spécialistes, elles donnent accès à des modèles d'apprentissage mais aussi des data sets qualifiés conçus pour entraîner les IA. C'est le cas par exemple de la plateforme web Algorithmia. Créée en 2013, cette dernière regroupe plus de 5 000 algorithmes et revendique 60 000 utilisateurs. Le MIT comme les universités d'Austin, Berkeley, Tokyo, Toronto et Washington figurent parmi ses contributeurs les plus célèbres (lire l'article : Algorithmia, la plus grande place de marché d'algorithmes indépendante). Autre place de marché positionnée sur ce terrain : Quantiacs.

Du côté des GAFA, la plupart d'entre eux auraient recours au transfer learning pour leurs propres besoins. "Il y a fort à parier par exemple que Google pratique du transfer learning entre ses différents services web. Il peut en effet tirer parti par exemple des requêtes saisies par ses utilisateurs sur son moteur de recherche ou sur Google Map pour affiner ensuite les modèles d'apprentissage de son assistant vocal Google Home, notamment quant à sa capacité à anticiper et répondre aux questions", complète Aziz Cherfaoui.

A lire aussi

Annonces Google