L'IA des Français de Hugging Face érigée en techno de référence par AWS
Fondé en 2016 par deux ingénieurs français, Clément Delangue et Julien Chaumond, Hugging Face s'est fait connaitre en développant une infrastructure open source de NLP (pour natural language processing) qui est devenue au fil des mois l'une des bibliothèques de machine learning de référence. Baptisée Hugging Face Transformers, elle affiche près de 43 milles étoiles sur son dépôt GitHub. Comptant plus de 7 000 modèles, elle couvre 140 langues, jusqu'au breton, au bantu parlé en Angola et en Namibie et à l'esperanto. La start-up revendique plus de 100 000 entreprises utilisant Transformers. La solution répond à de multiples cas d'usage : traduction, génération ou résumé de texte, classification, reconnaissance d'entité, analyse de sentiments... Aujourd'hui, Amazon annonce l'intégration de Transformers à sa plateforme d'IA en mode cloud, SageMaker. L'infrastructure est prise en charge par Amazon au même titre que les frameworks de deep learning TensorFlow, PyTorch, MXNet ou Chainer. Une véritable consécration pour Hugging Face.
Une offre d'AutoNLP basée sur SageMaker
Parmi ses principaux chevaux de bataille, Hugging Face entend lutter contre l'explosion de la taille des modèles. Face à ce fléau, la société franco-américaine mise sur la distillation de modèles. "Cette technique a été introduite par l'un des membres de notre équipe scientifique, Victor Sanh, via DistilBERT qui est désormais l'un des deux modèles de NLP les plus utilisés par notre communauté", explique Jeff Boudier, product et growth chez Hugging Face. "Il est 40% plus léger et 60% plus rapide que BERT (le modèle de NLP développé par Google dont il s'inspire, ndlr), tout en conservant 98% de sa précision." Autre méthode introduite par Hugging Face en matière de performance, le Movement Pruning consiste à optimiser la structure d'un réseau de neurones dans l'optique d'en supprimer des couches ou parties de couche, en vue in fine de l'alléger, le tout sans nuire à la précision de la prédiction. Enfin, Hugging Face tire profit du Block-Sparsity. "Il s'agit d'une technique open source dont notre ingénieur François Lagunas est le lead, qui consiste à analyser le nombre de zéros par blocs, pour obtenir un modèle doté de paramètres denses d'une part et de paramètres vides d'autre part. Ce qui réduit ensuite la complexité du calcul", détaille Jeff Boudier. Tout l'art de Hugging Face étant ensuite de combiner ces différents procédés.
"Nous avons récemment introduit des modèles dans la reconnaissance vocale"
Dans le cadre de son partenariat avec AWS, Hugging Face lance une offre cloud d'inférence de modèles (Accelerated Inference API) tirant parti du IaaS d'Amazon. Autre annonce : un service cloud d'entrainement taillée pour Transformers. Baptisée AutoNLP, il s'agit comme son nom l'indique d'une solution de NLP automatisée. Elle couvre plusieurs cas d'usage : la classification binaire, la classification à multiples classes, et la reconnaissance d'entités nommées dans neuf langues. A partir d'un data set de départ, AutoNLP génèrera automatiquement plusieurs modèles parmi lesquels le client pourra choisir celui qui lui convient le mieux. Pour ce faire, AutoNLP identifie d'abord l'architecture qui fournit les meilleurs résultats parmi les 40 architectures inclues dans Transformers. Il recourt ensuite au transfert learning. Compte tenu des données d'apprentissage soumises, AutoNLP établit, pour finir, une configuration d'hyperparamètres.
Au fur et à mesure de son développement, la nouvelle offre cloud a été mise entre les mains de plusieurs clients communs à AWS et Hugging Face, parmi lesquels Kustomer, Musixmatch ou Quantum Health.
Vers une architecture plus généraliste
"AutoNLP bénéficie du travail d'intégration de Transformers à AWS", insiste-t-on chez Hugging Face. Une intégration qui est passée par l'implémentation de nouvelles méthodes dans le SDK Python d'Amazon SageMaker, et par le développement d'un nouveau format de container (le Face Deep Learning Container). Résultat : une simple ligne de code permet de lancer sur AWS l'entrainement d'un des 7000 modèles de Transfomers en partant d'un set de données d'apprentissage spécifique. Supportant n'importe quelle instance de calcul Amazon EC2 ou Spot, le process exploite des librairie d'AWS en matière de parallélisme de data et de modèles, qui permettent d'accélérer la phase de learning. Quant à AutoNLP, il tire profit de l'ensemble des fonctionnalités de SageMaker, de la data science au monitoring de la précision des résultats.
Quid de la feuille de route d'Hugging Face en 2021 ? La start-up organise cette semaine un événement communautaire visant à étendre Transformers à 60 langues supplémentaires. Mais la jeune pousse entend aller au-delà du NLP. "Nous avons récemment introduit des modèles dans la reconnaissance vocale", confie Jeff Boudier, avant d'ajouter : "Les résultats de l'architecture Transformers sont encourageants dans la vision par ordinateur, notamment touchant au texte." L'enjeu ? Positionner Transformers comme une infrastructure de machine learning plus généraliste. "Ce que fait déjà AWS", note Jeff Boudier. Pour porter cette évolution, Hugging Face peut compter sur une levée de fonds de série B de 40 millions de dollars annoncée mi-mars. Menée par Lee Fixel et son fonds Addition, elle compte plusieurs business angel bien connus sur le segment de l'IA, dont Olivier Pomel (Datadog) et surtout Florian Douetteau (Dataiku). De quoi crédibiliser davantage sa stratégie.