Caroline Pascal (Hugging Face) et Sasa Docca (NVIDIA) "Nous voulons donner aux développeurs en robotique tout ce dont ils ont besoin"

À l'occasion du salon Machina, à Paris, Nvidia et Hugging Face ont annoncé l'intégration de plusieurs technologies de Nvidia au sein de LeRobot, la plateforme open source de Hugging Face dédiée à la robotique.

L'objectif de ce partenariat entre Hugging Face et Nvidia est d'accélérer le développement de la robotique open source en donnant aux développeurs accès à des outils couvrant l'ensemble du cycle de développement, de la collecte de données jusqu'au déploiement. Parmi eux figurent Isaac Teleop, un outil de téléopération et de collecte de données pour robots réels ou simulés, ainsi que GR00T N1.7, le dernier modèle de fondation de NVIDIA pour la robotique, désormais disponible sous une licence compatible avec un usage commercial. Nous avons rencontré Caroline Pascal, ingénieure robotique chez Hugging Face, et Sasa Docca, responsable Product Marketing Robotics chez Nvidia, pour revenir sur les ambitions de cette collaboration et leur vision de l'avenir de la robotique open source.

JDN. En quoi consiste le partenariat que vous venez d'annoncer et qu'apporte-t-il concrètement aux développeurs ?

Sasa Docca (Nvidia). Notre collaboration avec Hugging Face vise à donner aux développeurs toutes les briques dont ils ont besoin, de la collecte de données jusqu'au déploiement. Hugging Face fédère aujourd'hui l'une des plus importantes communautés open source en robotique.

Concrètement, notre annonce repose sur deux piliers. Le premier est l'intégration d'Isaac Teleop, un outil de téléopération et de collecte de données pour les robots réels comme simulés. Le second est GR00T N1.7, la dernière version de notre modèle de fondation pour la robotique, désormais disponible sous une licence compatible avec un usage commercial.

Nous constatons que de plus en plus d'entreprises cherchent à passer de la preuve de concept au déploiement industriel. Avec Isaac Teleop, GR00T N1.7 et les jeux de données publiés sur Hugging Face, elles disposent désormais d'un écosystème complet pour développer et déployer leurs applications robotiques.

Caroline Pascal (Hugging Face).  Comme le rappelle souvent Thomas Wolf, cofondateur de Hugging Face, l'open source consiste à rendre les recherches les plus avancées accessibles afin que chacun puisse apprendre et développer ses propres projets. L'open source accélère l'innovation : les développeurs expérimentent plus rapidement, partagent leurs résultats et toute la communauté en bénéficie.

A qui s'adresse précisément cette solution ?

Caroline Pascal. Elle s'adresse aussi bien aux étudiants et chercheurs qu'aux grandes entreprises, aux startups et aux développeurs indépendants. Au-delà de la robotique industrielle, elle peut également intéresser les acteurs qui développent des robots de service ou de nettoyage. GR00T et Isaac Teleop leur offrent un socle technologique pour expérimenter et créer rapidement leurs propres applications robotiques.

Sasa Docca. Les développeurs sont au cœur de cet écosystème. Notre modèle de fondation a déjà été pré-entraîné sur d'immenses volumes de données issues d'Internet, de démonstrations humaines et de données synthétiques. Il ne reste plus qu'à l'adapter à chaque cas d'usage grâce au fine-tuning. Nous prenons en charge la partie la plus coûteuse de l'entraînement afin que chacun puisse se concentrer sur ses applications.

GR00T n'est d'ailleurs pas réservé aux robots humanoïdes : il fonctionne sur une grande variété de plateformes robotiques, des robots industriels aux robots biomédicaux.

Enfin, Isaac Teleop permet de collecter et de partager des données sur Hugging Face. En ouvrant à la fois les modèles et les jeux de données, nous favorisons un développement plus collaboratif de la robotique.

Les données restent-elles aujourd'hui le principal défi pour construire des robots ?

Sasa Docca. Oui. Notre modèle de fondation a été entraîné sur plus de 20 000 heures de données égocentrées, auxquelles s'ajoutent des données issues de simulations et de robots réels. Aucun développeur ne pourrait réunir seul un tel volume. L'intérêt de l'open source est que le modèle, mais aussi les données d'entraînement, sont accessibles. Cela apporte davantage de transparence, de contrôle et de sécurité. La collecte de données peut provenir de la téléopération, de démonstrations humaines ou de simulations. Toutes ces sources sont indispensables pour entraîner des modèles capables d'évoluer dans le monde réel.

C'est précisément le rôle de Cosmos 3, notre world foundation model. Il combine données réelles et simulation pour générer de nouveaux environnements, enrichir les jeux de données ou encore évaluer des politiques robotiques. Nous travaillons actuellement avec Hugging Face à son intégration. A terme, une grande partie des données nécessaires à l'entraînement des robots sera générée automatiquement par ces modèles. Mais cela n'est possible que s'ils restent solidement ancrés dans les lois de la physique. Sans cet ancrage, ils commencent à halluciner.

Caroline Pascal. C'est justement ce qui me passionne avec Cosmos 3. Il peut générer de nouveaux scénarios tout en restant cohérent avec les lois de la physique. Quelle que soit la quantité de données réelles que vous collectez, il restera toujours des angles morts. Les "world models" permettent de combler ces lacunes et de rendre les robots plus sûrs en leur apprenant à mieux anticiper les situations qu'ils rencontreront. Pour moi, l'intégration de Cosmos 3 constituera une étape majeure pour toute la robotique.

Pourquoi l'open source est-il si important dans la robotique à vos yeux ?

Sasa Docca.  Lorsqu'une technologie est ouverte, on peut comprendre son fonctionnement, l'adapter et lui faire davantage confiance. En robotique, la valeur se crée surtout lors du post-entraînement : chacun peut adapter un modèle de fondation à son propre cas d'usage, qu'il s'agisse d'une simple tâche de pick-and-place ou d'une manipulation beaucoup plus complexe. Les modèles ouverts permettent ensuite de partager ces améliorations et de les enrichir collectivement. C'est ainsi que l'innovation progresse. Si les modèles ne sont pas ouverts, on ne peut tout simplement pas innover au même rythme.

Caroline Pascal. Il y a aussi un enjeu de sécurité. Feriez-vous confiance à un robot fonctionnant avec un modèle totalement opaque, sans savoir ce qui se passe à l'intérieur ?

Avec l'open source, tout est visible. Si un problème existe dans le modèle ou dans le code, quelqu'un finira par le détecter. Cette transparence est essentielle pour garantir la sécurité, la confidentialité et la confiance.

Pourquoi Hugging Face a-t-il choisi de miser sur la robotique ?

Caroline Pascal. On ne peut pas faire de l'IA uniquement sur un écran. Après le texte, l'image et la vidéo, l'étape suivante est naturellement l'IA incarnée, c'est-à-dire la robotique. C'est aussi un domaine où l'open source est particulièrement important. Si des systèmes propriétaires se déploient demain dans le monde réel, il faut pouvoir comprendre leur fonctionnement et s'assurer qu'ils sont sûrs. C'est pourquoi il est essentiel de poser les bonnes bases dès aujourd'hui.

Pourquoi NVIDIA investit-il autant dans l’IA physique ?

Sasa Docca. L’IA physique représente une opportunité immense. La robotique ne se limite pas aux humanoïdes : un véhicule autonome, un bras robotisé, une caméra intelligente ou un bâtiment capable de s'autoréguler sont déjà des systèmes robotiques. Notre ambition est de fournir une plateforme complète, du matériel jusqu'aux modèles d'IA, tout en laissant aux développeurs la liberté de n'utiliser que les briques dont ils ont besoin. La sécurité est un autre enjeu majeur. Avec NVIDIA Halos for Robotics, nous adaptons aux robots les technologies de sécurité développées pour les véhicules autonomes afin de les accompagner depuis l'entraînement jusqu'au déploiement.

Pensez-vous qu'un jour nous atteindrons une forme d'AGI appliquée à la robotique ?

Sasa Docca. Nous sommes déjà sur cette trajectoire. Nous passons progressivement de robots spécialisés à des robots généralistes, puis demain à des "généralistes spécialistes", capables d'apprendre rapidement de nouvelles tâches. Comme les humains, les robots progressent grâce à l'expérience. Plus ils accumulent de données issues du monde réel, plus ils deviennent intelligents. Le pré-entraînement est essentiel, mais c'est le déploiement qui fournit les expériences les plus précieuses.

Caroline Pascal. Les modèles doivent aussi apprendre de leurs erreurs. La robotique introduit de nouveaux défis, avec des données très multimodales et des actions à générer plutôt que de simples textes ou images. Le partage ouvert des résultats permet à toute la communauté d'identifier plus rapidement les approches les plus prometteuses et d'accélérer les progrès.

Sasa Docca. Nous assistons également à la convergence entre l'IA agentique et la l’IA physique. Les agents pourront générer automatiquement des milliers de scénarios de simulation ou de collecte de données auxquels un humain n'aurait pas pensé. Cette combinaison entre agents d'IA, simulation et world models accélérera le développement de la prochaine génération d'intelligence robotique.

Comment jugez-vous aujourd'hui l'écosystème européen de la robotique ?

Caroline Pascal. Il est en plein essor. L'Europe bénéficie d'un écosystème solide, où les startups collaborent facilement tout en étant stimulées par la concurrence avec les Etats-Unis ou la Chine. L'Europe dispose déjà des bases d'un écosystème robotique très fort.

Sasa Docca. Chez NVIDIA, nous travaillons avec des partenaires partout dans le monde, mais l'Europe occupe une place importante grâce à sa longue tradition industrielle. Nous voyons émerger une nouvelle génération d'entreprises très prometteuses, comme 1X, NEURA Robotics ou Schaeffler, qui sont toutes partenaires de NVIDIA. Le partenariat avec Hugging Face s'inscrit pleinement dans cette dynamique.