Deepak Pathak (Skild AI) "Skild AI construit un cerveau pour tous les robots"

Valorisé 14 milliards de dollars, Skild AI entraîne ses modèles d'intelligence artificielle grâce à la simulation et aux vidéos humaines. L'entreprise ambitionne de construire un "cerveau généraliste" capable d'alimenter de nombreux types de robots.

La start-up américaine Skild AI a levé 1,4 milliard de dollars plus tôt cette année et est désormais valorisée autour de 14 milliards de dollars. Son cofondateur, Deepak Pathak, explique pourquoi la robotique pourrait permettre la réindustrialisation de l'Europe et des Etats-Unis, et les raisons qui l'amènent à considérer l'IA physique comme la clé de l'AGI.

JDN. Pouvez-vous présenter Skild AI ?

Deepak Pathak. Nous construisons un modèle d’IA généraliste capable de fonctionner sur une grande variété de robots : humanoïdes, quadrupèdes, bras robotisés, drones et bien d’autres systèmes robotiques. L’idée est que la même intelligence sous-jacente puisse fonctionner à travers différents types d’incarnations, de tâches et d’environnements, en intérieur, en extérieur, dans des usines, des hôpitaux ou des campus universitaires. Nous appelons cela "l’intelligence omnicorporelle" : n’importe quel robot, n’importe quelle tâche, un seul cerveau. Notre objectif est de créer un modèle capable de s’adapter à tous ces contextes.

Pourquoi pensez-vous qu’un cerveau IA généraliste est plus puissant que des agents robotiques spécialisés ?

La robotique a traditionnellement été considérée comme un problème de matériel. Lorsque les gens pensent à ChatGPT, ils pensent à l’intelligence. Mais lorsqu’ils pensent à la robotique, ils pensent avant tout aux machines. Pourtant, malgré des décennies de démonstrations impressionnantes, nous ne voyons toujours pas des robots partout dans notre quotidien.

La raison n’est pas l’absence de matériel performant, c’est l’absence d’un véritable cerveau. Ce qui manque à la robotique, c’est une intelligence générale capable de faire fonctionner de manière fiable différents systèmes matériels dans des environnements réels.

Vous insistez également sur la polyvalence ?

Notre ambition est de construire un cerveau universel capable de fonctionner sur l’ensemble de ces systèmes robotiques. En retour, chaque action réalisée par l’un de ces robots génère des données qui contribuent à améliorer le modèle fondamental sous-jacent. Chaque déploiement produit ainsi de nouvelles données, alimentant ce que nous appelons une "boucle continue d’amélioration par les données" (continuous data flywheel).

D’où proviennent les données utilisées pour entraîner cde cerveau universel ?

Contrairement aux modèles de langage, la robotique ne dispose pas d’un ensemble de données à l’échelle d’Internet. Cela crée ce que j’appelle le "problème de l’œuf et de la poule" de la robotique : pour collecter des données robotiques, il faut des robots déjà déployés ; mais pour déployer ces robots, ils doivent déjà fonctionner correctement ; et pour qu’ils fonctionnent correctement, il faut justement des données.

Les données les plus précieuses sont celles issues d’interactions réelles entre les robots et leur environnement. Elles peuvent être collectées grâce à la téléopération ou à des systèmes de réalité virtuelle. Toutefois, même si ces données sont d’excellente qualité, elles restent extrêmement limitées en quantité.

Nous amorçons donc le système à partir de multiples sources de données, notamment des vidéos d’êtres humains. Nous analysons la façon dont les humains manipulent les objets à travers des vidéos en vue subjective (egocentric footage) ou des vidéos disponibles en ligne, puis nous utilisons ces observations pour guider le comportement des robots.

Mais l’observation seule ne suffit pas. Regarder Roger Federer jouer au tennis ne me permettra pas de jouer comme lui : il me faudrait des milliers d’heures d’entraînement. Les robots ont eux aussi besoin de s’exercer. Comme les expérimentations dans le monde réel sont coûteuses, la simulation devient essentielle. Les robots apprennent d’abord à se déplacer en observant des démonstrations humaines, puis s’entraînent à travers des millions d’interactions simulées.

Comment adaptez-vous un même modèle de fondation à différentes applications robotiques ?

L’approche est similaire à celle des modèles de langage. Nous construisons d’abord un modèle de fondation généraliste et omnicorporel, le Skild Brain, puis nous le spécialisons pour des applications comme l’industrie, les entrepôts ou les tâches d’assemblage. Une fois déployés, les robots génèrent des données opérationnelles qui améliorent continuellement le modèle. Cela crée la data flywheel. L’un des principaux défis de la robotique reste toutefois le "sim-to-real gap", c’est-à-dire l’écart entre les performances observées en simulation et celles obtenues dans des environnements réels. Notre approche consiste à entraîner des systèmes adaptatifs exposés à une grande variété de conditions simulées. L’objectif n’est pas la simple mémorisation de scénarios, mais la capacité d’adaptation continue face à des situations nouvelles et imprévisibles.

Quelle est votre vision des world models ou des approches VLA (Vision-Language-Action) ?

Les world models sont souvent mal compris. Leur objectif n’est pas nécessairement de générer des simulations du futur parfaitement réalistes au niveau des pixels. Le cerveau humain ne fonctionne pas ainsi non plus.

Lorsque vous saisissez un verre ou versez de l’eau dans un récipient, vous ne produisez pas mentalement une image photoréaliste de chaque mouvement de chaque goutte d’eau. Votre cerveau raisonne plutôt dans un espace abstrait. Vous comprenez intuitivement des concepts comme la force, le timing, l’équilibre ou encore la friction. Vous savez, par exemple, qu’un mouvement trop brusque pourrait faire tomber le verre. C’est précisément ce type de raisonnement abstrait qui permet à un système de généraliser ses compétences à différents environnements et à différentes formes de robots. Générer en permanence des visualisations internes entièrement réalistes serait extrêmement coûteux en ressources de calcul.

C’est pourquoi le modèle du monde de demain ne sera pas nécessairement un modèle fondé sur l’image. Il reposera davantage sur un raisonnement effectué dans un espace latent abstrait et efficace, capable de capturer les propriétés essentielles du monde physique sans avoir à en reconstruire chaque détail visuel.

Vos recherches semblent fortement inspirées de la manière dont les humains apprennent. Est-ce volontaire ?

Oui, beaucoup de recherches en IA et en robotique, et une grande partie de mon propre travail universitaire, ont été inspirées par la façon dont les humains apprennent, en particulier les bébés. La robotique traditionnelle reposait fortement sur des comportements préprogrammés. Ce que nous construisons est beaucoup plus inspiré par la psychologie cognitive et l’apprentissage par interaction. Un concept important est celui de l’apprentissage par observation. Les enfants observent des résultats, des intentions et des interactions, puis expérimentent eux-mêmes. C’est très proche de ce que nous voulons que les robots fassent. Nous utilisons des vidéos et des démonstrations pour aider les robots à comprendre les comportements et les résultats, puis les robots s’entraînent massivement via la simulation. Un modèle de fondation robotique peut apprendre simultanément à travers de nombreuses incarnations, environnements et types de robots. Ce type d’apprentissage partagé à grande échelle pourrait permettre à ces systèmes de devenir meilleurs que les humains dans certaines capacités.

Pensez-vous que l’IA physique et les robots humanoïdes constituent la voie vers l’AGI ?

Je crois même quelque chose d’encore plus fort : l’IA physique est la seule voie vers l’AGI. Quand nous parlons d’intelligence générale, cela signifie qu’elle est capable d’opérer sur des tâches très différentes avec le même cerveau. Si vous regardez l’évolution, l’intelligence a émergé principalement à travers l’interaction physique avec le monde. Les animaux ont développé la locomotion, la coordination, l’équilibre et la vision au cours de centaines de millions d’années d’évolution. Le langage, en comparaison, est extrêmement récent : il n’existe que depuis quelques dizaines de milliers d’années. C’est pourquoi je ne pense pas que le langage, à lui seul, soit suffisant pour atteindre l’AGI (intelligence artificielle générale). Selon moi, le langage n’est pas le fondement de l’intelligence, mais l’une de ses manifestations. La source profonde de l’intelligence est notre capacité à comprendre, anticiper et interagir avec le monde physique.

Skild AI a récemment levé 1,4 milliard de dollars. Quelles sont désormais les priorités de l’entreprise ?

L’entraînement de ces modèles nécessite d’immenses ressources de calcul. La seconde priorité est le déploiement. La clé de la robotique, ce sont les données issues du déploiement. Mais nous ne pouvons pas nous concentrer sur une seule application ou un seul type de robot, sinon nous perdons la diversité, et la diversité est la clé pour construire un modèle généraliste. C’est pourquoi nous déployons nos systèmes dans l’industrie, les entrepôts, la mobilité et l’automatisation industrielle. Chaque déploiement génère des données opérationnelles qui améliorent les futurs déploiements.

Pourquoi les partenariats et acquisitions sont-ils si importants pour Skild AI ?

La robotique est un secteur qui demande du temps, et il serait extrêmement difficile de pénétrer chaque industrie en partant de zéro. C’est pourquoi les partenariats et les acquisitions jouent un rôle essentiel.

Par exemple, Zebra Technologies, à travers sa division de robotique logistique Fetch Robotics, disposait déjà de plusieurs années d’expérience dans le déploiement de robots mobiles autonomes au sein d’entrepôts et d’environnements industriels. C’est l’une des raisons qui ont motivé notre acquisition de ces activités robotiques.

Nous collaborons désormais également avec ABB et Universal Robots, deux des principaux fabricants de robots industriels au monde. En intégrant leurs systèmes et en travaillant avec ces partenaires constructeurs, nous pouvons déployer le Skild Brain sur des centaines de sites beaucoup plus rapidement que si nous agissions seuls.

Notre modèle consiste principalement à travailler avec les clients finaux, tout en collaborant avec les fabricants de robots et les intégrateurs de systèmes pour assurer les déploiements. La stratégie globale est simple : déployer notre technologie dans le plus grand nombre possible d’environnements différents, le plus rapidement possible.

Vous parlez souvent de "révolution de la réindustrialisation". Que voulez-vous dire par là ?

De nombreux pays veulent aujourd’hui reconstruire leur capacité industrielle domestique. Mais les coûts du travail sont beaucoup plus élevés dans des pays comme les Etats-Unis, et une grande partie de l’expertise industrielle a disparu au fil du temps. Si vous voulez produire localement des technologies avancées (puces, électronique, systèmes robotiques) tout en les maintenant au même prix, l’automatisation devient essentielle. C’est pourquoi la robotique et l’automatisation deviennent des priorités stratégiques dans de nombreux pays.