Matei Zaharia (Databricks) "Les clients de Databricks déploient des applications de GenAI supportant de véritables workflows"

Le CTO et cofondateur de Databricks revient sur les annonces de l'événement mondial de la data platform américaine du même nom et dévoile ses plans pour la suite.

JDN. Quels sont les principaux besoins exprimés par vos clients en termes d'IA générative ?

Matei Zaharia. Le tout premier besoin est la qualité, et notamment la capacité à supporter les applications qu'ils souhaitent mettre en œuvre dans ce domaine. Le deuxième besoin est lié au coût. Enfin, nos clients se focalisent sur la gouvernance. Ce qui recouvre la confidentialité, la sécurité des données manipulées, et la gestion des droits d'accès.

Plus globalement, nos clients déploient des applications de GenAI supportant de véritable workflows. Des applications découpées en plusieurs composants qui peuvent s'articuler autour d'une base de données vectorielles et plusieurs API. Ils sont en quête des meilleures solutions pour supporter ce type de système, le développer, le déboguer, le monitorer et l'optimiser. La plupart de nos annonces lors de notre événement mondial sont taillées pour prendre en charge ce type de workflow.

Quelles sont justement ces annonces ?

La première renvoie à un produit de recherche vectoriel que nous lançons en version finale. Il s'apparente à une base de données vectorielle. A ce composant, nous avons greffé une fonction de recherche hybride qui englobe la recherche par mots clés traditionnelle et l'embedding. Nous permettons notamment d'activer à la volée la recherche vectorielle sur une table de votre base de données. Vous n'avez pas besoin de la dupliquer.

Nous lançons également le framework Mosaic AI for RAG (pour retrieval-augmented generation, ndlr). Il permet de créer des applications de RAG combinées à des bases documentaires, mais aussi de déboguer le modèle de retrieval. Il est taillé pour tuner les modèles et prendre en charge chaque étape de la recherche. A cela s'ajoute Mosaic AI Model Training qui est centré sur fine tuning de modèle de fondation. Autre annonce clé, la Mosaic AI Gateway permet de maitriser les passerelles vers votre propre LLM ou les différents fournisseurs de LLM en matière de confidentialité et de sécurité. Enfin, nous annonçons une solution pour évaluer les applications articulées autour de multiples étapes, notamment pour orchestrer l'évaluation par des humains.

Dernière annonce, nous avons acquis il y a quelques mois la société Lilac. Elle édite une technologie pour visualiser et lancer des recherches sur de larges datasets. Elle a été créée par des experts qui ont bâti l'infrastructure pour créer des datasets de LLM chez Google. Nous avons désormais intégré cette technologie.

Avec des LLM comme Gemini 1.5 Pro qui supporte 1 million de tokens de contexte, est-ce que le RAG ne devient pas obsolète ?

Je ne pense pas. NCertes ce type de grands LLM apporte un contexte sans précédent. Mais les opérationnaliser coûte cher en termes de ressources machines. Sachant que la précision sur de large contexte peut être aussi bonne dans le cadre d'un RAG, tout en s'appuyant sur des modèles plus léger et donc moins chers à exécuter.

Intégrez-vous les LLM de Cohere, Google, Meta, Mistral et OpenAI ?

Nous supportons déjà ces modèles. Notre produit AI Gateway permet justement de faciliter leur management. Lors du lancement d'OpenAI, beaucoup d'entreprises se sont concentrées dessus. Aujourd'hui, le contexte a évolué et nos clients déploient plusieurs LLM, notamment open source.

Comment différenciez-vous Mosaic AI des solutions d'IA proposées par Amazon, Google et Microsoft ?

D'abord, Mosaic AI est pleinement intégré à notre data platform. Ce qui permet de traiter efficacement de la donnée et de l'IA au sein d'un même environnement. Vous pouvez par exemple nettoyer la donnée avant de l'utiliser pour entraîner un LLM ou l'intégrer à un RAG. C'est rapide. Dès que vous avez mis à jour une table, celle-ci est immédiatement disponible sous forme de données vectorielles. Idem en termes de gouvernance. Vous avez la possibilité de marquer vos données pour indiquer qu'elles contiennent des informations confidentielles. Via notre catalogue, vous avez aussi la possibilité de propager ces labels. Sans compter que c'est le même stack qui est utilisé pour manager les API.

Les acteurs que vous évoquez se contentent de proposer des modèles en tant que service, au lieu d'entrainer leur propre modèle. Ils ne permettent pas d'entraîner un modèle de fondation en partant de rien, les fine tuner, réaliser du reinforcement learning. Nous avons une équipe de R&D en interne qui est centrée sur ces problématiques, notamment sur la manière de construire une IA personnalisée.

Supportez-vous les IA multi-agents ?

Oui, absolument. C'est l'une des tendances qui émerge en ce moment. C'est l'une des architectures que vous pouvez développer, déboguer, monitorer et déployer en vos basant sur notre plateforme. C'est l'objet du framwork que nous lançons qui permet les traitements en chaîne, avec notamment l'IA Gateway. Le multi-agents est un exemple type supporté par notre infrastructure multi-composant. C'est une approche qui permet de greffer au LLM des composants extérieurs.

Il y a plusieurs façons de développer des IA multi-agents. C'est un domaine où nous investissons beaucoup en R&D, notamment en vue de recommander la meilleure approche en termes de design.

Quelle est votre feuille de route en matière d'IA générative dans les prochains mois ?

La principale problématique sur laquelle nous nous penchons est de savoir quel est le meilleur moyen d'adapter, de développer ou fine tuner un système d'IA. Dans le futur, Databricks permettra par exemple de charger un corpus documentaire puis de bénéficier à la volée d'un chatbot reposant dessus. De même, il sera possible de déclarer plusieurs API pour bénéficier d'un système multi-agent.

En tant que data platform, nous développons des fonctionnalités d'IA intelligence. Des possibilités qui permettront d'optimiser les data en vue de gagner en productivité, notamment en ayant la possibilité de les interroger. Nous avons pour objectif d'exposer ces fonctionnalités à travers des API pour les mettre à la disposition d'applications tierces. Nous comptons aussi permettre l'indexation d'agents dans le catalogue de Databricks.

Matei Zaharia est CTO et cofondateur de Databricks. Diplômé de l'université de Berkeley, il a été nommé professeur assistant au MIT en section Computer Science en 2015. Il occupe ensuite un poste équivalent à l'université de Stanford pendant six ans. En parallèle, il est promu vice-président Apache Spak au sein de la fondation Apache.