Comment Navan a développé un véritable agent IA... avant tout le monde
Bien avant que les "agents" ne deviennent un terme marketing galvaudé, des entreprises avaient mis en place des workflows agentiques fonctionnels. Navan est l'une d'entre elles. Après l'arrivée de ChatGPT, le CTO de la start-up spécialisée dans la gestion des voyages d'affaires et des notes de frais s'est rapidement mis en tête d'expérimenter les modèles génératifs sur du raisonnement basique. En quelques mois, Navan est ainsi parvenue à créer son propre framework agentique nommé Cognition en utilisant une combinaison de différents LLM.
Utiliser les LLM pour réduire les hallucinations
A l'époque, Navan cherchait à améliorer son service client en automatisant les réservations et le support. Dans ses premières expérimentations avec les modèles de langage, Ilan Twig a rapidement buté sur les limites du prompting. Les instructions codées directement dans les prompts se révélaient extrêmement fragiles. "C'était comme coder à l'intérieur du prompt, et ce code était très sensible", se souvient-il. Chaque ajout de fonctionnalité risquait de déstabiliser complètement le système. La taille limitée du contexte, initialement de 4 000 tokens à 8 000 tokens, complexifiait encore l'intégration de nouvelles capacités. Plus on utilisait de tokens, plus la probabilité d'erreurs et d'hallucinations augmentait.
Pour résoudre les problèmes de stabilité et d'hallucination, le CTO a développé une approche radicalement différente. Au lieu de tout gérer par un prompt unique, il a conçu un système multi-modèles où différents LLM travaillent ensemble, se supervisant mutuellement. "J'ai réalisé que pour déployer quelque chose en production, vous ne pouvez pas le faire sur un seul LLM", se rappelle-t-il. Basé sur l'approche LLM as a judge, le principe est simple : un premier modèle génère la réponse à la question de l'utilisateur et un ou plusieurs LLM vérifient la réponse.
Cognition, un système agentique complet
Pour aller encore plus loin et automatiser complètement le framework avec des outils externes, l'entreprise s'est lancée dans le développement de Cognition, son propre système agentique. L'objectif était de transformer les LLM en un système cognitif fonctionnel capable de gérer des tâches complexes de manière fiable et répétée. "J'ai implémenté un mécanisme de pensée. Prenons l'exemple d'une requête simple comme 'Dis-moi quel temps il fera lors de mon prochain voyage'. Derrière cette apparente simplicité, le système décompose la tâche en plusieurs étapes : d'abord identifier la destination du voyage en utilisant un outil d'itinéraire, puis rechercher les coordonnées géographiques, consulter un service météorologique, et enfin formuler une réponse précise", explique Ilan Twig.
"Aujourd'hui, nous utilisons près de 200 LLM"
Le système fonctionne en autonomie grâce à une combinaison d'outils spécialisés : recherche web, données météorologiques externes, outil d'itinéraire. Le modèle doit raisonner sur l'enchaînement le plus pertinent. Si un outil ne répond pas complètement, il peut basculer vers un autre. "Le modèle doit comprendre ce qu'il doit faire, le décomposer en petits composants, puis utiliser les bons outils", détaille le CTO. Une approche multi-outils et multi-modèles qui permet de créer un système bien plus intelligent qu'un simple chatbot. "Aujourd'hui, nous utilisons près de 200 LLM, tous prenant des rôles différents, se surveillant mutuellement et partageant des données", affirme Ilan Twig.
Vers une plateforme autonome
Aujourd'hui, la puissance de Cognition reste sous-exploitée pour le CTO de Navan. Ilan Twig voit désormais son framework comme une plateforme autonome capable de générer des applications dans pratiquement tous les domaines, en toute autonomie. Avec Cognition, Ilan Twig assure qu'un développeur est capable de développer de a à z un ERP, un nouveau système agentique ou même un système de commande de pizza, très rapidement.
A terme, le CTO de Navan envisage de présenter Cognition comme une plateforme indépendante. "Amazon a développé ses propres outils internes pour gérer ses serveurs. Et puis c'est devenu AWS", rappelle-t-il. Son objectif : créer une solution permettant à quiconque de développer rapidement des applications agentiques intelligentes. La boucle sera bouclée.