Comment les graphs révolutionnent le RAG
Le sujet ne fait plus débat. Un article de recherche fondateur remontant à novembre 2023 démontre en quoi les graphs viennent profondément impacter le RAG ou génération augmentée de récupération. Un dispositif qui, rappelons-le, permet d'aller glaner des informations depuis un assistant intelligent au sein d'une base documentaire. Résultat : le graph permet de multiplier par trois le degré de précision du RAG. "Le mode graph correspond clairement au RAG de nouvelle génération", lâche Didier Gaultier, patron de l'IA au sein d'Orange Business Digital Services. "Contrairement à l'espace vectoriel purement textuel, l'espace vectoriel du graph se révèle plus proche de la signification dans la mesure où sa force sémantique est nettement plus importante."
A la base, le RAG consiste à vectoriser les questions posées à l'assistant conversationnel d'une part, et les fichiers de la base documentaire à interroger d'autre part. Objectif : glaner des similarités entre la requête émise et les éléments de recherche en comparant les deux vecteurs, en vue in fine de produire la réponse adéquate. Le RAG fonctionne très bien quand les questions posées portent sur des contenus bien définis, notamment quand le sujet concerne un élément d'information disponible dans un ou plusieurs documents. Dans ce cas, on peut trouver l'information assez simplement dans la mesure où l'ensemble du contenu est vectorisé. En bout de course, elle est ensuite traduite par l'assistant en langage naturel.
"Mais que se passe-t-il si la question ne concerne pas des contenus mais des dépendances ou des interactions. C'est le cas par exemple si l'on recherche l'impact d'une nouvelle législation sur des procédures internes, ou les liens existants au sein d'une chaîne logistique complexe pour anticiper ses faiblesses. Dans ces cas de figure, le graph trouve tout son sens", explique Nicolas Rouyer, senior presales consultant chez Neo4j, un éditeur bien connu dans les bases de données orientées graph.
Un bouleversement dans la gestion des connaissances
Autre exemple : la recherche des effets secondaires au sein des notices de prescription de médicaments. "La question qui peut se poser est de savoir si des effets secondaires sont présents dans plusieurs notices ou apparaissent avec des médicaments pris en même temps. Dans ces cas-là, on pourra faire aussi appel à un graph", argue Nicolas Rouyer.
Et le consultant de Neo4j de préciser : "Si je m'arrête à un contenu vectorisé, je ne capte pas les liens entre les concepts. Je ne suis donc pas en capacité de poser des questions profondes." Conclusion : avec les graphs, il devient envisageable de réaliser du deep reseach sur les données de l'entreprise, sans avoir à ré-entrainer les LLM.
Selon Didier Gaultier, le RAG orienté graph promet notamment de bouleverser la gestion des compétences en entreprise. "Via son mode vectoriel, le graph permet de mettre le doigt sur des compétences manquantes dans les CV en comparant les curriculums vitae entre eux par jeu d'associations. Si un collaborateur présente une compétence A et une compétence B, il pourra alors avoir nécessairement une compétence C en partant du constat que ces trois compétences sont présentes dans un nombre significatif d'autres CV. En interrogeant le graph via un RAG, vous avez ainsi la capacité de mettre le doigt sur des profils que vous n'auriez pas trouvés autrement", détaille Didier Gaultier.
Autre avantage du graph dans le cadre du RAG : la réponse à une question posée pourra s'améliorer au fur et à mesure de l'enrichissement du graphique sous forme de données dynamiques enrichies au fil des conversations. Le graph permettra aussi de définir des droits d'accès beaucoup plus fins comparé à une simple base de documents vectorisés. Ils pourront être définis au niveau des relations entre les nœuds et/ou au niveau du détail des nœuds en tant que tels.
"Le CEO de Klarna a décidé de réduire son système d'information à une base de connaissances unique orientée graph couplée à un LLM et son chatbot associé"
Pour résumer, le graph permet de mettre en relation des concepts au sein d'un même documents et entre plusieurs documents. "On constate que cette couche logique enrichit la génération augmentée de récupération de manière spectaculaire. Elle va lui permettre de livrer non seulement une réponse mais également tout un contexte qui permettra de mieux l'appréhender", résume Didier Gaultier. "Reste que les résultats livrés seront de facto très volumineux."
Pour résoudre l'équation, l'idée est d'utiliser le graph pour identifier la distance entre la question posée et les réponses possibles, et ainsi optimiser le volume de données en sortie du modèle. Revers de la médaille : ce traitement implique des large language model (LLM) ou des small language model (SLM) équipés de fenêtres de contexte importantes. "Ce type de LLM et de SLM devrait voir le jour dès cette année. Ce qui passera par des sacrifices, par exemple intégrer moins d'informations au sein des neurones du modèle tout en augmentant la mémoire vive pour l'exécution", anticipe Didier Gaultier.
Cet obstacle n'a pas empêché certaines entreprises de se lancer. Parmi les références de Neo4J dans le RAG figure Klarna. Cette fintech suédoise a mis en place un chatbot de gestion de la relation client basé sur un LLM combiné à un graph de connaissances. Ce qui lui a permis de décupler ses performances en matière de support. Klarna a ensuite décliné son chatbot pour le support interne des salariés. "S'en est suivi une progression phénoménale de la productivité. Du coup, le CEO de Klarna a pris une décision radicale. A savoir : réduire son système d'information, qui comptait des centaines d'applications, à une base de connaissances unique orientée graph couplée à un LLM et son chatbot associé. Exit les systèmes SaaS comme Salesforce ou Workday", souligne Nicolas Rouyer. "En passant par-là, Klarna a pu supprimer quasiment tout son existant informatique qui se découpait en silos pour aboutir à une simple interface conversationnelle dotée d'une base de données unique et cohérente."
Un chantier complexe
"Toute la question est de trouver des LLM ou des SLM adaptés au RAG orienté graph", prévient Didier Gaultier, avant de reconnaître : "Les bases de données No4J mais aussi Elastic sont bien placées pour se positionner sur ce nouveau marché." Chez Orange, on a débuté un premier projet de recherche sur ce terrain. "Cette idée de RAG orienté graph est ciblée par Apple (dans le cadre de son projet Apple Intelligence, ndlr), mais aussi par Microsoft avec son assistant Copilot. Or, ces acteurs ne sont pas encore parvenus à la concrétiser. Ce qui montre bien la complexité de cette quête", constate Didier Gaultier.
D'où viennent ces difficultés ? D'après le patron de l'IA chez Orange Business Digital Services, elles seraient à aller chercher dans l'appréhension des graphs qui implique pour les entreprises de revoir leur logique de définition et d'organisation des données. Mais également dans la complexité des espaces vectoriels. Une technologie sur laquelle s'adosse en grande partie l'IA générative, mais également les théories de la réduction de dimension ou de la physique quantique.
Aux Etats-Unis, la plateforme de modèle de langue Writer a déjà inclus une brique de graph à son offre. "Grâce aux relations sémantiques tissées par cette brique, nous sommes capables de réaliser des analyses robustes et très rapides sur la base des contenus documentaires de nos clients", indique au JDN Kev Chung, chief strategy officer de Writer.
Quid de l'étape suivante ? "Elle émergera avec la possibilité de combiner le RAG orienté graph avec des informations reposant sur tout type de média dans une logique multimodale", anticipe Didier Gaultier.