IA générative : BNP Paribas mise sur 100 cas d'usage
En matière d'IA, BNP Paribas a établi un plan stratégique à horizon 2025 avec pour objectif d'aboutir à 1 000 cas d'usage en production, le tout devant représenter à terme 500 millions d'euros de valeur. La banque compte 700 data scientists et spécialistes en IA qui contribuent en lien avec ses lignes métier à cette feuille de route. Avec l'avènement de l'IA générative fin 2022, BNP Paribas a lancé un chantier visant à mettre en œuvre, sur ce terrain, une centaine de cas d'usage supplémentaires de manière exploratoire.
"Quand ChatGPT est sorti, nous avons eu un réflexe de prudence, notamment compte tenu du caractère confidentiel des données de nos clients. Nous avons décidé de bloquer le canal public de ChatGPT pour éviter toute fuite d'informations, et avons créé des solutions 100% sécurisées", explique Hugues Even, CDO de BNP Paribas. Ces solutions ont pour vocation à être déployées soit en interne soit en mode cloud. Côté GenAI, BNP Paribas privilégie des large language model (LLM) open source comme Llama ou Mistral. En amont, les LLM passent évidemment par une série de tests de sécurité pour assurer qu'ils ne contiennent pas de codes malveillants, de malwares ou de portes de derrière.
En termes de cas d'usage, BNP Paribas recourt sans surprise à une IA générative orientée RAG (pour retrieval-augmented generation). "Nous utilisons par exemple les LLM pour interroger à la volée des bases documentaires en vue d'évaluer nos clients sur des critères d'ESG (pour environmental, social, and governance, ndlr)", explique Hugues Even. La banque jauge ses clients sur la base de questionnaires de 40 à 50 questions selon le secteur d'activité, avec à la clé divers indicateurs : gaz à effet de serre émis, objectifs de décarbonation... Le LLM va chercher les réponses à ces questions dans diverses sources : le rapport RSE du client, son rapport annuel, son site web, divers articles... Le RAG permet de répondre au questionnaire de façon semi-automatisée. "Un analyste intervient ensuite systématiquement pour vérifier que les informations générées sont cohérentes et justes", insiste Hugues Even.
Eviter les hallucinations
"Nous réglons les prompts pour éviter les hallucinations en glissant des invites telles que : 'If you don't know, don't invent'. Mais aussi en réglant l'IA pour qu'elle ne soit pas créative mais reste formelle", commente Hugues Even. "Au final, ce qui est compliqué est d'aboutir à un système bénéficiant d'une documentation suffisamment structurée pour être le plus précis possible, en fournissant des liens ciblés vers les sources de contenu utilisé."
Autre exemple, BNP Paribas fait appel au RAG pour traiter ses corpus de procédures. Sur la base d'une question opérationnelle, portant sur un investissement donné par exemple, le RAG permet ici d'aller glaner des pistes de réponse au sein d'un catalogue de procédures. "Là où l'IA traditionnelle est constituée de petits modèles qui se spécialisent localement à travers des fonctionnalités peut mutualisées, l'IA générative s'adosse à des modèles nettement plus volumineux qui ne poussent pas à l'usage de LLM trop fragmentés", ajoute Hugues Even.
Quand opter pour le cloud plutôt que pour un développement interne ? "Sur les tenants sécurisés des providers, la banque déploiera des données publiques. Pour des données confidentielles et 'secrètes' ou impliquant de large volume d'informations, nous opterons plutôt pour la voie du déploiement on premise", répond Hugues Even.
Les expérimentations menées par la banque lui permettent de mesurer la capacité nécessaire pour entraîner ses modèles, gérer du RAG, ou encore exécuter les LLM pour les mettre à disposition. "Les modèles comme Mistral, type medium ou small, nous intéressent dans la mesure où ils sont à la fois performants, mais aussi beaucoup plus frugaux en termes de capacité machine. Nous estimons que 80% des cas d'usage peuvent être adressés par des modèles de taille moyenne", confie le CDO.
"Nous considérons que les modèles de fondation open source sont suffisamment performants, comparé au coût et à l'empreinte qu'impliquerait un développement en partant de zéro"
A l'inverse du RAG, BNP Paribas dispose également de bases de données structurées à partir desquelles le groupe rédige des contenus. Un cas d'usage qui est mis en œuvre sur le terrain de l'asset management. A chaque fond commercialisé, BNP Paribas génère de manière semi-automatique les analyses de performance de ses fonds, en général délivrées de manière mensuelle ou trimestrielle.
A la différence du Crédit Mutuel Arkea, BNP Paribas n'a pas créé son propre modèle de fondation. "Nous considérons que les modèles de fondation open source sont suffisamment performants comparé au coût et à l'empreinte qu'impliquerait un développement en partant de zéro", justifie Hugues Even. "Nous parvenons à avoir d'excellents résultats avec des modèles de fondation open source en les fine tunant sur nos propres contenus."
Côté IT, les équipes informatiques de BNP Paribas entrevoient le LLM comme un outil de productivité. Un outil conçu pour coder, documenter du code, voire traduire une application initialement écrite dans un langage d'ancienne génération vers un langage plus récent. "Ces expérimentations donnent de bons résultats", se félicite Hugues Even.
Contrôler la conformité des opérations
Chez BNP Paribas, les LLM ont également permis de faire beaucoup de progrès sur le front des algorithmes de speech-to-text. Leurs principaux points forts dans ce domaine : la réduction des taux d'erreur, mais aussi l'évolution vers des modèles multilingues. "Cette technologie est un sujet important pour 2024. Elle va nous permettre de mieux accompagner nos équipes dans les call center tout comme nos conseillers en contact avec les clients par téléphone", détaille Hugues Even. "Elle contribue à analyser en profondeur la qualité du dialogue, mais également à identifier les sujets clés, les intentions, les opportunité commerciales, et plus globalement le niveau de la satisfaction des clients en réalisant des call reports."
Le speech-to-text à base de LLM va également permettre de contrôler plus efficacement les opérations et leur conformité avec la réglementation. "La voix représente une masse importante de données qui n'était pas exploitée, mais que nous allons pouvoir traiter avec les LLM de speech-to-text", constate Hugues Even.
En matière d'IA générative, BNP Paribas a développé une gouvernance ad hoc pour ses actifs déployés dans ce domaine au niveau du groupe. Elle existe déjà pour la plateforme cloud d'IA générative de l'entreprise, qui est déjà déployée, et sera prochainement étendue à celle mise en œuvre on premise.