Writer, un spécialiste des LLM qui avance à rebours d'OpenAI
Editeur d'une plateforme de modèles de langue, l'américain Writer a levé pas moins de 326 millions de dollars depuis sa création en 2020. Basée à San Francisco, cette société qui se déploie depuis peu en Europe, se démarque en développant des LLM verticaux, notamment dans le retail, la finance, la santé ou encore le support client. En parallèle, elle a également mis au point un modèle de vision par ordinateur permettant de générer du contenu visuel.
En créant des LLM spécialisés, Writer parvient à des résultats qui se veulent plus performants que ceux de GPT4-o. Comment la société a-t-elle procédé ? Elle a d'abord créé son propre LLM qu'elle a ensuite décliné par domaines. Baptisé Palmyra, le modèle en question compte 20 milliards de paramètres et a été entraîné sur 800 milliards de tokens. Un data set créé à partir de données synthétiques générées par d'autres IA. Permettant de passer outre la coûteuse phase de labellisation manuelle des informations d'entraînement, ce tour de passe-passe a permis à Writer de limiter les dépenses de la phase de learning à seulement 700 000 dollars. Une goutte d'eau, comparé aux 100 millions de dollars dépensés pour l'entraînement de GPT-4.
"Créer un LLM qui coûte plus cher que ce qu'il rapporte n'a aucun sens", tacle Kev Chung, en faisant clairement référence à ChatGPT. Le chief strategy officer de Writer ajoute : "Au-delà du prix, il y a évidemment, aussi, la question de l'efficience et de la précision des résultats." Une problématique que la société résout via sa stratégie de verticalisation, mais pas seulement.
Des données synthétiques en coulisses
Pour développer ses LLM, Writer s'adosse aussi à des données d'entraînement sous licences. Ce qui lui permet d'aboutir à des réponses pertinentes et maîtrisées en limitant au maximum le risque d'hallucinations.
Autre levier utilisé : des modèles auto-évolutifs. Contrairement aux modèles traditionnels qui restent statiques jusqu'à leur mise à jour manuelle, ces derniers intègrent de nouvelles informations au fur et à mesure de leur cycle de vie, améliorant ainsi leur précision et leur pertinence au fil du temps. Leur fonctionnement repose sur trois éléments : une mémoire intégrée, capable de stocker et de rappeler des informations pertinentes, un apprentissage basé sur l'identification des incertitudes pour traiter les données non familières, et un processus autonome de mise à jour des connaissances qui fusionne les nouvelles données avec les informations déjà acquises.
"A travers les agents, les modèles se connectent à de multiples applications tierces pour former des workflows"
Pour affiner encore la qualité des résultats, Writer développe par ailleurs un mécanisme de génération augmentée de récupération (RAG) orienté graph. Il lui permet d'améliorer le degré de précision des réponses générées à partir des bases documentaires de ses clients. Grâce aux relations sémantiques de son graph, Writer est capable de réaliser des analyses robustes et très rapides.
Pour Writer, les LLM deviendront à terme une commodité. D'où le choix de la société de proposer une plateforme qui permette de personnaliser les modèles de langue avec des données spécifiques aux clients.
Writer surveille par ailleurs le mouvement de la révolution agentique. "A travers les agents, les modèles se connectent à de multiples applications tierces pour former des workflows", explique Kev Chung. "Par exemple dans le domaine du marketing, je pourrai, à travers un agent, créer un nouveau produit, avec tous les contenus associés. Puis pousser l'ensemble dans une plateforme de CRM basée sur Salesforce par exemple, mais aussi dans d'autres applications tierces. Le tout de manière automatisée", pointe Kev Chung. Il s'agit là de la vision de Writer à moyen terme, les process permettant de la réaliser n'étant, pour l'heure, pas encore implémentés.
L'Oréal parmi ses clients
Quelle est la feuille de route de Writer en matière de R&D ? Sans surprise, l'acteur prévoit des développements agentiques dans l'optique de parvenir à concrétiser sa vision de workflow automation. "L'objectif est d'intégrer notre plateforme aux applications utilisées par nos clients, au premier rang desquelles les logiciels de Salesforce, d'Adobe, de Microsoft, de Workday, notamment", indique Kev Chung. "Nous souhaitons également continuer à investir dans les modèles auto-évolutifs pour les rendre encore plus efficaces et précis."
Comptant 500 salariés, Writer se répartit pour l'heure sur trois implantations aux côtés de son siège de San Francisco : New York, Londres et Singapour. La société revendique en outre plusieurs centaines de clients, dont 40% issus du Fortune 500. Parmi les principaux d'entre eux figurent Accenture, Goldman Sachs, Jaguar Land Rover (JLR), Nvidia, Salesforce ou Uber. Sans oublier le français L'Oréal qui déploie Writer sur l'ensemble de ses géographies.