L'essor des LLM Open Source : une opportunité pour démocratiser l'IA générative au sein des entreprises
L'émergence d'une offre sérieuse de LLM open source, révolutionne l'industrie de l'IA générative avec de nouvelles perspectives d'innovation pour des solutions spécialisées au sein des entreprises.
Au cœur de l'écosystème de l'intelligence artificielle (IA), caractérisée par des progrès rapides et une compétition intense, l'émergence de l'offre open source dans le domaine des modèles de langage de grande taille (LLM) et de l'IA générative constitue une révolution majeure eu égard au coût important de la phase d'entraiment et de la complexité de la technologie. Ce mouvement, stimulé par une série de développements et de changements sur le marché, redéfinit les normes établies et ouvre de nouvelles perspectives pour l'innovation collaborative.
L'histoire d'OpenAI, entreprise pionnière de l'IA Générative, offre un éclairage saisissant sur cette évolution. Initialement lancé comme un projet open source avec la sortie de GPT-2 sur GitHub en 2019, OpenAI (en français IA ouverte !) a rapidement basculé vers un modèle fermé, invoquant des préoccupations de sécurité et de risque de mauvaise utilisation de sa technologie. Cette transition a été marquée par des tensions internes, symbolisées par le départ tumultueux d'Elon Musk, l'un des premiers investisseurs d'OpenAI, soulignant des désaccords fondamentaux sur la direction à suivre.
La montée fulgurante de ChatGPT en novembre 2022, le vaisseau amirale d'OpenAI, a suscité des inquiétudes parmi les concurrents, les incitant à réagir. Ainsi, certains acteurs du marché ont choisi une stratégie défensive bien connue, en rendant leurs propres solutions accessibles en open source. Cela leur permet d'exploiter la puissance de la communauté tout questionnant l'offre d'OpenAI en matière d'ouverture et de transparence..
Open source comme stratégie défensive des géants de la tech
Des modèles comme Llama 2 de Meta et Gemma de Google illustrent cette évolution, proposant des alternatives crédibles à ChatGPT tout en adoptant une approche ouverte et collaborative..
Bien que Llama 2, lancé en juillet 2023, ne soit pas entièrement* open source en soi (voir la mention spéciale dans la licence), il représente néanmoins une avancée significative vers l’ouverture des modèles de langage, car les utilisateurs sont susceptibles de l’exploiter en tant que modèle pré-entrainé pour développer leurs propres solutions. Disposer d'un LLM pré-entrainé performant constitue un catalyseur majeur de l'innovation en traitement automatique du langage naturel -NLP.
Le 21 février 2024, Google a présenté Gemma, son LLM open source, issu des mêmes travaux que Gemini (anciennement connu sous le nom de Bard), à destination des chercheurs et des développeurs. Dès le départ, Google a affirmé que Gemma surpassait les performances de Llama 2 de Meta, tout en encourageant les utilisateurs à migrer vers Google Cloud en offrant des crédits gratuits en incitatif.
Des startups se distinguent dans ce domaine
Aux côtés de ces géants de la technologie, des startups telles que Mistral et Phind se démarquent également avec des LLM performants qui rivalisent aisément avec les offres LLM fermés.
Phind-70B, dérivé du modèle CodeLlama-70B, se distingue par ses performances exceptionnelles en matière de génération de code source, ce qui témoigne de l'essor des solutions spécialisées comblant l'écart de qualité avec les modèles propriétaires, tout en offrant une expérience utilisateur optimale. Phind-70B a été optimisé pour générer et expliquer du code source dans un large éventail de langages, notamment Python, C++, Java, PHP, Typescript (Javascript), C#, Bash, et bien d'autres encore.
En septembre 2023, Mistral AI a dévoilé Mistral-7B, un LLM open source de petite taille mais à haute performance, équipé de 7 milliards de paramètres. Conçu pour surpasser en efficacité les modèles fermés plus imposants, il se révèle ainsi idéal pour soutenir les applications en temps réel.
Stable Diffusion est un LLM text-to-image, développé par Stability AI et RunwayML, s'inspirant de Dall-E 2 d'OpenAI et de Midjourney. Il génère des images réalistes à partir de descriptions textuelles, offrant un contrôle total sur le processus de création. Lancé depuis le 22 août 2022, Stable Diffusion représente une avancée majeure dans la génération d'images, offrant puissance, flexibilité et accessibilité pour tous les utilisateurs intéressés par la création visuelle.
L'émergence de la plateforme Hugging Face, offrant une gamme variée de modèles open source pour divers besoins, reflète la diversité et l'abondance de l'écosystème open source dans le domaine des LLM et de l'IA générative. Cette démocratisation de l'accès à des outils puissants stimule l'exploration et l'innovation, ouvrant de nouvelles perspectives pour la recherche scientifique, la création artistique et les différentes applications spécifiques au sein des entreprises.
Il est important de rappeler, à ce stade, que les fournisseurs de services cloud jouent un rôle central et "intéressé" dans la promotion de cette tendance vers l'open source de l’IA générative, y voyant une opportunité d'accroître leurs ventes et de rentabiliser leurs investissements massifs dans la puissance de calcul. De même, les fabricants de semi-conducteurs et les fournisseurs de GPU tels que Nvidia et Intel exercent une influence significative en encourageant le développement de l'offre dans ce domaine.
Sélectionner le LLM Local à intégrer dans son S.I.
La prolifération grandissante de modèles ouverts offre aux entreprises la possibilité de développer des solutions qui répondent précisément à leurs exigences et besoins métiers et permettant de réduire considérément le phénomène d'hallucinations des LLM grâce à un réglage fin exploitant les données internes en toute sécurité.
Mais, avant de se décider pour un LLM open source, chaque entreprise doit scrupuleusement examiner plusieurs aspects fondamentaux. Premièrement, elle doit définir clairement son objectif. Il est crucial de comprendre si le LLM sera utilisé à des fins de recherche ou pour des projets commerciaux, car cela influencera les limitations potentielles de licence et l'orientation du développement futur.
Deuxièmement, l'entreprise doit évaluer la réelle nécessité d'affiner l'apprentissage d'un LLM. Si son projet peut être mené à bien sans recourir à cette technologie, à travers une approche RAG (Retrieval Augmented Generation) par exemple, cela permettrait d'économiser du temps et de l'argent.
Troisièmement, la précision revêt une importance cruciale. Selon les exigences en matière de précision, il est recommandé à l'entreprise d'envisager des LLM plus volumineux tels que LLaMA-70B ou Falcon-180B, qui offrent une précision supérieure grâce à leur ampleur et à leurs données d'entraînement étendues. Cependant, l'entreprise doit également évaluer son budget disponible. Ces LLM plus imposants nécessitent généralement des ressources supplémentaires pour l'entrainement et l'utilisation (inférence), ce qui peut se traduire par des coûts supplémentaires en infrastructure ou des frais plus élevés pour les services cloud.
L'IA Générative : Une nouvelle ère Open Source.
Cette évolution vers le monde du logiciel libre représente un défi majeur pour OpenAI et ses concurrents proposant des modèles de langage fermés. L'amélioration de la qualité des LLM open source remet en question leurs modèles économiques, qui doivent concilier les impératifs financiers et les coûts élevés de production, tout en jonglant pour répondre aux exigences de transparence et d'accessibilité. De plus, avec la tendance croissante du marché vers des modèles plus spécialisés et la nécessité croissante d'intégrer des données internes de l'entreprise, l'offre open source devrait certainement dominer le marché en pleine gestation des solutions IA générative à destination des entreprises.
OpenAI serait-il contraint de réévaluer sa stratégie et d’envisager l'ouverture de ses modèles de langage face à cette montée en puissance de l'open source dans le domaine de l'IA générative ?
Attendons de voir.