Quelles sont les dates limite d'entraînement des différents modèles d'IA géants

Les dates limites de learning des large language models conditionnent leur capacité à répondre à des questions sur des informations récentes. Tout d'horizon des principales dates en question.

Les large lenguage models (LLM) sont des outils puissants capables de répondre à des questions pertinentes de manière intelligible et synthétique. Reste à savoir jusqu'à quelle date ils ont été entraînés. A cette question dépend la fraicheur des réponses apportées. La vaste majorité d'entre eux seront typiquement incapables de répondre à une requête portant sur un événement postérieur à cette date. Dans le tableau ci-dessous sont répertoriés les plus utilisés avec pour chacun leur date limite d'entrainement.

Selon les LLM, les dates de mise à jour sont très différentes. Elles dépendent évidemment de leur date de sortie, mais aussi du temps nécessaire pour les entraîner et aboutir à un produit fini. Là où Claude 3 Opus affiche une date limite de connaissance en août 2023, Mistral - 7B, qui demeure encore parmi les LLM les plus utilisés, n'a été entraîné que jusqu'en août 2021. Ce qui engendre une différence notable entre les deux. A la différence de Claude 3 Opus, Mistral - 7B ne pourra par exemple pas répondre à des questions portant sur les élections présidentielles et législatives de 2022. 

Reste une solution permettant de briser ce plafond de verre. Au moment de la saisie du prompt, il sera toujours possible de soumettre au LLM quelques documents, plus récents, portant sur la réponse recherchée. Le modèle pourra alors en réaliser la synthèse de manière souvent qualitative. Autre possibilité, plus complexe : mettre en place un système de Rag (pour pour retrieval augmented generation) qui permettra d'associer au LLM une base documentaire complète dans laquelle aller piocher les réponses. Le principal avantage du Rag ? Il permet de fournir des données qualitatives et vérifiées qui éviteront au LLM de générer des hallucinations.

Mais il existe un LLM particulier qui permet de transcender le problème : GPT-4. Ce modèle peut en effet se connecter à l'index du moteur de recherche Bing de Microsoft. Ce qui lui permet de répondre à des questions sur des thématiques récentes, voire même sur des sujets d'actualité. Cette intégration s'inscrit dans le partenariat historique signé entre Microsoft et le fournisseur de ChatGPT, OpenAI.  Un accord qui a également conduit à l'intégration de ChatGPT au cloud Azure de l'éditeur de Redmond.