Avancée technologique ou marketing : que sont vraiment les frontier models ?
Les géants de l'IA sont-ils en train de nous enfumer ? En juillet dernier, au cœur de l'été, les mastodontes de l'intelligence artificielle générative ont parlé d'une même voix pour annoncer la création du Frontier model forum, un nouveau groupe industriel autour de l'IA. L'objectif affiché est de "faire progresser la recherche sur la sécurité de l'IA, identifier les meilleures pratiques et normes, et faciliter le partage d'informations entre les décideurs politiques et l'industrie." Dans leur communiqué commun, OpenAI, Google, Microsoft et Anthropic évoquent l'arrivée prochaine d'une nouvelle génération d'IA : les frontier models.
La définition officielle parle d'une nouvelle gamme de modèles "à grande échelle" en capacité de dépasser "les capacités actuellement présentes dans les modèles existants les plus avancés, et capables d'accomplir une grande variété de tâches." Quelles sont les nouvelles possibilités offertes par ces modèles ? Quelles sont les différences techniques avec les modèles actuels ? Quels sont les risques associés ? La description plus qu'abstraite interroge les acteurs de la communauté de l'IA.
Des modèles proches de l'AGI ?
Pour Jaafar Elalamy, DG de Seiki, filiale de LaTour Media Group, spécialisée en Mobility Intelligence, le terme de frontier model fait référence à des modèles d'IA encore inexistants sur le marché. "Avec ces nouveaux modèles, nous allons entrer dans l'ère de l'IA générale ou l'IA forte." L'IA forte, aussi appelée AGI pour intelligence artificielle générale, désigne un nouveau point de rupture technologique quand les chercheurs en IA auront développé un système capable de penser, de résoudre des problèmes, d'apprendre comme un humain. L'IA pourrait également avoir une conscience de soi, affirment même certains théoriciens. A contrario, en septembre 2023, la totalité des modèles lancés sur le marché (GPT-4, Llama 2, LaMDA…) sont des IA faibles.
Les frontier models pourraient ainsi prendre en entrée "une infinité d'inputs, de nature extrêmement différente. Cela pourrait être de l'image, du son, de l'IOT, des données semi-structurées voire non-structurées par exemple". Cet apprentissage sur un dataset multimodal pourrait démultiplier les possibilités de génération avec des "volumétries de données beaucoup plus poussées". Techniquement, les modèles ne seront pas entraînés de la même manière que les LLM actuels. "Au lieu d'opter pour un apprentissage plutôt en profondeur, comme cela peut être le cas avec les réseaux de neurones, il y aura plusieurs couches. Dans un réseau de neurones, on pourrait commencer avec une base sans pré-entraînement, puis progresser à travers plusieurs couches. Le but étant de conserver non seulement la profondeur, comme c'est le cas aujourd'hui, mais de bénéficier également d'une approche par traitement parallèle", explique Jaafar Elalamy.
Un terme contesté parmi les chercheurs
Dans leur communiqué commun, Google, OpenAI, Microsoft et Anthropic, mettent en lumière les initiatives existantes visant au développement éthique de l'intelligence artificielle, à la manière de Partnership on AI ou MLCommons. Pour autant, Rebecca Finlay, CEO de Partnership on AI, rappelle que le terme de frontier model est "encore très contesté dans la communauté de l'IA, comme beaucoup d'autres expressions." "La notion de frontier model est très complexe à saisir, en effet il s'agit de définir avec exactitude quelles pourraient être les possibilités de ces futurs modèles. C'est un véritable défi. Par ailleurs, il est très probable que la définition même soit amenée à changer au fil du temps", estime la spécialiste.
Les frontier models pourraient cependant signer un véritable "changement de paradigme en termes de capacité par rapport aux actuels grands modèles comme GPT-4 ou LLaMa". Cette nouvelle génération de modèles pourrait par ailleurs poser de nouveaux défis en matière de sécurité. Ils pourraient potentiellement avoir la capacité de "s'auto répliquer, d'être détournés pour "attaquer d'autres systèmes", sans parler des risques liés à la hausse de la "diffusion de la désinformation." C'est pourquoi Partnership on AI examine constamment "les capacités des modèles actuels afin d'anticiper les fonctionnalités futures", rappelle Rebecca Finlay.
Une nouvelle expression marketing ?
Plus critique encore, Gilles Moyse, docteur en intelligence artificielle et fondateur de reciTAL, start-up spécialisée dans le traitement automatique du langage, voit dans cette annonce un coup marketing des géants du net. Pour l'heure, les frontier models n'ont "aucune réalité technologique." "C'est une posture face au législateur pour ne pas se faire embêter. C'est une manière de montrer que ce sont des acteurs responsables qui prennent très au sérieux les risques. Mais ce n'est pas une révolution technique, c'est une posture légale, juridique et stratégique", tranche le spécialiste.
Selon Gilles Moyse, l'annonce du frontier model fait écho à la tournée mondiale de Sam Altman au cours duquel il a pu rencontrer de nombreux chefs d'Etats. Le CEO d'OpenAI "expliquait alors : 'Ah, mais vous savez, bien sûr, ces modèles font des erreurs. On travaille beaucoup dessus, on fait très attention à ça. Endormez-vous, on s'occupe de tout.' Pour moi, l'annonce autour du frontier model forum c'est exactement le même principe. D'ailleurs, le terme de frontier model n'est pas très repris par la communauté."