Comment Alibaba Cloud se transforme pour se mettre au diapason de l'IA générative
Division cloud du géant chinois de l'e-commerce Alibaba, Alibaba Cloud met les bouchées doubles pour rattraper son retard sur OpenAI dans l'intelligence artificielle générative. Ces derniers mois, le groupe a lancé plusieurs large language model (LLM) parmi lesquels Tongyi Qianwen et Tongyi Wanxiang. Ces modèles, associés à la plateforme ModelScope et à une infrastructure de GPU, visent à positionner Alibaba Cloud comme un acteur majeur de l'IA générative en Asie et au-delà.
Le modèle Tongyi Qianwen (Qwen) est un LLM orienté génération de texte sorti en avril 2023. Initialement limité au chinois et à l'anglais, il compte dans sa version la plus robuste plusieurs centaines de milliards de paramètres. Ses éditions d'entrée de gamme ont été publiées en open source durant l'été 2023.
Dans sa dernière itération sortie en septembre 2024, Qwen affiche un panel de modèles open source comptant entre 0,5 et 72 milliards de paramètres. Résultat : ces derniers se révèlent moins énergivore. Ce qui ne les empêche pas d'être présentés par Alibaba comme les LLM open source les plus performants de leur génération. Leur déclinaison la plus puissante (Qwen2.5-72B) surclasse les modèles open source Llama3-70B et Mixtral-8×22B dans l'ensemble des benchmarks de référence (voir la capture ci-dessous).
Comparé aux versions précédentes, Qwen2.5-72B affiche des performances accrues en codage et en résolution de problèmes mathématiques. Côté génération de texte, il supporte désormais 29 langues. En plus du chinois et de l'anglais, il prend en charge le français, mais également l'espagnol, le portugais, l'italien, le japonais ou encore le russe. Améliorant significativement le suivi des instructions, il gère l'analyse des données structurées, par exemple des tableaux, et génère en sortie des textes longs, de plus de 8 000 tokens, y compris dans des formats (comme le JSON) utilisables par des applications tierces.
"Qwen 2.5 propose une gamme de plus de 100 modèles, comprenant des modèles de base, des modèles instructifs et des modèles quantifiés de différents niveaux de précision et méthodes, couvrant plusieurs modalités, notamment le langage, l'audio, la vision, ainsi que des modèles spécialisés pour le code et les mathématiques", détaille au JDN un porte-parole d'Alibaba Cloud. "En coulisse, les principales technologies clés recouvrent un pré-entraînement à très grande échelle et des techniques avancées de post-entraînement. Plus précisément, nous explorons comment obtenir des données de haute qualité, fiables, diversifiées et créatives grâce à diverses stratégies automatisées d'alignement."
Depuis son lancement, les modèles Qwen ont été téléchargés plus de 40 millions de fois, et ont engendré la création de plus de 74 000 modèles dérivés.
Qwen-Max supasse GPT4-o dans 8 benchmarks
En septembre 2024, Alibaba Cloud a également mis à jour son modèle le plus puissant, qui, lui, demeure propriétaire : le Qwen-Max. Ce modèle affiche des performances comparables à celles d'autres modèles de pointe dans des domaines tels que la compréhension et le raisonnement linguistique, les mathématiques et le codage. Il surpasse GPT4-o dans 8 benchmarks (voir capture ci-dessous).
Au sein de la série Qwen, on retrouve Qwen-VL qui est également disponible en open source. Dévoilés en juin 2024, ce LLM, qui repose sur Qwen-7B, se concentre sur l'analyse d'image. Il est conçu pour générer des légendes ou répondre à des questions liées à une image. La version Qwen-VL-Chat introduit la possibilité d'interagir avec une image au sein d'un flux conversationnel. Elle permet la rédaction d'histoire ou de poèmes à partir d'images, le résumé de plusieurs contenus issus de l'analyse de plusieurs images, voire même la résolution de problèmes mathématiques à partir de données, telles que des graphiques par exemple, présentées sous forme d'images.
Pour répondre aux besoins croissants en matière de génération d'images, Alibaba Cloud a dévoilé en parallèle Tongyi Wanxiang en juillet 2024. Une gamme de LLM qui a été enrichie d'un modèle de text-to-video en septembre 2024. Il est taillé pour générer des vidéos à partir d'images fixes et / ou d'instruction en chinois ou en anglais. Depuis sa sortie initiale, Tongyi Wanxiang a fédéré plus de 4 millions d'utilisateurs et généré plus de 75 millions d'images.
En complément de ces LLM, Alibaba Cloud a lancé ModelScope, une plateforme de Model as a Service (MaaS) qui a notamment pour but de rendre l'IA générative accessible. Sur le modèle d'Hugging Face, ModelScope permet aux utilisateurs de sélectionner différents LLM pré-entraînés pour des tâches variées, allant de la génération de texte à la génération d'image ou de vidéo. La plateforme offre une flexibilité qui permet aux entreprises d'exploiter les modèles d'IA sans avoir besoin de compétences spécialisées ou d'infrastructures dédiées. ModelScope facilite ainsi la démocratisation de l'IA générative en fournissant aux PME les outils nécessaires pour intégrer ces technologies dans leurs opérations sans investissement majeur en ressources ou en temps.
Une infrastructure de GPU
Côté studio de data science, Alibaba Cloud commercialise Model Studio. Disponible sur la région cloud de Singapour pour les clients internationaux, il intègre l'ensemble de la gamme des modèles Qwen. "Les utilisateurs peuvent personnaliser ces modèles avec les données de leur entreprise en configurant une architecture de RAG en un seul clic. Ils peuvent ainsi développer des applications d'IA générative capables de comprendre leurs propres besoins métier, sans se soucier de l'infrastructure sous-jacente et de la puissance de calcul, le tout dans un réseau cloud isolé qui réduit les risques liés à la confidentialité", commente le porte-parole d'Alibaba Cloud, avant de préciser : "Des outils et services supplémentaires orientés fine tuning et inférence seront également disponibles ultérieurement sur la région cloud de Singapour."
En parallèle, Alibaba Cloud a investi dans une infrastructure technique solide (basée sur des GPU) conçue pour les besoins de calcul en IA. Lors de sa conférence Apsara en septembre dernier, Alibaba Cloud a par ailleurs dévoilé une infrastructure entièrement remaniée en vue de répondre aux besoins de calcul haute performance orienté intelligence artificielle. Le provider a aussi lancé PAI AI Scheduler, un moteur d'ordonnancement nativement cloud conçu pour optimiser la formation et l'inférence des modèles.