De l'inférence à l'entrainement, AWS muscle ses outils dédiés à l'IA générative à re:Invent 2024
Au troisième jour de re:Invent 2024, AWS continue ses annonces dans l'IA générative et se positionne désormais comme une alternative crédible pour les entreprises souhaitant développer une stratégie d'IAGen complète. Après l'annonce de sa nouvelle famille de modèle de pointe Nova, AWS dévoile, par la voix de Swami Sivasubramanian, VP AI et Data d'AWS, de nouvelles fonctionnalités pour simplifier et réduire les coûts de l'IA générative, de l'entraînement des modèles à leur inférence.
Cinq nouvelles fonctionnalités pour Bedrock
AWS poursuit le développement d'Amazon Bedrock, sa plateforme pour l'inférence de modèles d'IA générative, avec une approche encore davantage centrée sur les clients. S'inspirant d'Anthropic et d'OpenAI notamment, AWS annonce le support du cache prompting. Pour rappel, cette fonctionnalité offre la possibilité de stocker les réponses précédemment générées, associées à leurs prompts, dans un cache. Avant de produire une nouvelle réponse, l'IA vérifie si une requête similaire a déjà été traitée. Si c'est le cas, elle renvoie directement la réponse stockée, sans recalcul. Une technique qui permet de drastiquement réduire les coûts et d'accélèrer les temps de réponse.
En parallèle, AWS annonce l'arrivée de l'intelligent routing. Une fonctionnalité toute droit inspirée d'Amazon Q qui permet, lorsque un prompt est envoyé au système, de router la requête vers le modèle le LLM le plus pertinent. Le but ? Apporter une réponse plus précise tout en diminuant les coûts pour les requêtes plus simples. Schématiquement une requête très simple sera adressée à un modèle de petite taille, quand une demande plus complexe sera adressée à un grand modèle.
Sur le plan technique, Bedrock innove avec trois autres nouvelles fonctionnalités clés : le support des données structurées pour interroger directement les bases de données en langage naturel, le GraphRAG pour établir des liens entre les informations et réduire les hallucinations. Enfin, avec Bedrock Data Automation, AWS propose un outil pour transformer automatiquement les données non structurées (documents, images, vidéos) en formats exploitables par les applications d'IA générative, pour simplifier l'accès aux 80% de données d'entreprise jusqu'alors difficilement exploitables.
Des partenariats avec Poolside, Stability et Luma
AWS étoffe considérablement son offre de modèles sur Bedrock. La plateforme intègre désormais les solutions de Poolside, start-up française (cocorico !) spécialisée dans la génération de code, le dernier modèle de génération d'images de Stability AI (Stable Diffusion 3.5), ainsi que la technologie de pointe de Luma pour la génération vidéo. Plus significatif encore, le lancement de la Bedrock Marketplace ouvre l'accès à plus d'une centaine de modèles spécialisés, notamment ceux d'IBM.
Sage Maker se réinvente en plateforme d'analyse de la donnée
SageMaker se réinvente à re:Invent avec de nouvelles fonctionnalités qui rapproche l'analyse de données et l'IA. La plateforme de machine learning d'AWS enrichit son offre HyperPod, dédiée à l'entraînement des modèles de ML, avec trois innovations majeures. A commencer par les flexible training plans. Une fonctionnalité qui simplifie la planification des ressources de calcul. Concrètement, alors qu'une équipe peut avoir besoin de 16 cœurs pendant une semaine pour entraîner un modèle, une autre peut nécessiter 100 cœurs pendant un mois. Les flexible training plans automatisent l'allocation des ressources en fonction des besoins, réduisant, selon AWS, jusqu'à 40% le temps consacré à la planification.
AWS introduit également la task governance, qui permet d'optimiser l'utilisation des coûteux clusters de GPU. Le principe est simple : pendant la journée, ces clusters sont principalement utilisés pour l'inférence, mais la nuit, lorsque le trafic est plus faible, ils peuvent être automatiquement réalloués à des tâches d'entraînement. Là encore une réduction de coût importante pour les entreprises. Enfin, AWS dévoile les fine-tuning recipes. Une fonctionnalité qui permet aux utilisateurs de fournir des exemples de bonnes et mauvaises réponses pour fine-tuner les modèles selon leurs besoins spécifiques.
Amazon Q arrive dans SageMaker Canvas et QuickSight
Amazon Q, l'assistant IA d'AWS, monte encore en puissance. AWS l'intègre dans deux nouveaux services : SageMaker Canvas et QuickSight. Dans le premier, Q transforme la création de modèles de machine learning en une conversation naturelle, où les utilisateurs peuvent simplement décrire leurs besoins en langage naturel. L'assistant se charge alors de décomposer le projet en tâches spécifiques, de la préparation des données jusqu'à l'évaluation du modèle final.
Dans QuickSight, la plateforme d'analyse de données d'AWS, Q devient un véritable analyste virtuel capable de mener des analyses de scénarios complexes. Les analystes peuvent poser leurs questions directement en langage naturel, et Q se charge d'identifier les données pertinentes et de conduire l'analyse étape par étape.
De l'annonce d'Amazon Nova aux nouvelles fonctionnalités de Bedrock et Sage Maker, AWS affirme clairement ses ambitions dans l'IA générative lors de cette édition 2024 de re:Invent. Le géant du cloud dispose désormais d'une suite complète d'outils pour rivaliser avec les leaders du marché. Sa double approche, alliant excellence hardware et optimisation des coûts, pourrait s'avérer particulièrement séduisante pour les entreprises.