Optimiser les charges de travail et le stockage de l'IA : de la collecte des données au déploiement
L'intelligence artificielle (IA) a inauguré une nouvelle ère des technologiques, allant des résultats incroyables des modèles de langage aux capacités de l'IA générative à créer des images à partir d'
Grâce à ses vastes possibilités, pratiquement toutes les organisations dotées de compétences techniques peuvent développer (ou acheter) leurs propres modèles d'IA et les former à l'analyse et à l'optimisation de presque tous les processus d'entreprise qu'elles choisissent. Cependant, malgré ses avancées et contrairement à sa complexité apparente, les charges de travail de l'IA reposent sur quatre étapes fondamentales : la collecte de données, la création de modèles, la formation et le déploiement.
Outre la puissance de calcul des GPU pour traiter les données à des vitesses incroyables, le stockage des données est l'un des éléments clés qui permet à l'IA d'être efficace et efficiente.
L'IA s'appuie fortement sur de grandes quantités de données pour la formation, l'analyse et la prise de décision en temps réel. Les systèmes de stockage - qu'ils soient en périphérie, sur site ou dans le cloud - fournissent l'infrastructure nécessaire pour collecter, stocker, gérer et sauvegarder les données et les ensembles massifs de données d'IA, en veillant à ce qu'ils soient facilement accessibles aux différentes étapes du flux de travail de l'IA. L'alignement des technologies de stockage avec la bonne phase de la charge de travail de l'IA est crucial pour exploiter l'efficacité et la performance, et en fin de compte les connaissances.
Pour illustrer notre propos, imaginons un magasin traditionnel qui cherche à suivre les mouvements des clients dans ses locaux afin d'améliorer ses stratégies de marketing.
1. Collecte de données : L'étape initiale consiste à collecter de grandes quantités de données - disons des images des mouvements des clients dans un magasin. Lors de la collecte des données, les solutions de stockage capturent et sauvegardent les données brutes générées par diverses sources telles que les capteurs, les caméras et les bases de données. Ces solutions de stockage doivent gérer différents formats de données structurées et non structurées, tels que les images, le texte et les vidéos. La capacité d'ingérer et d'organiser efficacement ces données est essentielle au processus d'IA. Ces données brutes nécessitent un serveur de stockage local ou une plateforme de stockage, ou bien elles sont progressivement téléchargées dans le Cloud pour être analysées. Dans certains cas particuliers, un appareil physique de transport de données ou un serveur de périphérie robuste peut être nécessaire pour capturer et déplacer de grandes quantités de données de la périphérie vers le centre de données pour analyse, car elles peuvent être trop volumineuses et/ou d'un coût prohibitif pour être téléchargées. Les solutions de périphérie robuste peuvent également contribuer à garantir une collecte de données transparente dans des environnements extrêmes ou difficiles, tels que le désert ou l'océan, où l'internet peut être inexistant.
2. Création de modèles : Au cours de cette phase, avec un problème défini en tête, les experts en IA expérimentent différentes étapes de traitement, affinant les algorithmes pour extraire les informations souhaitées des données. C'est là que s'opère la magie de l'IA, alimentée par une expérimentation poussée. Si les GPU dominent la phase de modélisation et d'entraînement, le choix du support de stockage n'est pas nécessairement limité aux baies all-flash. Les disques durs ont un rôle à jouer dans le stockage de grands ensembles de données et d'instantanés en vue d'un réapprentissage ultérieur. Les algorithmes d'apprentissage automatique itèrent sur ces ensembles de données à plusieurs reprises pour affiner et optimiser le modèle. Alors que les disques durs offrent un stockage de masse rentable, la technologie Flash permet un stockage rapide, garantissant que l'entraînement et l'affinage du modèle sont effectués sans accros.
3. L'entraînement : La formation est l'étape où le modèle d'IA affiné est mis à l'épreuve et appliqué à un ensemble complet de données. Les temps de formation peuvent varier considérablement ; même les modèles linguistiques les plus populaires ont nécessité près d'un an de formation, mais en fonction du problème et de l’apprentissage, certains modèles peuvent ne nécessiter que quelques heures, jours ou mois de formation. Quoi qu'il en soit, à mesure qu'un modèle d'IA gagne en complexité et apprend en s'ajustant et en s'optimisant de manière itérative, il a besoin d'une puissance GPU importante pour l'entraînement, qui s'appuie sur des données stockées sur un type de support quelconque. Bien qu'il soit tentant de croire qu'une configuration entièrement Flash est la seule exigence en raison de ses avantages en termes de performances, les disques durs ne sont pas exclus. La mémoire flash et les disques durs sont complémentaires. Dans les scénarios où les entreprises accumulent d'importants volumes de données, une approche hybride est nécessaire. Cette approche implique l'archivage d'instantanés ou d'ensembles de données plus anciens sur des disques durs, qui sont disponibles pour un retraitement occasionnel par l'algorithme d'apprentissage. Ainsi, les disques durs trouvent leur pertinence dans les charges de travail d'IA en servant de dépôt pour les données en vrac qui n'attendent que le moment opportun pour être réévaluées dans les algorithmes de formation ultérieurs.
4.Déploiement : La dernière étape consiste à déployer l'algorithme formé. Une fois que le processus de formation est terminé et que les entreprises souhaitent déployer leur algorithme, elles peuvent le faire à différents endroits, notamment à la périphérie, où l'analyse des données se fait en temps réel. Certaines entreprises s'appuient sur le cloud et déploient des services basés sur le web. D'autres, comme l'épicerie, peuvent déployer la charge de travail d'IA sur un serveur dans un placard informatique à l'arrière du magasin. C'est là que des serveurs locaux efficaces sur site, adaptés aux environnements périphériques, peuvent apporter la puissance du centre de données à la périphérie.
Questions clés pour la conception de flux de travail et de stockage de l'IA
Après ces quatre étapes fondamentales d'un flux de travail d'IA, il existe des éléments à prendre en compte pour guider le processus de prise de décision en matière de stockage afin de garantir une utilisation et une efficacité optimales du stockage des données :
· Stratégie de collecte des données : Comprendre l'approche de la collecte des données - transfert en vrac ou en téléchargement progressif. Dans certains scénarios, le transport physique des données ou un serveur périphérique robuste peuvent être nécessaires.
· Environnement de formation : Évaluez si la formation doit être effectuée dans le cloud, sur site ou en achetant des modèles préformés. Chaque option présente ses propres avantages et compromis.
· Infrastructure d'inférence : Définir le matériel prévu pour l'inférence en périphérie. Tenez compte des conditions environnementales et des exigences matérielles spécifiques pour les scénarios de périphérie.
L'IA est là pour rester et va révolutionner notre façon de vivre, de travailler et de jouer. Les implications sur le stockage devraient être considérables, car le rôle du stockage influence directement la vitesse, l'efficacité et le succès des processus d'IA, ce qui en fait un composant indispensable des opérations modernes basées sur l'IA.
L'interaction entre la collecte de données, la création de modèles, la formation, le déploiement et les solutions de stockage de pointe ouvre la voie à des perspectives transformatrices. En alignant les technologies de stockage sur chaque phase, les organisations peuvent atteindre l'efficacité et la performance dans leurs efforts d'IA. Dans un domaine où la technologie évolue constamment, les bonnes questions et considérations peuvent ouvrir la voie à des conceptions de flux de travail d'IA rationalisées qui produisent des résultats percutants.