Comment construire une IA frugale ?

L'intégration croissante des IA soulève des questions environnementales, économiques et sociétales. l'IA frugale, via des leviers déjà accessibles, cherche à équilibrer efficacité et efficience.

Le marché mondial de l'intelligence artificielle, actuellement évalué à 327,5 milliards de dollars américains d’après Statista, continue de croître avec l'afflux des investissements toujours plus massifs. Quant au marché de l’IA générative, il devrait dépasser les 100 milliards en 2028 d’après Sopra Steria Next. L'intégration croissante des IA dans des secteurs comme la santé, la finance, la vente au détail et l'automobile soulève d'importantes questions environnementales, économiques et sociétales.

Une consommation énergétique sans précédent

L'intégration des IA n'a fait que croître depuis une dizaine d'années avec un emballement depuis 2023, lié à l‘explosion des modèles d'IA dites génératives. Les puissances de calcul augmentent désormais tous les 5-6 mois au lieu de 24 mois selon The Conversation. Un modèle d'IA générative comme GPT-3 s'appuie sur 175 milliards de paramètres d’après Futura Sciences. Le modèle a tourné des jours sur 4 000 gros GPU (unité de traitement graphique) et sa consommation énergétique a été estimée à 1 287 MWh d'électricité soit 552 tonnes d’équivalent CO2 pour son entraînement. Soit l’équivalent des émissions annuelles de 120 foyers américains moyens d’après GreenPeace. Et si nous ajoutons à cela l’inférence d’un modèle comme GPT, adopté par plus de 100 millions d’utilisateurs, la consommation d’électricité devient purement insoutenable. D'autres voies sont possibles pour continuer à profiter des opportunités offertes par les IA.

Les prémisses de l'IA frugale

Depuis quelques mois, l’IA frugale donne de la voix. Elle vise à minimiser les ressources nécessaires pour son fonctionnement, incluant l'énergie, la puissance de calcul et les données. Contrairement aux approches traditionnelles qui privilégient la performance à tout prix, l'IA frugale cherche à équilibrer efficacité et efficience.

L’IA frugale implique notamment :

de miniaturiser et de spécialiser les modèles d'IA afin de les rendre moins gourmands et d'envisager leur usage au plus proche des utilisateurs (comme, très prochainement, dans leur smartphones).
d’imaginer des modèles optimisés réduisant leur complexité, comme le pruning (suppression de neurones non essentiels) ou la quantization (représentations numériques plus compactes).
d’optimiser les algorithmes et des architectures de modèles efficaces, comme les réseaux neuronaux convolutifs compressés et les transformers légers.
d’utiliser des modèles pré-entraînés sur de grands ensembles de données et les affiner pour des tâches spécifiques, réduisant ainsi la nécessité d'un entraînement complet (apprentissage par transfert).
d’adopter la distillation de connaissances : former un modèle plus petit (élève) pour imiter un modèle plus grand (enseignant), conservant ainsi l'efficacité du modèle plus grand avec une taille réduite.
d’utiliser des frameworks et des outils qui supportent l'entraînement et l'inférence efficace des modèles. TensorFlow Lite et PyTorch Mobile sont des exemples de frameworks optimisés pour les environnements à ressources limitées.
d’utiliser du matériel spécialisé comme les unités de traitement spécialisées, les TPU (Tensor Processing Units) et les NPU (Neural Processing Units) plus efficaces pour certaines tâches d'IA.
de déplacer le traitement vers les périphéries du réseau (edge computing) pour réduire la latence et la consommation d'énergie par rapport aux data centers centralisés.

Ces leviers sont actionnables tout de suite pour les nombreuses entreprises qui se lancent dans des projets IA, à l’image de la BNP Paribas pour qui l’IA frugale est d’ores et déjà un sujet clé (issue de l’interview d’Adrien Vesteghem, AI Director, dans l’épisode 9 du podcast IA pas que la Data).

Les directions des GAFAM devraient montrer la voie.

Accélérer ou ralentir ?

Lors des précédentes révolutions industrielles, il n’a jamais été question de ralentir le progrès ni de considérer la finitude des ressources. Aujourd’hui le réchauffement climatique, l’épuisement des ressources et l’effondrement de la biodiversité sont des faits scientifiques avérés et largement documentés.

Les accélérationnistes considèrent que l’on ne pourra pas réussir à enrayer la catastrophe climatique et que seul le progrès technologique nous permettra de faire des sauts importants dans la connaissance de l’humanité. Les défenseurs de la décroissance misent quant à eux sur la réduction drastique de la consommation et des usages numériques.

Les clivages auxquels nous assistons actuellement ne sont que les propagandes des différentes idéologies et conceptions en présence qui s'affrontent : elles tentent de remporter la plus grosse part de cette pizza de l'explosion cambrienne liée à l'IA.

Il faut, je pense, au contraire, allier les avantages et les considérations rationnelles valides des deux camps car, comme souvent, c'est vers la voie du milieu que la vérité se trouve.

Je plaide pour un numérique responsable et durable à tous les états et étapes de projets technologiques, porté non seulement par les CTO mais aussi et avant tout par les directions générales. Il faut sensibiliser toutes les grandes entreprises et les administrations, les inciter à concevoir des systèmes frugaux, tenant compte la finitude des ressources, sans que ce soit un frein au progrès technologique.

Bill Gates investit des milliards dans la recherche sur les énergies renouvelables et Sam Altman (CEO d’OpenAI) finance des projets sur la fusion nucléaire. Nous avons besoin d’un “Grand moment Chat GPT pour l’énergie”, une révolution majeure permettant de produire de l’énergie massive et propre. Pour que le progrès ne soit pas le clou de notre cercueil, mais le tremplin de notre renouveau.