La collaboration est la seule réponse aux enjeux mondiaux liés aux données

Le volume de données mondial devrait atteindre 175 zettaoctets d'ici 2025. S'il fallait télécharger chaque octet sur des DVD et les empiler les uns sur les autres, la pile de disques représenterait plus de 23 fois la distance Terre-Lune.

Un jour, le célèbre informaticien Alan Kay a déclaré que tous ceux qui "s'intéressent vraiment" aux logiciels "devraient fabriquer leur propre matériel". Bien que sarcastique, son propos a été étayé. Selon la loi de Wirth, par exemple, le ralentissement des logiciels au fil du temps amoindrit les gains d'efficacité du matériel. La loi de Wirth a été attribuée à divers défauts présumés dans le secteur des logiciels : programmes lourds, développeurs paresseux et pire encore. Mais aujourd’hui, la situation évolue.

En ce qui concerne l’avenir, nous sommes confrontés à un énorme déluge de données. Selon un rapport DataAge d’IDC (commandité par Seagate), le volume de données mondial devrait atteindre 175 zettaoctets d’ici 2025, soit une augmentation plus de cinq fois supérieure en sept ans. S’il fallait télécharger chaque octet sur des DVD et les empiler les uns sur les autres, la pile de disques représenterait plus de 23 fois la distance entre la Terre et la Lune.

C’est un volume de données époustouflant. Mais bon nombre de nos systèmes existants doivent être mis à niveau si nous voulons tirer parti de ces données, plutôt que de les surcharger.

Heureusement, les efforts coordonnés des deux camps autrefois rivaux progressent. Prenons quatre aspects parmi les plus complexes dans ce domaine : l’accès aux données et les flux de données, l’essor des services multiclouds, les informations système, ainsi que la sécurité et la confidentialité. Dans chaque cas, le matériel et les logiciels sont développés en tandem et souvent dans le cadre de projets open source, ce qui améliore la transparence tout en élargissant le savoir et la compréhension.

Amélioration de l’accès aux données et optimisation des flux de données

Sachant que la quantité de données dont nous disposons augmente de façon exponentielle, notre capacité à y accéder est de plus en plus importante. Parallèlement à l’augmentation de la capacité, nous avons besoin de vitesses de lecture/écriture plus rapides à moindre coût. C’est pourquoi des chercheurs innovent avec la technologie NAND, une mémoire Flash qui ne nécessite pas d’alimentation pour conserver les données.

En ce qui concerne les flux de données, un certain nombre de projets portant sur des logiciels open source tels que Kafka, Redis et Hive ont ouvert de nouvelles perspectives en matière de streaming, d’acquisition de données et de stockage. Cette avancée a été facilitée par le développement de composants matériels ou de modules configurables.

Adoption du multicloud

De nombreuses entreprises abandonnent les services de cloud public au profit de services multiclouds pour gérer le volume croissant de données dont elles disposent. Mais elles souhaitent quand même conserver bon nombre des fonctionnalités de leur ancien système. Les systèmes de stockage scale-out tels qu’Apache Hadoop et Ceph répondent à cette problématique. Ces deux systèmes étant également open source, leur connaissance est partagée et diffusée dans l’ensemble de la communauté.

Mais la possibilité de personnaliser ces systèmes vient du matériel. Lorsqu’une faible latence est primordiale, le stockage 100% Flash est une bonne option. Si les entreprises ont besoin d’une capacité de stockage plus importante, l’architecture matérielle leur permet de configurer les modules en fonction.

Informations système plus précises

L’une des tendances récentes les plus marquantes dans le domaine des logiciels est le développement de la gestion de système autonome. Il est désormais possible d’intégrer des systèmes répandus tels que Kubernetes avec des outils de supervision open source tels que Prometheus.

Toutefois, ce logiciel requiert que le matériel tienne compte de divers aspects de ses performances, de la température aux vibrations. Au fil des prochaines innovations matérielles, les logiciels reposeront sur des critères plus précis et plus utiles.

Sécurité et confidentialité

Les réglementations relatives à la protection des données sont beaucoup plus strictes qu’il y a quelques années, et il est bien possible qu’elles le deviennent encore plus. Les développeurs de logiciels seront les premiers à concevoir des systèmes qui protègent la sécurité et la confidentialité, mais le matériel y contribuera.

L’architecture RISC-V est l’un de ces développements. Il s’agit d’un modèle abstrait open source conçu pour les ordinateurs ; ce jeu d’instructions peut être utilisé librement pour le développement d’ordinateurs hautement sécurisés, peu coûteux et économes en énergie.

Travailler en tandem

Passant le plus clair de mon temps des "deux côtés de la barrière", à travailler sur des logiciels pour une entreprise qui fabrique principalement du matériel, j’ai eu la chance d’assister à ces développements.

Il est encourageant de voir que la conception de matériel constitue un aspect essentiel du traitement des données, et que les enseignements tirés du côté des logiciels sont directement utilisés pour concevoir du matériel. Si la communauté continue de promouvoir le développement open source dans tous les domaines, tout le monde en profitera.

En ce sens, Alan Kay n’avait peut-être qu’à moitié raison. Les développeurs de logiciels sérieux devraient apprendre à connaître le matériel. Mais aujourd’hui plus que jamais, nous avons tout intérêt à inverser cette logique.