DataOps : comment les entreprises reprennent le contrôle de leurs données
Depuis de nombreuses années, avec l'essor du numérique dans toutes les sphères de nos sociétés, les entreprises collectent et traitent de plus en plus de données. Le big data, ce volume de données structurées et non structurées de plus en plus important, atteint désormais un rythme sans précédent.
Ce volume est si grand qu’il est difficile, voire impossible, de traiter les données avec des outils traditionnels tels que les bases de données ou des logiciels. La clé du succès pour une entreprise réside ainsi dans sa capacité à les traiter. C’est là qu’intervient le DataOps, une approche tirée du DevOps dont la promesse est d’améliorer et d’optimiser le cycle de vie des projets data & analytics en matière de rapidité et de qualité. En effet, d’après Gartner, seulement 53% des POCs passent en production et cela en 9 mois en moyenne !
3 freins à l'industrialisation des projets data : humain, technologique et méthodologique
Le principal obstacle à la création de valeur est celui de l’industrialisation des projets big data & IA. Pour le surmonter, les entreprises doivent faire face à trois challenges : le défi humain, technologique et méthodologique.
- L’humain
Dans les projets IA et big data, trois départements sont directement impliqués et amenés à travailler en étroite collaboration : l’IT, les profils data et les profils métiers. Souvent, ils ne partagent pas les mêmes objectifs et enjeux.
Par ailleurs, des divergences de culture et des compétences hétérogènes rendent difficile l’alignement des équipes et impactent la productivité. Les profils métiers cherchent de la réactivité et des insights facilement actionnables tandis que les spécialistes de la data ont besoin d’un environnement agile et manageable dans lequel ils ont leurs outils préférentiels à jour et disponibles. Enfin, et cela peut souvent s’avérer être en contradiction avec ces objectifs, l’IT souhaite maintenir une infrastructure stable et sécurisée. Ces besoins et modes de fonctionnement n’étant pas alignés dès le départ du projet, les initiatives ont souvent du mal à être portées au-delà du POC et perdent de l’intérêt à mesure que des tensions se créent entre les équipes.
- Le défi technologique
Dans un monde où les technologies sont fragmentées et évoluent continuellement, il est indispensable de trouver une solution qui permette aux équipes de collaborer, itérer et déployer les travaux en continu, et ce, de façon agile. De plus, les frameworks qui se sont imposés ne cessent d’être mis à jour et modifiés par les développeurs pour suivre la cadence du marché. Dans le contexte d’un projet data, maintenir une stack technologique d’ampleur devient alors un véritable casse-tête. Le choix des technologies est une étape primordiale et parfois critique pour certains projets. Elle représente un risque pour l’entreprise, autant sur son aspect financier que sur ses conséquences sur l’infrastructure en place en interne.
- Le défi méthodologique
On remarque que les entreprises ont souvent tendance à minimiser au démarrage du projet les processus au profit du choix des technologies. Mais pour faire coïncider équipes et outils, il est indispensable d’implémenter des méthodologies ou procédés clairs et connus de tous. Outiller les équipes, extraire les données, écrire du code / scripts et les amener d’un environnement de test à celui de production nécessite des rouages solides, mais aussi bien huilés. Cela concerne un nombre d’étapes important, du fait de provisionner les serveurs, de permettre l’intégration de technologies et librairies, d’écrire avec des langages différents pour correspondre à des standards de déploiement divers, jusqu’à la prise de feedbacks des utilisateurs métiers.
DataOps, le DevOps de la data au secours de vos projets
Gartner définit le DataOps comme "une pratique collaborative de gestion des données axée sur l’amélioration de la communication, l’intégration et l’automatisation des flux de données entre les métiers de données et les consommateurs de données”. Successeur tout désigné du DevOps, le DataOps est une approche agile qui a pour but de fluidifier le déploiement des projets.
Dans le DataOps, plusieurs étapes se succèdent pour automatiser la conception, le déploiement et la gestion des flux de livraison de données. Cela doit se faire avec les niveaux appropriés de gouvernance et de métadonnées afin d’améliorer l’utilisation de la donnée et la valeur qu’elle génère dans un environnement dynamique.
Au cœur de ce processus se trouve un pipeline de données, qui désigne la succession d’étapes par lesquelles les données passent au cours d’un projet data. Il débute par l’extraction de données à partir de sources variées, jusqu’à leur exposition ou leur visualisation en vue d’une utilisation “métier”.
La plateforme DataOps doit pouvoir répondre aux 3 freins cités précédemment pour permettre aux équipes IT, Data et métiers d'être plus agiles, et de mettre en production plusieurs cas d'usage simultanément avec un large choix de technologies.
La maîtrise des données devient alors un avantage concurrentiel qui permet aux entreprises de développer de nouveaux services, produits, méthodes, des axes d’amélioration, de développement, de diversification ou d’innovation. C'est notamment le cas d'entreprises telles que La Redoute ou encore Veepee qui ont su prendre le virage data avec succès, un processus essentiel pour soutenir une activité commerciale de plus en plus complexe.