L'orchestration des worfklows d'applications, ciment d'un projet data gagnant

L'automatisation et l'orchestration des workflows d'applications jouent un rôle primordial dans les projets opérationnels d'analyse de données.

Souvent sous-estimées, parfois mises de côté au profit de tâches jugées plus prioritaires, l’automatisation et l’orchestration des workflows d’applications jouent pourtant un rôle primordial dans les projets opérationnels d’analyse de données. Leur mission ? Garantir un flux de données continu, de bout en bout.

De récentes études européennes ont démontré que si 61 %(1) des entreprises placent aujourd’hui l’analyse des données en tête de leurs priorités d’investissements technologiques, plus de 50%(2) expriment des difficultés quant à leur exploitation : problèmes d’accès ou de localisation, mauvaise qualité des données collectées, volume trop important, variété des formats ou encore fonctionnement en silos, la liste est longue. Minimiser l’importance de l’orchestration des données, en particulier au démarrage d’un projet, peut en effet avoir des conséquences critiques sur les applications et les services métier qui en découlent.

En véritable ciment de tout projet IT, l’orchestration des workflows est donc un fondement essentiel du développement d’applications et de pipelines de données. C’est une réflexion qui ne devrait en aucun cas être menée a posteriori, au risque d’entraver toute tentative de développement d’applications, d’analyse de données, de machine learning ou encore d’intelligence artificielle. A terme, négliger le rôle central de l’orchestration des données pourrait tout simplement mener un projet à sa perte, au même titre que 85% des projets big data.

Importance de l’orchestration des flux d’applications et de données

Face à la nécessité d’agréger, de stocker, d’exécuter et d’analyser des données pour optimiser leurs activités, les entreprises se tournent souvent vers l’automatisation, comme moyen de rationaliser le processus. Or, sélectionner des outils d’automatisation sans adopter d’approche stratégique, incluant les besoins des opérateurs informatiques (IT Ops), rend leur exploitation plus complexe et leur gestion plus difficile.

Dans la quatrième partie de son rapport "Data Engineering Essentials, Patterns and Best Practices" ("Les Bases de l’Ingénierie des Données, Modèles et Meilleures Pratiques"), Sumit Pal, analyste chez Gartner, décrit l’importance d’orchestrer et d’automatiser les pipelines de données : "Les données doivent être déplacées, décortiquées et agrégées dans le bon format avant d’être consommées par les systèmes en aval." L’orchestration connecte ainsi les différentes sources et systèmes d’un pipeline de données pour assurer une circulation cohérente de ces dernières, du début à la fin.

Lorsqu’elle est bien réalisée, l’orchestration garantit donc que les différentes étapes du flux de données ou d’applications se déroulent dans le bon ordre et au bon moment, en faveur du service métier. Cela passe par l’implantation de plateformes offrant un point de contrôle unique et une orchestration évolutive, pilotée par API. En réduisant la complexité des processus et en les automatisant de bout en bout, elles permettent de tirer parti de la technologie et des données à disposition et de les intégrer aux dernières applications métier, pour fournir à l’entreprise des informations à haute valeur ajoutée.

Des fonctionnalités au service de la performance

Si la mise en œuvre précoce de l’orchestration des workloads des applications et des données est essentielle, certaines fonctionnalités sont également indispensables à son bon fonctionnement :

• Visualisation de bout en bout : la visibilité est l’un des attributs les plus critiques d’une plateforme robuste. Elle doit fournir une vue complète des applications, des sources de données et des systèmes d’enregistrement critiques, du mainframe au cloud. Être capable de visualiser les workloads de bout en bout permet d’améliorer l’identification et la correction des problèmes actuels et potentiels.
• Intégration hybride et cloud : à mesure que l’utilisation d’environnements de cloud privé, public et hybride se développe, la nécessité d’une plateforme capable de fonctionner de manière transparente devient essentielle. Elle doit permettre de tirer parti de la flexibilité et de l’évolutivité des écosystèmes cloud, offrir une visibilité de bout en bout des workloads dans les environnements hybrides et fournir le même niveau élevé d’automatisation, quelle que soit la technologie cloud utilisée.
• Gestion des SLA : de bonnes fonctionnalités de gestion des accords sur les niveaux de service (SLA) permettent une planification et un dépannage proactifs des flux de travail, et contribuent à éviter les retards dans les services métier. La capacité à déterminer l’impact des retards ou des erreurs potentiels sur les SLA offre de meilleures perspectives commerciales. A la clé : des décisions plus éclairées, un moindre risque de violations des SLA pour les applications critiques et, in fine, moins de perturbations pour l’entreprise.
• Fonctionnalités de transfert de fichiers gérés : les opérations commerciales impliquent de déplacer des fichiers entre plusieurs applications et systèmes d’enregistrement. Or l’utilisation de produits distincts pour la gestion de ces transferts ainsi que des workloads d’applications nécessite des scripts et des interventions manuels, générant tout autant risques inutiles, dont la violation potentielle des SLA. Une bonne plateforme d’orchestration de workloads d’applications intègre les transferts de fichiers aux workloads connexes, rationalisant ainsi l’ensemble du processus.
• Sécurité et gouvernance : les flux de production, par définition, gèrent des services critiques pour l’entreprise. Il est donc primordial que chacun accède aux données qui lui sont autorisées et les manipule conformément aux pratiques commerciales de l‘entreprise. Un modèle de sécurité robuste et granulaire garantit les contrôles requis pour sécuriser l’accès aux ressources et aux fonctions appropriées, selon les rôles et les utilisateurs définis. Audit complet, rapports et contrôle de version doivent mettre en exergue toute information nécessaire pour suivre et analyser les événements d’intérêt, tandis que la codification et la normalisation des données garantissent une plus grande conformité aux pratiques opérationnelles et aux directives de sécurité de l’entreprise.
• Support DevOps : idéalement, l’orchestration du workloads d’applications doit être intégrée au processus de développement le plus tôt possible. Pour ce faire, Dev et Ops doivent travailler ensemble au fur et à mesure de la phase de développement, dans une approche jobs-as-code. Grâce aux fonctionnalités d’API d’automatisation, il est possible de rendre les workloads versionnables, testables et maintenables. Chaque personne impliquée peut dès lors contribuer à la définition, à la planification, à la gestion et à la surveillance des flux des applications en production. En conséquence, les services informatiques peuvent réduire leurs coûts et améliorer la qualité de leurs applications, en détectant les défauts et les bogues plus tôt dans le cycle de développement.

Essentielle au succès de l’entreprise, l’implantation d’une plateforme d’orchestration de flux d’applications et de données peut non seulement rationaliser les pipelines de données, mais aussi contribuer à respecter ou à améliorer les SLA, à répondre à des objectifs sur le long terme et à améliorer les résultats commerciaux de manière globale.

(1) European Future Enterprise Resilience Survey 2021

(2) IDC European Software Survey 2021