Le volume des données brutes qui doivent être interprétées et traitées constitue un problème typique dans le monde du travail moderne. Plus le volume de données est important, plus il est difficile de le suivre, de définir des indicateurs clés de performance (KPI) et d’en dégager des tendances. Prendre une décision finale devient quasiment impossible.
C’est face à ce défi précis qu’un client s’est adressé à nous chez Alight Consulting GmbH.
Nous utilisons un système de tickets pour gérer et soutenir les processus de développement et d’utilisation des applications. Les problèmes et impacts quotidiens sont enregistrés sous forme de tickets et font l’objet d’un processus complet allant de l’analyse à la mise en œuvre d’une solution.
Nous avons besoin d’une analyse des données en temps réel, sous forme de catégorisation et d’agrégation, visualisée dans un rapport. Nous demandons des rapports à la fois sous forme standard statique et sous forme de rapports interactifs pour une analyse « ad hoc ».
Les processus standard doivent être continuellement optimisés pour les rendre aussi efficaces, stables, sûrs et orientés vers les objectifs. Pour concrétiser cet objectif, il est crucial de surveiller et d’analyser méticuleusement les données accumulées afin d’en dériver des décisions et des mesures pertinentes.
En collaboration avec le client, nous avons développé une solution basée sur Azure, qui se décline en plusieurs modules.
- Importation automatique quotidienne de données brutes pertinentes à partir d’un système de tickets externe
- Transformation et structuration des données dans un entrepôt de données (DWH)
- Exploitation de rapports Power BI alimentés par les données de l’entrepôt de données.
Grâce à ce système, il est possible de
- Suivre l’état d’avancement des tâches (tickets) en temps réel.
- Identifier les anomalies
- Soutenir la prise de décision pour contrôler et optimiser les processus.
La solution développée utilise des technologies en ligne modernes telles que Azure Services et Power BI. Grâce à cette approche fonctionnelle, la solution est conçue pour être sécurisée, automatisée et évolutive, permettant un monitoring moderne et axé sur les objectifs.
Un autre avantage réside dans la maintenance et la gestion minimales de l’infrastructure, ainsi que dans les économies de coûts potentielles grâce à l’utilisation de services en ligne. La mise en place récente d’une nouvelle fonctionnalité a confirmé la pertinence du choix technologique : l’extension des données au sein du système de tickets a pu être adaptée rapidement, facilement et sans effort particulier pour intégrer ces données dans les rapports finaux.
The subsequent reporting includes standardized reports, based on which the current data is presented in a uniform format. Sur cette base, des évaluations et des processus décisionnels correspondants peuvent être mis en œuvre par la direction. De plus, les données de périodes passées différentes peuvent être comparées de manière comparable.
La base de données du système de tickets (miroir de la base M42) constitue la source directe des données. La base de données de transit, ciblée pour l’import quotidien des données, possède une structure fondamentalement identique à celle de la base de données Matrix42. Cela permet de transférer les données le plus rapidement et le plus simplement possible. Les données quotidiennes importées et disponibles en zone de transit (staging) sont intégrées à l’entrepôt de données (DWH) sous une forme restructurée et enrichie. Ainsi, l’entrepôt de données (DWH) intègre non seulement les données actuelles, mais également les données historiques. La structure de l’entrepôt de données (DWH) est spécialement conçue et optimisée pour les analyses ultérieures, telles que la création de rapports Power BI. Les rapports exploitent les données de l’entrepôt de données (DWH) et les présentent sous une forme agrégée et adaptée à l’utilisateur.
Technologies utilisées
Bases de données Azure SQL
Les bases de données présentées précédemment dans le chapitre « Architecture de la solution »
- Base de données des miroirs M42
- Base de données de transit
- Base de données de l’entrepôt de données (DWH)
Sont créées en tant que bases de données Azure SQL dans le cloud
Azure Data Factory (ADF)
Pour automatiser le transfert quotidien des données depuis la base de données miroir vers la zone de transit (staging), puis vers l’entrepôt de données (DWH), le service Azure Data Factory est utilisé.
Pour concevoir les processus de transformation (flux de données), des services liés (connecteurs aux bases de données) et des ensembles de données (représentations de la structure des ensembles de données à partir des tables) sont configurés et utilisés.
La logique principale est contenue dans les flux de données. Les flux de données peuvent englober à la fois des sous-processus très simples et des transformations très complexes.
Enfin, les flux de données individuels sont organisés en tant que processus ETL autonomes au sein de pipelines pour former une unité d’exécution.
Le pipeline représenté ici est une séquence de trois flux de données.
Le pipeline est déclenché une fois par jour et englobe l’ensemble du processus d’importation des données quotidiennes.
Les différentes exécutions du pipeline peuvent être visualisées et analysées dans la section Surveillance d’Azure Data Factory.
De plus, chaque pipeline peut être examiné en détail pour analyser l’exécution de ses sous-processus.
Stockage Blob Azure (Azure Blob Storage)
Dans le cadre de notre projet, les données de l’ancien système sont en cours de migration vers la nouvelle solution. Ces données sont exportées sous forme de fichiers Excel. Les fichiers sont chargés vers un Stockage Blob Azure et ensuite, de façon similaire au processus d’import quotidien, transitent via DataFlow vers l’entrepôt de données (DWH).
Rapport Power BI
Les données stockées dans l’entrepôt de données (DWH) grâce aux processus d’une Data Factory sont structurées d’une manière spécifiquement conçue pour analyser, agréger et filtrer les données brutes. Ces données sont visualisées à l’aide de rapports Power BI.
Il existe des rapports standardisés qui permettent l’évaluation et l’analyse périodiques des données actuelles Les données actuelles peuvent également être comparées à des données similaires du passé.
De plus, des rapports sont proposés pour permettre aux utilisateurs d’analyser leurs propres données de manière interactive (reporting ad hoc).
La conception de rapports standard ne nécessite que des étapes de configuration et aucun codage. Les préparations de données complexes qui ne peuvent pas être réalisées avec la norme configurative peuvent être mises en œuvre avec la programmation (DAX).
Les rapports crées sont publiés de manière centralisée et mis à disposition d’un groupe d’utilisateurs sélectionnés via un système d’autorisations.
Résumé
Avantages d’Azure / de la technologie cloud
Les technologies utilisées dans notre projet, telles qu’Azure Data Factory et Power BI, permettent la mise en œuvre de solutions low-code/no-code qui ne nécessitent aucune connaissance en programmation. Cela signifie que les solutions peuvent être développées rapidement et de manière rentable, en concentrant le développement sur les processus techniques à mettre en œuvre.
Avantages
Les services cloud sont fournis, maintenus et développés de manière centralisée. L’utilisateur peut compter sur le fournisseur pour garantir la stabilité du système. Les services utilisés offrent une très haute disponibilité et une sécurité des données très élevée. L’utilisateur n’a que des besoins de maintenance et de gestion de l’infrastructure relativement faibles.
Grâce à la diversité des services et des technologies proposés par Azure Cloud et PowerPlatform, le recours à des outils tiers est devenu marginal.
De plus, les services sont évolutifs. Pour les bases de données Azure SQL, par exemple, il est possible de choisir parmi différents modèles de licence en fonction de la taille de la mémoire, de l’utilisation du processeur et de l’optimisation des performances. Cela signifie que les coûts peuvent être optimisés en fonction de vos besoins spécifiques.
Défis
La mise en place et l’utilisation d’un cloud Azure nécessitent une gestion qui assure la maintenance et le support des services et des ressources configurés, tout en garantissant l’intégration transparente de nouveaux éléments au système existant. Cela garantit une stabilité temporelle et technique.
Transférabilité aux scénarios analogiques
La solution décrite ci-dessus pour un projet réel peut être transposée à de nombreux domaines d’application analogues.
Dans de nombreux cas, des outils et produits hautement spécialisés sont utilisés pour soutenir les processus internes. Cependant, ces produits ne proposent souvent pas le niveau de supervision dont le client a besoin pour ses activités.
Dans ces cas, la procédure suivante peut être appliquée.
- Synchronisation des données dans le cloud
- Accès aux données depuis le cloud via la passerelle de données Azure.
- Restructuration des données
- Enrichir les données avec des informations client supplémentaires et spécifiques.
- Consolidation des données dans un entrepôt de données (DWH)
- Analyse et reporting des données avec Power BI