O problemă tipică la locul de muncă modern este volumul de date brute care trebuie interpretate și procesate. Cu cât cantitatea de date este mai mare, cu atât este mai greu să urmăriți, să definiți KPI și să obțineți tendințe. Luarea deciziei finale devine aproape imposibilă.
Exact cu această provocare, ne-a abordat un client la Alight Consulting GmbH:
„Folosim un sistem de ticketing pentru a gestiona și susține procesele de dezvoltare și utilizare a aplicațiilor. Problemele care apar zilnic sunt surprinse sub formă de bilete și însoțite de la analiză până la realizarea soluției.
Avem nevoie de o analiză în timp real a datelor sub formă de categorizare și agregare, vizualizată ca un raport. Avem nevoie de rapoarte atât în formă standard static, cât și rapoarte interactive pentru analize ad-hoc.”
Procesele obișnuite trebuie să fie optimizate continuu pentru a le face cât mai eficiente, stabile, sigure și orientate către obiective. Pentru a realiza acest lucru, datele acumulate trebuie monitorizate și analizate pentru a lua decizii și măsuri din acestea.
Împreună cu clientul, a fost dezvoltată o soluție bazată pe Azure, care este împărțită în mai multe componente:
- Import automat zilnic de date brute relevante dintr-un sistem extern de ticketing
- Transformarea și structurarea datelor într-un depozit de date (DWH)
- Utilizarea rapoartelor Power BI (pe baza datelor din depozitul de date)
Cu acest sistem, este posibil să
- Determinați starea curentă de procesare a sarcinilor (tickets)
- Identificați anomalii
- Sprijină luarea deciziilor pentru controlul și optimizarea proceselor
Soluția dezvoltată utilizează tehnologii online moderne, cum ar fi Azure Services și Power BI. Acest lucru permite ca soluția să fie proiectată dintr-o perspectivă funcțională pentru a fi sigură, automatizată și extensibilă, permițând monitorizarea modernă și orientată spre obiective.
Un alt avantaj este efortul minim de întreținere a infrastructurii și potențialele economii de costuri prin utilizarea serviciilor online. O caracteristică recent implementată a confirmat alegerea tehnologică: extinderea datelor în cadrul sistemului de bilete ar putea fi adaptată rapid, ușor și cu un efort minim pentru a încorpora aceste date în raportarea finală.
Raportarea ulterioară include rapoarte standardizate, pe baza cărora datele curente sunt prezentate într-un format uniform. Pe baza acesteia, evaluările corespunzătoare și procesele de luare a deciziilor pot fi implementate de conducere. În plus, datele din diferite perioade din trecut pot fi analizate într-un mod comparativ.
Baza de date a sistemului de ticketing (baza de date oglindă M42) servește drept sursă directă de date. Baza de date intermediară, ca țintă pentru importul zilnic de date, are în esență aceeași structură ca baza de date Matrix42. Acest lucru permite ca datele să fie transferate cât mai rapid și simplu posibil. Datele zilnice importate în staging sunt adăugate la depozitul de date (DWH) într-o formă restructurată și îmbogățită. Astfel, DWH conține nu numai date actuale, ci și date istorice. Structura DWH este special concepută și optimizată pentru analize ulterioare, cum ar fi raportarea Power BI. Rapoartele citesc datele din DWH și le prezintă într-o formă agregată adaptată utilizatorului.
Tehnologii utilizate
Baze de date Azure SQL
Bazele de date introduse anterior în capitolul „Arhitectura soluției”.
- Baza de date în oglindă M42
- Staging database
- Baza de date DWH
este create ca baze de date Azure SQL în cloud.
Azure Datafactory
Pentru a realiza transferul de date pentru importul zilnic din staging database și în depozitul de date (DWH), se folosește serviciul Azure al Data Factory.
Pentru a proiecta procesele de transformare (fluxuri de date), sunt configurate și utilizate servicii legate (Linked Services) și seturi de date (reprezentări ale structurii setului de date din tabele).
Logica principală este conținută în fluxurile de date. Fluxurile de date pot cuprinde atât subprocese foarte simple, cât și transformări extrem de complexe.
În cele din urmă, fluxurile de date individuale sunt aranjate ca procese ETL independente în pipelines e pentru a forma o unitate de execuție.
Pipeline-ul descris aici este o secvență de 3 fluxuri de date.
Conducta este declanșată o dată pe zi și cuprinde întregul proces zilnic de import de date.
Execuțiile individuale ale conductei pot fi vizualizate și analizate în secțiunea Monitorizare din Azure Data Factory.
În plus, fiecare conductă poate fi examinată pentru execuția subproceselor sale.
Azure Blob Storage
În proiectul nostru, datele din sistemul moștenit sunt migrate către noua soluție. Aceste date sunt exportate ca fișiere Excel. Fișierele sunt încărcate în Azure Blob Storage și apoi, similar procesului zilnic de import, circulă prin DataFlow în DWH.
Power BI Report
Datele stocate în depozitul de date prin procesele unei fabrici de date sunt structurate într-un mod special adaptat pentru analizarea, agregarea și filtrarea datelor brute. Aceste date sunt vizualizate folosind rapoarte Power BI.
Există rapoarte standardizate pentru evaluarea periodică a datelor curente. Datele actuale pot fi, de asemenea, comparate cu date similare din trecut.
În plus, rapoartele sunt oferite pentru a permite utilizatorilor să-și analizeze propriile date în mod interactiv (raportare ad-hoc).
Proiectarea rapoartelor tipice necesită doar pași configurativi și nu necesită codificare. Pregătirea complexă a datelor care nu poate fi realizată cu standard configurativ poate fi implementată cu programare (DAX).
Rapoartele create sunt publicate central și puse la dispoziția unui grup selectat de utilizatori prin autorizații.
Sumarizare
Beneficiile Azure / tehnologiei cloud
Tehnologiile utilizate în proiectul nostru, cum ar fi Azure Datafactory și Power BI, permit soluții low-code care nu necesită cunoștințe de programare. Aceasta înseamnă că soluțiile pot fi dezvoltate rapid și rentabil, dezvoltarea concentrându-se pe procesele tehnice care trebuie implementate.
Avantaje
Serviciile cloud sunt furnizate, întreținute și dezvoltate în continuare la nivel central. Utilizatorul se poate baza pe furnizor pentru a garanta stabilitatea sistemului. Serviciile utilizate oferă disponibilitate și securitate a datelor foarte ridicate. Utilizatorul are doar cerințe marginale de întreținere și îngrijire a infrastructurii.
Datorită diversității serviciilor și tehnologiilor din Azure Cloud și PowerPlatform, utilizarea instrumentelor terțe nu mai sunt la fel de importante.
În plus, serviciile sunt scalabile. Pentru bazele de date Azure SQL, de exemplu, un model potrivit poate fi selectat din diferite modele de licență pentru dimensiunea memoriei, utilizarea CPU și optimizarea performanței. Aceasta înseamnă că costurile pot fi minimizate în funcție de propriile cerințe.
Provocări
Configurarea și utilizarea Azure cloud necesită un management care menține și sprijină serviciile și resursele configurate și, de asemenea, asigură integrarea perfectă a noilor componente în sistemul existent. Acest lucru asigură stabilitatea temporală și tehnică.
Transferabilitate la scenarii analogice
Soluția de mai sus pentru un proiect real poate fi transferată în multe domenii de aplicare analogice.
Foarte des se întâmplă ca instrumente sau produse specializate să fie folosite pentru a susține procesele interne. Cu toate acestea, aceste produse de multe ori nu au monitorizarea de care are nevoie clientul pentru scopurile lor.
În aceste cazuri, se poate urma următoarea procedură:
- Sincronizarea datelor în cloud
- Alternativă: Acces din cloud prin Azure Data Gateway
- Restructurarea datelor
- Îmbogățiți datele cu informații suplimentare specifice clientului
- Consolidare în DWH
- Analiza/raportarea datelor cu Power BI