Nova paradigma u svetu podataka: Upoznajte data mesh

Potreba za poslovnom analitikom nije nova. O tome svedoči veliki broj sistema namenjenih skladištenju i analizi podataka, kao što su data warehouse sistemi. Ova rešenja ispunjavala su (i još uvek ispunjavaju) svoju svrhu. Međutim, kako se poslovanje usložnjava, a podaci koji se generišu dolaze sa sve više izvora, u vrtoglavom obimu, organizacijama je potrebno da odu korak dalje – u primenu tehnologija kao što su jezera podataka (data lakes) i takozvana “scale-out” rešenja koja analiziraju velike količine podataka.

Novi izazovi, nove potrebe, novi pristup data arhitekturi

Poslednjih godina, mnoge kompanije uspešno su primenile moderne arhitektonske i analitičke šablone koji kombinuju data warehousing i big data tehnologije. Ovakav pristup, međutim, ima svoje izazove. Navedene tehnologije najčešće se implementiraju kao monolitna rešenja u projektima gde je jedan tim i provajder platforme i izvođač integracije podatka. Za manje organizacije ovo ne mora biti problem, ali korišćenje samo jednog tima u većim okruženjima može da stvori brojna uska grla. Tranzicija ka mikroservisima za razvoj aplikcija stvara dodatne zaostatke u domenu integracije podatka jer uvećava broj izbora podataka. Gledano sa poslovne perspektive, veliki broj organizacija je decentralizovan i distrubiran. Različiti sektori upravljaju specifičnim operacijama, a jedan tim teško da može da ima eksperte za svaki izvor podataka koje ti sektori generišu. Odgovor na ove izazove, kao i potrebe kompanja za bržim, skalabilnijim, data-driven procesima zahtevao je novi pristup. Tako je rođen data mesh – jedan od najbrže rastućih trendova tokom 2020. godine.

Šta je data mesh?

Data mesh je arhitektonski koncept za implementaciju enterprise data platformi u velikim i kompleksnim poslovnim okruženjima. Reč je o decentralizovanoj arhitekturi koja organizuje podatke prema specifičnom biznis domenu – poput prodaje, marketinga, korisničke podrške i drugih funkcija – pružajući im veći stepen vlasništva (ownership) nad setovima podatka koje generišu i za koje mogu da uspostave data governance polise sa fokusom na dokumentaciju, kvalitet i pristup podacima. Jedna od glavnih prednosti ovakve arhitektore jeste što omogućava distribuiranim timovima da rade i dele informacije na decentralizovan i agilan način.

Premda data mesh pristup eliminiše brojna uska grla koja su posledica centralizovanih, monolitnih sistema, primeniti ga ne znači staviti tačku na tradicionalne storidž sisteme kao što su data lake i data warehouse. Ovi se sistemi se i dalje mogu koristiti – razlika je što se podaci ne preuzimaju iz jedne platforme, već iz mnogobrojnih, decentralizovanih repozitorijuma podatka.

Data mesh u akciji: Norwegian data-driven transformacija

Koristeći data mesh, kompanija Cloudwalker udružila je snage sa Mainstream-om kako bi pomogla Norwegian-u, jednoj od vodećih low-cost avio-prevoznika u Evropi, da razvije sopstvenu analitičku platformu na Amazon Web Services (AWS) cloud-u. Jedan od ciljeva projekata bio je da se brojim timovima (naplata, održavanje aviona, analitika itd.) omogući da kreiraju svoje analitičke sisteme na AWS-u, te da dele privilegije sa tih sistema sa drugim timovima.

“Kroz data mesh arhitekturu omogućeno je da domenski stručnjaci za konkretne oblasti mogu da podele pogled na svoje podatke sa linijskim analitičarima i drugim timova kojima su podaci potrebni. Mnogo različitih account-a koje eksperti unutar svakog tima koriste usaglašeno je kroz AWS Lake Formation, a korišćen je i AWS Glue. Kao data-driven kompanija, Norwegian je iskoristio ovu arhitekturu da omogući svojim timovima kompletnu autonomiju i vlasništvo nad podacima, uz centralizovanu lokaciju za otkrivanje i upravljanje,” objašnjava Bojan Sovilj, generalni direktor Cloudwalker-a.

Obzirom da Norwegin koristi veliki broj internih sistema na kojima se nalazi velika količina podataka, uključujući i lične podatke (personally identifible information) bilo je neophodno da se omogući da svaki tim može da deklariše podatke kao osetljive koristeći self-serve platformsku tehnologiju i donosi odluke vezane za pristup podacima na izvoru. Time je, ističe Sovilj, u dizajn arhitekture utkana privatnost (privacy by design).

Kako AWS podržava data mesh arhitekturu?

Moderna arhitektura podataka (Modern Data Architecture) na AWS platformi pruža razne servise koji mogu da se iskoriste za implementaciju data mesh arhitekture, poput već pomenutih AWS Lake Formation i AWS Glue servisa, kao AWS Data Exchange za integraciju podataka treće strane (third-party data) u data mesh.

Ukoliko ste korisnik AWS platforme i želite da istražite načine da implementirate data mesh arhitekturu uz korišćenje troškovno efikasnih alata, na način koji ne kompromituje performanse, naši AWS konsultanti su tu da vam pomognu.
Kontaktirajte nas.