Binabalangkas ng arkitektura ng data ang istruktura ng organisasyon at mga indibidwal na bahagi ng mga sistema ng data ng kumpanya.
Ang epektibong pangangasiwa, pagproseso, at pag-archive ng data ay mahalaga para sa mga kumpanya upang makagawa ng mga desisyon na batay sa data. Ang pinakakasalukuyang sentralisadong modelo ng arkitektura ng data, tulad ng Data Fabric at Data Mesh ay nagiging popular bilang resulta ng kanilang kakayahang malampasan ang mga tradisyonal na pamamaraan.
Tela ng Data binibigyang-diin ang pagsasama ng data, virtualization, at abstraction samantalang ang Data Mesh ay nakatuon sa democratization ng data, pagmamay-ari, at productization. Para sa mga kumpanyang sinusubukang i-optimize ang kanilang mga diskarte sa pamamahala ng data, palakasin ang kalidad ng data, at pagbutihin ang mga kasanayan sa paggawa ng desisyon, ang pag-unawa sa mga modelong ito ay napakahalaga.
Maaaring piliin ng mga organisasyon ang modelong pinakamahusay na nagsisilbi sa kanilang mga layunin at isinasaalang-alang ang kanilang mga kinakailangan sa teknolohiya at kultura sa pamamagitan ng pag-unawa sa mga pagkakaiba at pagkakatulad sa pagitan ng Data Mesh at Data Fabric.
Sa post na ito, titingnan nating mabuti ang Data Mesh at Data Fabric, pati na rin ang mga pagkakaiba sa pagitan nila at marami pang iba.
Ano ang Data Mesh?
Ang Data Mesh ay isang makabagong konsepto ng arkitektura ng data na nagbibigay-priyoridad sa demokratisasyon ng data, pagmamay-ari, at produksyon. Ang data ay nakikita bilang isang produkto sa Data Mesh, samakatuwid ang bawat koponan ay namamahala sa katumpakan at pagiging kapaki-pakinabang ng sarili nitong data.
Ang layunin ay magbigay ng self-service platform na magbibigay-daan sa mga team na ma-access at magamit ang data na kailangan nila nang hindi umaasa sa mga sentralisadong team. Ang mga platform ng data ng self-service ay nagbibigay sa mga team ng paraan upang kontrolin at pamahalaan ang kanilang mga mapagkukunan ng data, na nagpapahusay sa kalidad ng data at nagpapabilis ng pagbabago.
Para mahanap at ma-access ng mga team ang data na gusto nila mula sa buong enterprise, mahalagang bahagi din ng Data Mesh ang mga data marketplace. Nagbibigay-daan ang Data Mesh sa mga koponan na kontrolin at pamahalaan ang kanilang mga asset ng data habang ginagawang demokrasya ang pag-access sa data, tinutulungan ang mga negosyo sa pagiging mas hinihimok ng data at maliksi.
Paggawa ng Data Mesh
Disenyo na batay sa domain at arkitektura ng microservices ay ang mga pundasyon ng Data Mesh. Ang pagbuo ng isang desentralisadong arkitektura ng data at pagtatanggal ng data silo ang mga pangunahing layunin.
Ang bawat koponan sa Data Mesh ay namamahala sa sarili nitong domain ng data, samakatuwid sila ang kumokontrol sa data, kalidad ng data, at mga output ng data. Ang mga koponan ay namamahala at namamahagi ng kanilang data sa pamamagitan ng mga self-service data platform at data market. Ang katotohanan na ang mga produkto ng data ay nabuo bilang mga API ay ginagawang simple para sa ibang mga koponan na ma-access at magamit ang mga ito.
Upang mapanatili ang pagkakapareho at kontrol sa buong kumpanya, ang mga API ay pinamamahalaan ng isang koponan sa pamamahala ng API. Ang isang data governance framework ay bahagi din ng Data Mesh, at binabalangkas nito ang mga panuntunan at alituntunin para sa pagmamay-ari ng data, kalidad ng data, at seguridad ng data.
Bentahe
- Hinihikayat ng Data Mesh ang demokratisasyon ng data sa pamamagitan ng pagpapagana sa mga team na kontrolin at pamahalaan ang kanilang mga asset ng data.
- Ginagawa nitong posible para sa bawat koponan na pamahalaan ang sarili nitong domain ng data, na nagpapataas ng kalibre ng data.
- Nang hindi umaasa sa mga sentralisadong team, nag-aalok ito ng mga self-service data platform na nagbibigay-daan sa mga team na ma-access at gamitin ang data na kailangan nila.
- Pinapayagan nito ang mga koponan na mag-eksperimento at umulit sa kanilang mga produkto ng data, na nagpapabilis sa pagbabago.
- Tinatanggal nito ang mga data silo at nagtatatag ng isang desentralisadong arkitektura ng data, na nagpapahusay sa flexibility at liksi.
- Binubuo ito ng mga data market na nagbibigay sa mga team ng paraan upang mahanap at ma-access ang data na kailangan nila mula sa buong kumpanya.
- Maaari nitong suportahan ang lumalawak na mga pangangailangan ng data ng isang organisasyon at nasusukat.
- Ang mga data team ay binibigyang kapangyarihan ng Data Mesh na kontrolin ang kanilang data at gumawa ng mga pagpipilian gamit ito.
- Mas madaling ma-access at magagamit ng mga team ang data na kailangan nila salamat sa API-based na diskarte ng Data Mesh sa mga produkto ng data.
Mga Disbentaha
- Ang isang organisasyon ay dapat sumailalim sa malalaking teknolohikal at kultural na pagbabago bago ipatupad ang Data Mesh.
- Kung hindi pinananatili nang naaangkop, ang pagiging desentralisado ng Data Mesh ay maaaring magresulta sa pagdoble ng data.
- Kung ang mga koponan ay hindi nakahanay nang tama, ang Data Mesh ay maaaring magresulta sa magkasalungat na mga kahulugan ng data.
- Maaaring mahirap pamahalaan ang pamamahala at seguridad ng data sa buong enterprise dahil sa desentralisadong istruktura ng Data Mesh.
- Kumpara sa kumbensyonal na sentralisado mga kaayusan ng data, maaaring maging mas kumplikado ang data mesh.
- Kung ang mga koponan ay hindi maayos na nakahanay, ang Data Mesh ay maaaring maging fragmented.
- Maaaring mas malaki ang gastos sa pagpapatupad ng Data Mesh kaysa sa kumbensyonal na sentralisadong data system.
Ngayon, dapat ay mayroon kang malinaw na larawan ng Data Mesh. Oras na para tingnan ang Data Fabric na sinusundan ng pagkakatulad at pagkakaiba sa pagitan nila. Magsimula tayo.
Kaya, ano ang Data Fabric?
Ang Data Fabric ay isang arkitektura ng data na nagbibigay ng iisang view ng lahat ng asset ng data sa loob ng isang organisasyon, saan man sila nakalagay. Ang pagbuo ng system na ito ay naudyukan ng modernong kapaligiran ng data, na tinutukoy ng pagtaas sa dami, bilis, at pagkakaiba-iba ng data.
Madaling makokonekta ng mga organisasyon ang kanilang data mula sa isang hanay ng mga source, kabilang ang cloud app, on-premises database, at data lakes, salamat sa Data Fabric, na nag-aalok ng flexible at scalable na solusyon sa pagsasama ng data.
Bukod dito, nag-aalok ito ng antas ng abstraction na pangkalahatang ginagawang naa-access ang data nang hiwalay sa pinagbabatayan na teknolohiya.
Ang distributed architecture ng Data Fabric ay nagbibigay-daan sa real-time na pagproseso at pagsusuri ng data, na nagbibigay ng access sa mga organisasyon sa karagdagang impormasyon at kapasidad sa paggawa ng desisyon. Ang pagkapribado, katumpakan, at pagsunod ng data ay higit pang tinitiyak sa pamamagitan ng pamamahala ng data at mga bahagi ng seguridad nito.
Ang Data Fabric ay isang bagong teknolohiya na mabilis na nagiging popular sa mga organisasyong sumusubok na pahusayin ang kanilang mga kasanayan sa pamamahala ng data at makakuha ng mahusay na kompetisyon.
Ang Paggawa ng Data Fabric
Gumagana ang Data Fabric sa pamamagitan ng pag-aalok ng iisang view ng lahat ng mga asset ng data ng isang organisasyon, saan man sila matatagpuan. Pagsasama ng data, abstraction ng data, at ipinamamahagi computing ay ginagamit nang magkasabay upang maisakatuparan ito.
Ang pagsasama ng data ay nangangailangan ng pagsasama-sama ng impormasyon mula sa maraming pinagmumulan, kabilang ang mga nasa nasasakupang database, cloud app, at data lakes, at ginagawa itong naa-access sa pare-parehong paraan.
Ang pagmamanipula at pag-access ng data ay naging posible sa pamamagitan ng proseso ng pagtatatag ng isang layer ng abstraction na nakakubli sa pagiging kumplikado ng pinagbabatayan na arkitektura ng data. Nilalayon ng distributed computing na iproseso at suriin ang data sa real-time sa isang dispersed network ng mga mapagkukunan ng computing.
Ang mga negosyo ay maaari na ngayong mabilis na makakuha ng mga insight mula sa kanilang data at kumilos dahil dito. Kasama sa Data Fabric ang pamamahala sa data at mga bahagi ng seguridad pati na rin upang matiyak ang privacy, pagsunod, at kalidad ng data.
Ang Data Fabric ay isang paraan ng pamamahala ng data na flexible at scalable at binuo upang matugunan ang kasalukuyang kapaligiran ng data.
Bentahe
- Ang mga negosyo ay maaaring gumawa ng mas mabilis at mas matalinong mga pagpipilian batay sa real-time na data sa pamamagitan ng paggamit ng data fabric, na maaaring magpapataas ng availability at accessibility ng data.
- Upang pamahalaan at pag-aralan ang napakalaking dami ng data, ang data fabric ay nagbibigay-daan sa tuluy-tuloy na pagsasama ng data mula sa maraming pinagmulan, kabilang ang on-premises at cloud-based na data.
- Maaaring gumamit ang mga negosyo ng data fabric upang bumuo ng isang sentralisadong platform ng pamamahala ng data na nagpapadali sa real-time na pagpapalitan ng data at pakikipagtulungan sa maraming mga team at departamento.
- Ang pamamahala ng data at mga kakayahan sa seguridad na inaalok ng data fabric ay tumutulong sa mga kumpanya sa pagtaguyod ng privacy ng data at pagsunod sa regulasyon.
- Ang tela ng data ay maaaring makatipid ng higit pang mga gastos at pagdoble ng pagsisikap sa pamamagitan ng pag-alis ng mga silo ng data, na magpapalakas sa produksyon at kahusayan.
- Ang mga negosyo ay maaaring magtatag ng isang pinagmumulan ng katotohanan gamit ang data fabric, na binabawasan ang mga pagkakaiba sa data at mga kamalian na maaaring magresulta mula sa maraming data source.
- Maaaring palawakin ng mga negosyo ang kanilang arkitektura ng data kung kinakailangan sa tulong ng data fabric, na nagbibigay-daan sa paglago at pagpapalawak nang hindi nakompromiso ang pagganap o katatagan.
- Maaaring mapabuti ng mga negosyo ang katumpakan ng data at bawasan ang pangangailangan para sa manu-manong interbensyon sa pamamagitan ng pag-automate ng mga daloy ng trabaho ng data at mga proseso gamit ang data fabric.
- Maaaring gumamit ang mga negosyo ng iba't ibang tool at platform para sa kanilang pamamahala ng data at mga kinakailangan sa analytics dahil sa flexibility ng data fabric sa mga tuntunin ng pagsasama at pagsusuri ng data.
Mga Disbentaha
- Ang proseso ng paglalagay ng tela ng data sa lugar ay maaaring mahirap at matagal, nangangailangan ng isang malaking pangako sa parehong mga mapagkukunan at kaalaman.
- Maaaring malaki ang paunang halaga ng pag-install ng tela ng data, na isinasaalang-alang ang presyo ng kinakailangang mga miyembro ng kawani, software, at hardware upang i-set up at mapanatili ang system.
- Ang mga kasalukuyang pamamaraan ng pamamahala ng data at analytics ay maaaring kailangang baguhin nang malaki upang matugunan ang tela ng data, na maaaring makagambala sa mga operasyon ng kumpanya at lumikha ng pagtutol sa pagbabago.
- Maaaring kailanganin ng mga negosyo na gumastos sa tulong at edukasyon ng user bilang resulta ng pagiging kumplikado ng fabric ng data, na maaaring maging mahirap para sa mga user na tanggapin ito at masanay.
- Maaaring kailanganin ng mga negosyong may maraming data source at format na i-standardize ang kanilang mga istruktura ng data upang magamit ang data fabric, na maaaring maging mahirap.
- Maaaring hindi epektibong mag-interface ang tela ng data sa mga legacy system, na nangangailangan ng pamumuhunan ng kumpanya sa bagong pag-develop ng system o pag-upgrade ng system ng mga kasalukuyang system.
- Ang tela ng data ay maaaring madaling kapitan ng mga paglabag sa seguridad at mga alalahanin sa privacy ng data, na nangangailangan ng pagpapatupad ng mga matibay na hakbang sa seguridad ng mga negosyo upang mapangalagaan ang kanilang data.
- Maaaring hindi naaangkop ang tela ng data para sa lahat ng anyo ng data o mga kaso ng paggamit ng analytics dahil maaaring hindi nito sinusuportahan ang lahat ng format ng data o lahat ng uri ng pagsusuri ng data.
Data Mesh Vs Data Fabric
Dalawang bagong disenyo ng arkitektura para sa kontemporaryong pamamahala ng data ay data mesh at data fabric. Mayroon silang ilang makabuluhang pagkakaiba-iba sa kanilang mga diskarte, kahit na parehong nagsusumikap na mapadali ang epektibong pagpapalitan ng data at pagsusuri sa loob ng isang organisasyon.
Pagkakatulad
Upang pamahalaan ang napakalaking dami ng data sa maraming system at team sa isang scalable at epektibong paraan, dalawang diskarte ang binuo: Data Mesh at Data Fabric. Parehong binibigyang diin ang halaga ng pamamahala at seguridad ng data sa pagpapanatili ng privacy at pagsunod sa data. Bukod dito, ang parehong mga disenyo ay nakadepende sa isang SOA, kung saan ang data ay ibinibigay sa mga customer sa pamamagitan ng mga API at itinuturing na isang produkto.
Pagkakaiba
Ang kanilang mga diskarte sa pagmamay-ari at pamamahala ng data ay ang pangunahing pagkakaiba sa pagitan ng Data Mesh at Data Fabric.
Ang mga indibidwal na pangkat ng domain ang namamahala sa data sa kani-kanilang mga domain sa Data Mesh, na nagdesentralisa sa pagmamay-ari at pangangasiwa ng data. Bagama't sumusunod sa isang nakabahaging hanay ng mga panuntunan para sa pamamahala at seguridad ng data, ang bawat koponan ay malayang pumili ng sarili nitong mga tool at teknolohiya para sa pamamahala ng data nito.
Ang isang sentralisadong sistema ng pamamahala ng data, tulad ng Data Fabric, ay nag-iimbak ng lahat ng data sa isang lugar at nagtatalaga ng isang solong koponan upang pangasiwaan ito. Bagama't ginagawang mas pare-pareho ng pamamaraang ito ang pangangasiwa at pagsusuri ng data, maaari nitong limitahan ang kakayahan ng iba't ibang team na gamitin ang sarili nilang mga piniling tool.
Ang kanilang mga diskarte sa pagsasama ng data ay isa pang pagkakaiba sa pagitan ng Data Mesh at Data Fabric. Isang koleksyon ng mga kontrata ng API na tumutukoy kung paano dapat ilipat ang data sa pagitan ng mga domain na nagbibigay-daan sa pagsasama ng data sa Data Mesh. Tinitiyak ng diskarteng ito ang interoperability sa pagitan ng mga domain habang pinapayagan ang mga team na magdisenyo ng sarili nilang mga pipeline ng data at mga pamamaraan ng analytics.
Sa kabaligtaran, ang Data Fabric ay gumagamit ng isang mas sentralisadong diskarte sa pagsasama ng data, pagsasama ng data muna at ginagawa itong naa-access sa pamamagitan ng isang interface.
Bagama't maaaring maging mas epektibo ang diskarteng ito, maaari nitong paghigpitan ang kakayahan ng mga team na magdisenyo ng sarili nilang mga natatanging pipeline ng data.
Gumagamit ang Data Mesh at Data Fabric ng mga natatanging diskarte para sa pagproseso ng data. Ang pagpoproseso ng data ay pinangangasiwaan ng mga domain team sa Data Mesh, at libre silang gumamit ng alinmang tool at teknolohiya na gusto nila.
Ang pagpoproseso ng data ay pinangangasiwaan na ngayon ng isang nakatuong koponan, gayunpaman, ang Data Fabric ay nagbibigay ng isang mas sentralisadong pamamaraan. Bagama't ang diskarteng ito ay maaaring maging mas matagumpay, maaari rin nitong gawing mas mahirap para sa mga koponan na magsagawa ng kanilang sariling mga natatanging pagtatasa.
Konklusyon
Sa konklusyon, ang Data Fabric at Data Mesh ay parehong nagbibigay ng mga bagong pamamaraan para sa kontemporaryong pamamahala ng data, bawat isa ay may partikular na mga pakinabang at disadvantages.
Ang Data Mesh ay nagbibigay ng matinding diin sa desentralisadong pagmamay-ari at pangangasiwa ng data, na nagbibigay sa bawat koponan ng kalayaan na pangasiwaan ang kanilang sariling data habang sumusunod sa isang nakabahaging hanay ng mga pamantayan.
Ang Data Fabric, sa paghahambing, ay nagbibigay ng isang sentralisadong solusyon sa pamamahala ng data na may dalubhasang kawani na namamahala sa pangangasiwa at pagsusuri ng data. Ang desisyon sa pagitan ng mga pattern na ito ay ibabatay sa mga natatanging kinakailangan at layunin ng bawat kumpanya, na isinasaalang-alang ang mga elemento tulad ng dami ng data, istraktura ng koponan, at mga pangangailangan ng negosyo.
Ang pagiging epektibo ng anumang plano ay sa huli ay aasa sa kung gaano ito kahusay na isinagawa at isinama sa mas malawak na diskarte sa pamamahala ng data ng kumpanya.
Mag-iwan ng Sagot