Ọ nwere ike ịdị ntakịrị ihe siri ike ịtụle ọrụ niile dị na nhọrọ ụlọ mgbe ị na-eche maka nyiwe data.
Usoro data ụlọ ọrụ na-enwekarị ụlọ nkwakọba ihe data, ụdị data, ọdọ mmiri data, na akụkọ, nke ọ bụla nwere ebumnuche akọwapụtara na usoro nka achọrọ. N'ụzọ dị iche, atụmatụ ọhụrụ a na-akpọ data lakehouse apụtala n'ime afọ ole na ole gara aga.
A na-ejikọta ọnụ ọgụgụ nke ọdọ mmiri data na njikwa data nchekwa data n'ime ụlọ nchekwa data mgbanwe mgbanwe akpọrọ "ụlọ ọdọ data."
Anyị ga-enyocha omimi ọdọ mmiri data na post a, gụnyere ihe mejupụtara ya, atụmatụ ya, ụkpụrụ ụlọ na akụkụ ndị ọzọ.
Kedu ihe bụ Data Lakehouse?
Dị ka aha ahụ pụtara, ọdọ mmiri data bụ ụdị nhazi data ọhụrụ na-ejikọta ọdọ data na ụlọ nkwakọba data iji dozie adịghị ike nke ọ bụla iche.
N'ụzọ bụ isi, sistemụ ọdọ mmiri na-eji nchekwa dị ọnụ ala iji na-edobe nnukwu data n'ụdị mbụ ha, dị ka ọdọ mmiri data. Ịtinye oyi akwa metadata n'elu ụlọ ahịa ahụ na-enyekwa nhazi data ma na-enye ike ngwaọrụ njikwa data dị ka ndị ahụ dị n'ụlọ nkwakọba data.
Ọ na-echekwa oke data ahaziri ahazi, nke a haziri nke ọma na enweghị nhazi nke ha na-enweta site na ngwa azụmahịa dị iche iche, sistemụ na ngwa eji eme ihe na nzukọ ha niile.
Ọtụtụ oge, ọdọ mmiri data na-eji akụrụngwa nchekwa dị ọnụ ala nwere interface mmemme ngwa faịlụ (API) iji chekwaa data n'ime oghere, ụdị faịlụ ọ bụla.
Nke a na-eme ka ọtụtụ ndị otu nwee ike ịnweta data ụlọ ọrụ niile site na otu usoro maka atụmatụ dị iche iche, dị ka sayensị data, ngwa igwe, na ọgụgụ isi azụmahịa.
atụmatụ
- Nchekwa dị ọnụ ala. Ụlọ ọdọ mmiri data ga-enwerịrị ike ịchekwa data na nchekwa ihe dị ọnụ ala, dịka Google Cloud Nchekwa, Nchekwa Azure Blob, Ọrụ Nchekwa Dị Mfe Amazon, ma ọ bụ na-eji ORC ma ọ bụ Parquet.
- Ikike maka njikarịcha data: njikarịcha nhazi data, caching, na indexing bụ ihe atụ ole na ole nke otu ọdọ mmiri data ga-esi nwee ike bulite data ahụ ma na-edobe usoro izizi data ahụ.
- Otu oyi akwa nke metadata azụmahịa: N'elu nchekwa dị ọnụ ala dị mkpa, nke a na-enyere ike njikwa data aka dị mkpa maka ịrụ ọrụ ụlọ nkwakọba data.
- Nkwado maka Declarative DataFrame API: Ọtụtụ ngwaọrụ AI nwere ike iji DataFrames weghachite data ụlọ ahịa ihe. Nkwado maka Nkwupụta DataFrame API na-abawanye ike iji kwalite ngosipụta na nhazi data na nzaghachi na sayensị data ma ọ bụ ọrụ AI.
- Nkwado maka azụmahịa ACID: Acronym ACID, nke na-anọchi anya atomity, nkwụsi ike, ikewapụ, na ịdịte aka, bụ ihe dị oke mkpa n'ịkọwa azụmahịa na ịhụ na nkwekọ na ntụkwasị obi nke data. Ndị dị otú ahụ azụmahịa bụ na mbụ kwere omume na data nkwakọba, ma ndị lakehouse na-enye nhọrọ iji ha na ọdọ mmiri data nakwa. Na ọtụtụ pipeline data gụnyere oge data na-agụ ma na-ede, nke a na-edozi nsogbu nke ịdị mma data dị ala nke ikpeazụ.
Ihe nke Data Lakehouse
A na-ekewa ihe owuwu nke ọdọ mmiri data gaa na ọkwa abụọ dị elu na ọkwa dị elu. Ọdụdọ ọdọ mmiri na-achịkwa oriri data oyi akwa nchekwa ahụ (ya bụ, ọdọ data).
Na-enweghị mkpa ịkwanye data ahụ n'ime ụlọ nkwakọba ihe data ma ọ bụ gbanwee ya ka ọ bụrụ usoro nkeonwe, oyi akwa nhazi na-enwe ike ịjụ data na oyi akwa nchekwa ozugbo site na iji ọtụtụ ngwaọrụ.
Mgbe ahụ, ngwa BI, yana teknụzụ AI na ML, nwere ike iji data ahụ. A na-enye akụ na ụba nke ọdọ mmiri data site na imewe a, mana n'ihi na igwe nhazi ọ bụla nwere ike ịgụ data a, ụlọ ọrụ nwere nnwere onwe ime data a kwadebere maka nyocha site na usoro dị iche iche. Enwere ike imeziwanye arụmọrụ ihe nhazi na ọnụ ahịa site na iji usoro a maka nhazi na nyocha.
N'ihi nkwado ya maka azụmahịa nchekwa data na-agbaso ACID ndị a (atomicity, nkwụsi ike, ikewapụ, na ogologo oge), ụkpụrụ ụlọ ahụ na-enyekwa ọtụtụ ndị ọzọ aka ịnweta na ide data n'otu oge n'ime usoro:
- Mbibi na-ezo aka n'eziokwu na ma ọ bụ azụmahịa zuru oke ma ọ bụ nke ọ bụla n'ime ya, na-eme nke ọma mgbe ị na-emecha azụmahịa. Ọ bụrụ na a kwụsịrị usoro, nke a na-enyere aka izere mfu data ma ọ bụ nrụrụ aka.
- Ikike na-ekwe nkwa azụmahịa na-eme n'usoro amụma, na-agbanwe agbanwe. Ọ na-edobe iguzosi ike n'ezi ihe nke data ahụ site n'ịhụ na data ọ bụla ziri ezi dịka iwu ekpebiela.
- mkpuchi na-eme ka o doo anya na, ruo mgbe emechara, ọ dịghị azụmahịa ọ bụla nwere ike imetụta azụmahịa ọ bụla n'ime usoro ahụ. Nke a na-enye ohere ka ọtụtụ ndị ọzọ na-agụ ma na-ede site n'otu usoro n'out oge na-enweghị ihe mgbochi na ibe ha.
- anwụ ngwa ngwa na-ekwe nkwa na mgbanwe na data dị na sistemụ na-aga n'ihu na-adị mgbe emechara azụmahịa, ọbụlagodi na ọdịda nke sistemụ. A na-edowe mgbanwe ọ bụla nke azụmahịa wetara na faịlụ ruo mgbe ebighị ebi.
Data Lakehouse Architecture
Databricks (onye na-emepụta ihe na onye na-emepụta echiche Delta Lake) na AWS bụ ndị isi abụọ na-akwado echiche nke ọdọ mmiri data. Anyị ga-esi otú a dabere na ha ọmụma na nghọta na-akọwa architectural layout nke ọdọ mmiri.
Sistemu ọdọ mmiri data ga-enwekarị ọkwa ise:
- oyi akwa ntinye
- oyi akwa nchekwa
- Metadata oyi akwa
- API oyi akwa
- Oriri oyi akwa
oyi akwa ntinye
Igwe mmiri mbụ nke sistemụ ahụ na-ahụ maka ịnakọta data sitere na isi mmalite dị iche iche wee ziga ya na oyi akwa nchekwa. Okpokoro ahụ nwere ike iji ọtụtụ protocol jikọọ na ọtụtụ isi mmalite dị n'ime na mpụga, gụnyere ijikọta ogbe na ike nhazi data gụgharia, dị ka.
- NoSQL ọdụ data,
- òkè faịlụ
- Ngwa CRM,
- weebụsaịtị,
- IoT sensọ,
- usoro mgbasa ozi,
- Ngwa ngwa dị ka ọrụ (SaaS), yana
- usoro njikwa nchekwa data mmekọrịta, wdg.
N'oge a, ihe ndị dị ka Apache Kafka maka mgbasa ozi data na Amazon Data Migration Service (Amazon DMS) maka mbubata data sitere na RDBMS na ọdụ data NoSQL nwere ike rụọ ọrụ.
oyi akwa nchekwa
Ihe owuwu ụlọ ọdọ mmiri bụ iji mee ka nchekwa nke ụdị data dị iche iche dị ka ihe dị n'ụlọ ahịa ihe dị ọnụ ala, dị ka AWS S3. Iji ụdị faịlụ mepere emepe, ngwaọrụ ndị ahịa nwere ike gụọ ihe ndị a ozugbo na ụlọ ahịa ahụ.
Nke a na-eme ka ọtụtụ API na akụrụngwa oyi akwa oriri nwee ike ịnweta ma jiri otu data ahụ. Ihe oyi akwa metadata na-echekwa schemas maka datasets ahaziri ahazi yana nke ọkara ahaziri ka ihe ndị ahụ nwee ike itinye ha na data ka ha na-agụ ya.
Enwere ike iji ikpo okwu Hadoop Distributed File System (HDFS), dịka ọmụmaatụ, iji wuo ọrụ nchekwa igwe ojii nke kewara mgbakọ na nchekwa n'ime ụlọ. Lakehouse dabara adaba maka ọrụ ndị a.
Metadata oyi akwa
Okpokoro metadata bụ akụkụ bụ isi nke ụlọ ọdọ data na-akọwapụta ọdịiche a. Ọ bụ otu katalọgụ na-enye metadata (ozi gbasara iberibe data ndị ọzọ) maka ihe niile echekwara na ọdọ ma na-enye ndị ọrụ ohere iwere ikike nchịkwa dị ka:
- A na-ahụ ụdị nchekwa data na-agbanwe agbanwe site na azụmahịa ndị na-emekọ ihe ọnụ ekele maka azụmahịa ACID;
- caching iji chekwaa faịlụ ụlọ ahịa ihe igwe ojii;
- na-agbakwunye nhazi nhazi data site na iji indexing iji mee ka nhazi ajụjụ dị ngwa;
- iji zero-opi cloning ka oyiri ihe data; na
- iji chekwaa ụfọdụ ụdị data, wdg, jiri ụdị data.
Na mgbakwunye, oyi akwa metadata na-enyere aka mmejuputa njikwa schema, iji atụmatụ DW dị ka atụmatụ kpakpando/snowflake, na inye njikwa data na ikike nyocha ozugbo na ọdọ data, na-eme ka iguzosi ike n'ezi ihe nke pipeline data niile.
Atụmatụ maka evolushọn schema na mmanye esonye na njikwa schema. Site n'ịjụ ederede ọ bụla na-adabaghị na atụmatụ tebụl, mmanye schema na-enyere ndị ọrụ aka ịnọgide na-eguzosi ike n'ezi ihe na ịdị mma data.
Usoro evolushọn na-enye ohere ka emegharịa atụmatụ tebụl dị ugbu a iji nabata data mgbanwe. N'ihi otu interface nchịkwa dị n'elu ọdọ data ahụ, enwekwara ike ịnweta njikwa na nyocha ohere.
API oyi akwa
Ihe owuwu ọzọ dị oke mkpa dị ugbu a, na-anabata ọtụtụ API nke ndị ọrụ njedebe niile nwere ike iji rụọ ọrụ ngwa ngwa wee nweta ọnụ ọgụgụ ọkaibe.
Iji metadata API na-eme ka ọ dị mfe ịchọpụta na ịnweta ihe data achọrọ maka ngwa enyere.
N'ihe gbasara ọba akwụkwọ mmụta igwe, ụfọdụ n'ime ha, dị ka TensorFlow na Spark MLlib, nwere ike ịgụ ụdị faịlụ mepere emepe dị ka Parquet wee banye ozugbo na oyi akwa metadata.
N'otu oge ahụ, DataFrame API na-enye ohere dị ukwuu maka njikarịcha, na-eme ka ndị mmemme nwee ike ịhazi na gbanwee data achụsasịrị.
Oriri oyi akwa
A na-akwado ike BI, Tableau na ngwa na ngwa ndị ọzọ n'okpuru oyi akwa oriri. Site na imewe ụlọ ọdọ mmiri, metadata niile na data niile echekwara n'ime ọdọ nwere ike ịnweta ngwa ndị ahịa.
Ndị ọrụ niile nọ n'otu ụlọ ọrụ nwere ike iji ọdọ mmiri ahụ rụọ ụdịdị ọ bụla arụmọrụ nyocha, gụnyere ịmepụta dashboards ọgụgụ isi azụmahịa na ịgba ọsọ ajụjụ SQL na ọrụ mmụta igwe.
Uru nke Data Lakehouse
Ndị otu nwere ike ịmepụta ebe nchekwa data iji mee ka ikpo okwu data ha dị ugbu a wee kwalite usoro njikwa data ha niile. Site n'iwepụ ihe mgbochi silo na-ejikọta isi mmalite dị iche iche, ọdọ mmiri data nwere ike dochie mkpa maka ngwọta dị iche iche.
E jiri ya tụnyere isi mmalite data echekwabara, nchikota a na-arụpụta usoro ngwụcha ruo ọgwụgwụ nke ukwuu. Nke a nwere ọtụtụ uru:
- Obere nchịkwa: Kama iwepụta data sitere na data raw na ịkwadebe ya maka ojiji n'ime ụlọ nkwakọba ihe data, ebe nchekwa data na-enye ohere ọ bụla jikọtara ya na data ha dị ma hazie maka iji ya.
- Ịbawanye ọnụ ahịa-irè: A na-arụ ụlọ ọdọ mmiri data site na iji akụrụngwa ọgbara ọhụrụ nke na-ekewa mgbakọ na nchekwa, na-eme ka ọ dị mfe ịgbasa nchekwa na-enweghị ike ịgbakọ. Naanị ojiji nke nchekwa data dị ọnụ ala na-ebute scalability nke na-eri ọnụ.
- Ọchịchị data ka mma: A na-eji ihe owuwu mepere emepe arụkọba ọdọ mmiri data, na-enye ohere maka njikwa karịa nchekwa, metrik, ohere dabere na ọrụ, yana ihe njikwa ndị ọzọ dị mkpa. Site na ijikọ akụrụngwa na isi mmalite data, ha na-eme ka ọchịchị dị mfe ma kwalite ọchịchị.
- Ụkpụrụ ndị dị mfe: Ebe ọ bụ na amachibidoro njikọ ahụ nke ukwuu na 1980s, mgbe e mepụtara ụlọ nkwakọba ihe data mbụ, a na-emepụta ụkpụrụ nhazi mpaghara ugboro ugboro n'ime azụmahịa, ọbụnadị ngalaba. Ụlọ ọdọ mmiri data na-eji eziokwu ahụ bụ na ọtụtụ ụdị data nwere ugbu a nwere ụkpụrụ mepere emepe maka schema site n'itinye ọtụtụ isi mmalite data na atụmatụ otu jikọtara ọnụ iji mezie usoro.
Ọdịmma nke Data Lakehouse
N'agbanyeghị hoopla niile gbara gburugburu data lakehouses, ọ dị mkpa iburu n'uche na echiche ka bụ nnọọ ọhụrụ. Jide n'aka na ị ga-atụle ọghọm ndị dị na ya tupu ịmebe nke ọma na nhazi ọhụrụ a.
- Ọdịdị monolithic: Nhazi nke ụlọ ọdọ mmiri niile na-enye ọtụtụ uru, mana ọ na-ebutekwa nsogbu ụfọdụ. Ihe owuwu nke monolithic na-edugakarị na ọrụ adịghị mma maka ndị ọrụ niile yana ọ nwere ike isi ike ma sie ike idowe. Na-emekarị, ndị na-ese ụkpụrụ ụlọ na ndị na-emepụta ihe na-amasịkarị ihe owuwu modular nke ha nwere ike ịhazi maka ụdị ojiji dị iche iche.
- Teknụzụ ahụ adịbeghị nke ọma: ebumnuche ikpeazụ gụnyere nnukwu mmụta igwe na ọgụgụ isi. Tupu ụlọ ọdọ mmiri enwee ike ịrụ ọrụ dị ka a tụrụ anya ya, teknụzụ ndị a aghaghị ịmalite n'ihu.
- Ọ bụghị ọganihu dị ịrịba ama karịa ihe owuwu ndị dị adị: A ka nwere nnukwu obi abụọ banyere uru ụlọ ọdọ mmiri ga-aba n'ezie. Ụfọdụ ndị nkwutọ na-ekwu na imewe ụlọ nkwakọba ihe nke ọdọ mmiri jikọtara ya na akụrụngwa akpaaka kwesịrị ekwesị nwere ike ịrụpụta arụmọrụ yiri ya.
Ihe ịma aka nke Data Lakehouse
Ọ nwere ike isiri ike ịmalite usoro data ọdọ mmiri. N'ihi mgbagwoju anya nke akụkụ akụkụ ya, ọ bụ ihe na-ezighị ezi ilele ọdọ mmiri data dị ka usoro zuru oke zuru oke ma ọ bụ "otu ikpo okwu maka ihe niile," maka otu.
Na mgbakwunye, n'ihi nnabata ọdọ mmiri data na-abawanye, azụmaahịa ga-ebuga ha ebe nchekwa data ha ugbu a, na-adabere naanị na nkwa nke ịga nke ọma na-enweghị uru akụ na ụba pụtara ìhè.
Ọ bụrụ na enwere nsogbu latency ọ bụla ma ọ bụ ọpụpụ n'oge usoro mbufe a, nke a nwere ike ịmalite ịdị oke ọnụ, na-ewe oge, yana ikekwe enweghị nchekwa.
Ndị ọrụ azụmaahịa ga-anabata teknụzụ pụrụ iche nke ukwuu, dịka ụfọdụ ndị na-ere ahịa na-ere ahịa n'ụzọ doro anya ma ọ bụ n'ezoghị ọnụ dị ka ụlọ ọdọ mmiri data. Ndị a nwere ike ọ gaghị arụ ọrụ mgbe niile na ngwaọrụ ndị ọzọ jikọtara na ọdọ data dị n'etiti sistemụ, na-agbakwunye na nsogbu.
Na mgbakwunye, ọ nwere ike isi ike ịnye nyocha 24/7 mgbe ị na-arụ ọrụ dị oke mkpa nke azụmahịa, nke na-achọ akụrụngwa nwere oke ọnụ ahịa.
mmechi
Ebe data kachasị ọhụrụ na afọ ndị na-adịbeghị anya bụ ọdọ mmiri data. Ọ na-ejikọta mpaghara dị iche iche, dị ka teknụzụ ozi, ngwanrọ mepere emepe, ígwé ojii Mgbakọ, na usoro nchekwa nchekwa ekesa.
Ọ na-enyere ndị azụmaahịa aka ịchekwa ụdị data niile site na ebe ọ bụla, na-eme ka njikwa na nyocha dị mfe. Data Lakehouse bụ echiche na-adọrọ mmasị.
Ụlọ ọrụ ọ bụla ga-enwe nnukwu asọmpi ma ọ bụrụ na ọ nwere ohere ịnweta ikpo okwu data niile na-adị ngwa ngwa ma dị irè dị ka ụlọ nkwakọba data ebe ọ na-agbanwekwa dị ka ọdọ mmiri data.
Echiche a ka na-etolite ma ka dị ọhụrụ. N’ihi ya, ọ pụrụ iwepụta oge iji chọpụta ma ihe ọ̀ pụrụ ịgbasa ebe nile ma ọ bụ na ọ gaghị adị.
Anyị niile kwesịrị ịma ụzọ ihe owuwu ụlọ ọdọ mmiri na-aga.
Nkume a-aza