Ho kanna ha ba thata ho nahana ka lits'ebeletso tsohle tse teng le likhetho tsa meralo ha u nahana ka sethala sa data.
Hangata sethala sa lintlha tsa khoebo se na le polokelo ea data, mefuta ea data, matša a data, le litlaleho, e 'ngoe le e 'ngoe e na le sepheo se itseng le tsebo e hlokahalang. Ka lehlakoreng le leng, moralo o mocha o bitsoang "data Lakehouse" o hlahile lilemong tse 'maloa tse fetileng.
Ho feto-fetoha ha matša a data le taolo ea data ea polokelo ea data li kopantsoe molemong oa phetoho ea polokelo ea data e bitsoang "data lakehouse."
Re tla hlahloba datha ka botebo posong ena, ho kenyelletsa likarolo tsa eona, likarolo, meaho le likarolo tse ling.
Data Lakehouse ke eng?
Joalokaha lebitso lena le bolela, ntlo ea polokelo ea data ke mofuta o mocha oa meralo ea data e kopanyang letša la data le polokelo ea data ho rarolla mefokolo ea e mong le e mong ka thoko.
Ha e le hantle, tsamaiso ea letša la leoatle e sebelisa polokelo e theko e tlaase ho boloka boitsebiso bo bongata ka mefuta ea bona ea pele, joalo ka matša a data. Ho kenyelletsa lera la metadata ka holim'a lebenkele ho boetse ho fana ka sebopeho sa data le ho matlafatsa lisebelisoa tsa taolo ea data joalo ka tse fumanoang polokelong ea data.
E boloka lintlha tse ngata tse hlophisitsoeng, tse hlophisitsoeng hantle, le tse sa hlophisoang tseo ba li fumanang lits'ebetsong tse fapaneng tsa khoebo, lits'ebetso le lisebelisoa tse sebelisoang mokhatlong oa bona.
Boholo ba nako, matša a data a sebelisa lisebelisoa tsa polokelo ea theko e tlase e nang le sebopeho sa li-file application programming (API) ho boloka data ka liforomo tse bulehileng, tse tloaelehileng.
Sena se nolofalletsa lihlopha tse ngata ho fumana lintlha tsohle tsa k'hamphani ka sistimi e le 'ngoe bakeng sa matsapa a fapaneng, joalo ka mahlale a data, ho ithuta mochine, le bohlale ba khoebo.
Likaroloana
- Ho boloka litšenyehelo tse tlase. Sebaka sa polokelo ea data se tlameha ho khona ho boloka data polokelong ea lintho tse theko e tlase, joalo ka Google Cloud Polokelo, Azure Blob Storage, Amazon Simple Storage Service, kapa ka tlhaho e sebelisa ORC kapa Parquet.
- Bokhoni ba ho ntlafatsa datha: Ntlafatso ea sebopeho sa data, caching, le indexing ke mehlala e 'maloa ea kamoo polokelo ea data e tlamehang ho khona ho ntlafatsa data ha e ntse e boloka sebopeho sa mantlha sa data.
- Lera la metadata ea transaction: Ka holim'a polokelo ea bohlokoa e theko e tlase, sena se nolofalletsa bokhoni ba taolo ea data bo bohlokoa bakeng sa ts'ebetso ea polokelo ea data.
- Tšehetso bakeng sa Declarative DataFrame API: Boholo ba lisebelisoa tsa AI li ka sebelisa DataFrames ho fumana lintlha tsa polokelo ea lintho tse tala. Ts'ehetso bakeng sa Declarative DataFrame API e eketsa bokhoni ba ho ntlafatsa tlhahiso le sebopeho sa data ho latela mahlale a itseng a data kapa mosebetsi oa AI.
- Ts'ehetso bakeng sa litšebelisano tsa ACID: ACID e khutsufalitsoeng, e emelang atomicity, consistency, ho itšehla thajana, le ho tšoarella, ke karolo ea bohlokoa ho hlalosang ts'ebetso le ho netefatsa ho lumellana le ho tšepahala ha data. Litšebelisano tse joalo li ne li le teng pele feela libakeng tsa polokelo ea data, empa lakehouse e fana ka khetho ea ho li sebelisa le matša a data hape. Ka liphaephe tse 'maloa tsa data tse kenyelletsang ho baloa le ho ngola ha data ka nako e le ngoe, sena se rarolla bothata ba boleng bo tlase ba data ba morao-rao.
Lintlha tsa data Lakehouse
Mehaho ea ntlo ea polokelo ea data e arotsoe ka mekhahlelo e 'meli e meholo boemong bo phahameng. Ho kenngoa ha data ea lera la polokelo ho laoloa ke sethala sa Lakehouse (ke hore, letša la data).
Ntle le ho hloka ho kenya datha sebakeng sa polokelo ea data kapa ho e fetola sebopeho sa mong'a ntlo, sethala sa ts'ebetso se khona ho botsa data ho polokelo ea polokelo ka kotloloho ho sebelisa mefuta e mengata ea lisebelisoa.
Ebe, lits'ebetso tsa BI, hammoho le theknoloji ea AI le ML, li ka sebelisa data. Moruo oa letša la data o fanoa ke moqapi ona, empa hobane mochine leha e le ofe oa ho sebetsa o ka bala lintlha tsena, likhoebo li na le bolokolohi ba ho etsa hore data e lokiselitsoeng e fumanehe bakeng sa ho hlahlojoa ke mefuta e mengata ea litsamaiso. Ts'ebetso ea processor le litšenyehelo li ka ntlafatsoa ka bobeli ka ho sebelisa mokhoa ona bakeng sa ts'ebetso le tlhahlobo.
Ka lebaka la ts'ehetso ea eona bakeng sa litšebelisano tsa database tse khomarelang mekhoa e latelang ea ACID (atomicity, consistency, isolation, le durability), mohaho o boetse o thusa lihlopha tse ngata ho fumana le ho ngola lintlha ka nako e le 'ngoe ka har'a tsamaiso:
- Atomicity e bua ka taba ea hore transaction e felletseng kapa ha ho le e 'ngoe ea eona, e atlehang ha ho phetheloa thekisetsano. Haeba ts'ebetso e sitisoa, sena se thusa ho qoba tahlehelo ea data kapa bobolu.
- Ho se ts'oane e tiisa hore litšebelisano li etsahala ka mokhoa o ka lebelloang, o tsitsitseng. E boloka botšepehi ba data ka ho netefatsa hore data e 'ngoe le e' ngoe e nepahetse ho latela melao e reriloeng esale pele.
- kwahelang e netefatsa hore, ho fihlela e felile, ha ho transaction e ka angoang ke transaction efe kapa efe ka har'a sistimi. Sena se lumella lihlopha tse ngata ho bala le ho ngola ho tsoa tsamaisong e le 'ngoe ka nako e le' ngoe ntle le ho kena-kenana.
- tšoarella e tiisa hore liphetoho tsa data tsamaisong li tsoela pele ho ba teng ka mor'a hore transaction e phethoe, esita le haeba tsamaiso e hlōleha. Liphetoho life kapa life tse tlisoang ke thekisetsano li bolokoa faeleng ka ho sa feleng.
Data Lakehouse Architecture
Databricks (moqapi le moqapi oa mohopolo oa bona oa Delta Lake) le AWS ke babuelli ba babeli ba mantlha ba mohopolo oa polokelo ea data. Ka hona, re tla itšetleha ka tsebo ea bona le temohisiso ea bona ho hlalosa sebopeho sa meralo ea matša.
Sistimi ea polokelo ea data hangata e tla ba le mekhahlelo e mehlano:
- Lera la ho kenya
- Sebaka sa polokelo
- Lera la metadata
- Lera la API
- Lera la tshebediso
Lera la ho kenya
Karolo ea pele ea sistimi e ikarabella bakeng sa ho bokella data ho tsoa mehloling e fapaneng le ho e romella sebakeng sa polokelo. Lera le ka sebelisa liprothokholo tse 'maloa ho hokela mehloling e mengata ea kahare le kantle, ho kenyelletsa le ho kopanya bokhoni ba ho sebetsa batch le ho phallela data, joalo ka.
- Li-database tsa NoSQL,
- lifaele tsa likarolo
- Lisebelisoa tsa CRM,
- liwebsaete,
- Li-sensor tsa IoT,
- melaetsa ea sechaba,
- Lisebelisoa tsa Software as a Service (SaaS), le
- litsamaiso tsa taolo ea database tsa likamano, joalo-joalo.
Mothating ona, likarolo tse kang Apache Kafka bakeng sa phallo ea data le Amazon Data Migration Service (Amazon DMS) bakeng sa ho kenya data ho tsoa ho li-database tsa RDBMS le NoSQL li ka sebelisoa.
Sebaka sa polokelo
Moaho oa ntlo ea leoatle o etselitsoe ho thusa ho boloka mefuta e fapaneng ea data joalo ka lintho tse mabenkeleng a theko e tlase, joalo ka AWS S3. U sebelisa liforomo tsa faele tse bulehileng, lisebelisoa tsa bareki li ka bala lintho tsena ka kotloloho lebenkeleng.
Sena se etsa hore ho khonehe hore li-API tse ngata le likarolo tsa lisebelisoa li fihlelle le ho sebelisa data e tšoanang. Lera la metadata le boloka li-schemas bakeng sa li-dataset tse hlophisitsoeng le tse entsoeng ka halofo e le hore likarolo li ka li sebelisa ho data ha li ntse li e bala.
Sethala sa Hadoop Distributed File System (HDFS), mohlala, se ka sebelisoa ho aha lits'ebeletso tsa polokelo ea leru tse arolang komporo le polokelo sebakeng. Lakehouse e loketse litšebeletso tsena.
Lera la metadata
Lera la metadata ke karolo ea mantlha ea polokelo ea data e khethollang moralo ona. Ke lethathamo le le leng le fanang ka metadata (tsebiso mabapi le likotoana tse ling tsa data) bakeng sa lintho tsohle tse bolokiloeng letšeng mme e lumella basebelisi ho sebelisa bokhoni ba tsamaiso joalo ka:
- Phetolelo e tsitsitseng ea database e bonoa ke litšebelisano tsa nako e le 'ngoe ka lebaka la litšebelisano tsa ACID;
- caching ho boloka lifaele tsa polokelo ea lintho tsa leru;
- ho eketsa li-index tsa sebopeho sa data ka ho sebelisa indexing ho potlakisa ts'ebetso ea lipotso;
- ho sebelisa cloning ea zero-copy ho kopitsa lintho tsa data; le
- ho boloka mefuta e itseng ea data, joalo-joalo, sebelisa phetolelo ea data.
Ho phaella moo, lera la metadata le thusa ho kenya ts'ebetsong ea tsamaiso ea schema, tšebeliso ea li-topology tsa DW schema joaloka schemas ea linaleli / snowflake, le ho fana ka taolo ea boitsebiso le bokhoni ba ho hlahloba ka ho toba letšeng la data, ho matlafatsa botšepehi ba liphaephe tsohle tsa data.
Likarolo tsa ho iphetola ha schema le ts'ebetsong li kenyellelitsoe taolong ea schema. Ka ho hana mangolo afe kapa afe a sa lumellaneng le schema ea tafole, ts'ebetso ea schema e thusa basebelisi ho boloka botšepehi le boleng ba data.
Schema evolution e lumella schema ea hajoale ea tafole hore e fetoloe ho amohela data e fetohang. Ka lebaka la sebopeho se le seng sa tsamaiso ka holim'a letša la data, ho boetse ho na le taolo ea phihlello le menyetla ea tlhahlobo.
Lera la API
Karolo e 'ngoe ea bohlokoa ea meralo e se e le teng, e tsamaisa li-API tse ngata tseo basebelisi bohle ba ho qetela ba ka li sebelisang ho etsa mesebetsi kapele le ho fumana lipalo-palo tse tsoetseng pele.
Tšebeliso ea metadata API e nolofalletsa ho tseba le ho fumana lintlha tse hlokahalang bakeng sa ts'ebeliso e itseng.
Mabapi le lilaebrari tsa ho ithuta ka mochini, tse ling tsa tsona, joalo ka TensorFlow le Spark MLlib, li ka bala liforomo tsa faele tse bulehileng joalo ka Parquet mme tsa fihlella ka kotloloho lera la metadata.
Ka nako e ts'oanang, li-API tsa DataFrame li fana ka menyetla e mengata ea ho ntlafatsa, e nolofalletsang baetsi ba mananeo ho hlophisa le ho fetola data e qhalakaneng.
Lera la tshebediso
Power BI, Tableau, le lisebelisoa tse ling le lits'ebetso li ts'oaroa ka tlas'a sekhahla sa tšebeliso. Ka moralo oa letša, metadata eohle le lintlha tsohle tse bolokiloeng ka letšeng li ka fumaneha ho lits'ebetso tsa bareki.
Lakehouse e ka sebelisoa ke basebelisi bohle ba ka hare ho k'hamphani ho etsa mefuta eohle ea ts'ebetso ea analytics, ho kenyelletsa ho theha li-dashboard tsa bohlale ba khoebo le ho tsamaisa lipotso tsa SQL le mesebetsi ea ho ithuta ka mochini.
Melemo ea Data Lakehouse
Mekhatlo e ka theha sebaka sa polokelo ea data ho kopanya sethala sa bona sa data sa hajoale le ho ntlafatsa ts'ebetso ea bona ea taolo ea data. Ka ho qhaqha mekoallo ea silo e hokahanyang mehloli e fapaneng, sebaka sa polokelo ea data se ka nka sebaka sa tlhoko ea litharollo tse ikhethileng.
Ha ho bapisoa le mehloli ea data e hlophisitsoeng, kopanyo ena e hlahisa mokhoa o atlehang haholo oa ho qetela. Sena se na le melemo e mengata:
- Tsamaiso e fokolang: Ho e-na le ho ntša data ho data e tala le ho e lokisetsa hore e sebelisoe ka har'a polokelo ea boitsebiso, polokelo ea boitsebiso e lumella mehloli leha e le efe e amanang le eona hore boitsebiso ba bona bo fumanehe le ho hlophisoa bakeng sa tšebeliso.
- Keketseho ea litšenyehelo+ Ts'ebeliso feela ea polokelo ea data e theko e tlaase e fella ka hore ho be le scalability e baballang chelete e ngata.
- Taolo ea data e betere: Matlo a polokelo ea data a hahiloe ka meaho e bulehileng e tloaelehileng, e lumellang taolo e eketsehileng holim'a ts'ireletso, metrics, phihlello e thehiloeng ho karolo, le likarolo tse ling tsa bohlokoa tsa taolo. Ka ho kopanya lisebelisoa le mehloli ea data, ba nolofatsa le ho matlafatsa puso.
- Melao e nolofalitsoeng: Kaha khokahanyo e ne e thibetsoe haholo lilemong tsa bo-1980, ha libaka tsa polokelo ea boitsebiso li ne li qala ho ntlafatsoa, litekanyetso tsa schema tsa lehae li ne li atisa ho ntlafatsoa ka hare ho likhoebo, esita le mafapha. Libaka tsa polokelo ea data li sebelisa taba ea hore mefuta e mengata ea data e se e na le litekanyetso tse bulehileng tsa schema ka ho kenya mehloli e mengata ea data ka schema e ts'oanang e ts'oanang ho tsamaisa lits'ebetso.
Melemo ea Data Lakehouse
Leha ho na le lits'oants'o tsohle tse potileng matlo a polokelo ea data, ho bohlokoa ho hopola hore mohopolo o ntse o le mocha haholo. Etsa bonnete ba hore u lekola mathata pele u itlama ka botlalo ho moralo ona o mocha.
- Sebopeho sa monolithic: Moralo o kenyellelitsoeng oa Lakehouse o fana ka melemo e mengata, empa hape o hlahisa mathata a mang. Mehaho ea Monolithic hangata e lebisa litšebeletsong tse fokolang bakeng sa basebelisi bohle 'me e ka ba e thata le e thata ho e hlokomela. Ka tloaelo, baetsi ba meralo le baqapi ba rata meralo ea modular eo ba ka e etsang bakeng sa linyeoe tse fapaneng tsa ts'ebeliso.
- Theknoloji ha e so be teng: sepheo sa ho qetela se kenyelletsa palo e kholo ea ho ithuta ka mochini le bohlale ba maiketsetso. Pele matša a ka sebetsa kamoo ho nahanoang kateng, mahlale ana a tlameha ho ntlafala ho ea pele.
- Ha se tsoelo-pele e kholo holim'a meaho e teng: Ho ntse ho na le lipelaelo tse kholo mabapi le hore na matlo a matša a tla kenya letsoho ho boleng bo bokae. Bahanyetsi ba bang ba pheha khang ea hore moetso oa ntlo ea polokelo ea letša o kopantsoeng le thepa e loketseng ea othomathike e ka ba le katleho e tšoanang.
Mathata a data Lakehouse
Ho ka ba thata ho sebelisa mokhoa oa ho boloka data. Ka lebaka la ho rarahana ha likaroloana tsa eona, ho fosahetse ho talima polokelo ea litša ea data e le sebopeho se setle se akaretsang kapa "sethala se le seng sa ntho e ngoe le e ngoe," bakeng sa se le seng.
Ho feta moo, ka lebaka la keketseho e ntseng e eketseha ea matša a data, likhoebo li tla tlameha ho fetisetsa polokelo ea tsona ea data ho tsona, li itšetlehile feela ka tšepiso ea katleho ntle le molemo o bonahalang oa moruo.
Haeba ho na le mathata leha e le afe a ho lieha ha nako kapa ho tima nakong eohle ea phetisetso, sena se ka qetella se bitsa chelete e ngata, se jang nako, 'me mohlomong se sa sireletseha.
Basebelisi ba khoebo ba tlameha ho amohela mahlale a ikhethang haholo, ho latela barekisi ba bang ba fanang ka tharollo ka mokhoa o hlakileng kapa ka mokhoa o hlakileng joalo ka matlo a data. Tsena li kanna tsa se sebetse kamehla le lisebelisoa tse ling tse hokahantsoeng le letša la data bohareng ba sistimi, ho eketsa litaba.
Ho feta moo, ho ka 'na ha e-ba thata ho fana ka litlhahlobo tsa 24/7 ha u ntse u tsamaisa mesebetsi e boima ea khoebo, e hlokang hore ho be le mekhoa ea motheo e nang le scalability e theko e tlaase.
fihlela qeto e
Mefuta e mecha ka ho fetisisa ea litsi tsa data lilemong tsa morao tjena ke data lakehouse. E kopanya likarolo tse fapaneng, joalo ka theknoloji ea tlhahisoleseling, software ea mohloli o bulehileng, leru dikhomphiutha, le ho ajoa liprothokholo tsa polokelo.
E thusa likhoebo ho boloka bohareng ba mefuta eohle ea data sebakeng sefe kapa sefe, ho nolofatsa taolo le tlhahlobo. Data Lakehouse ke mohopolo o khahlisang haholo.
Feme efe kapa efe e ne e tla ba le tlholisano e kholo haeba e ne e khona ho fihlella sethala sa data se le seng se neng se potlakile ebile se sebetsa hantle joalo ka polokelo ea data ha se ntse se tenyetseha joalo ka letša la data.
Khopolo ena e ntse e tsoela pele 'me e ntse e le ncha. Ka lebaka leo, ho ka nka nako ho fumana hore na ho hong ho ka ata kapa che.
Kaofela re tlameha ho labalabela ho tseba hore na moaho oa Lakehouse o habile hokae.
Leave a Reply