Tafole ea likateng[Pata][Bontša]
Likhamphani li ntse li hapa lintlha tse ngata ho feta leha e le neng pele ha li ntse li itšetleha haholo ka eona ho tsebisa liqeto tsa bohlokoa tsa khoebo, ho ntlafatsa tlhahiso ea lihlahisoa, le ho fana ka litšebeletso tse ntle tsa bareki.
Ka bongata ba data bo ntseng bo etsoa ka sekhahla sa exponential, leru le fana ka melemo e mengata bakeng sa ts'ebetso ea data le li-analytics, ho kenyeletsoa scalability, ts'epo, le ho fumaneha.
Sebakeng sa maru, ho boetse ho na le lisebelisoa le mahlale a 'maloa bakeng sa ts'ebetso ea data le analytics. Mefuta e 'meli ea meaho e meholo ea polokelo ea data e sebelisoang hangata ke libaka tsa polokelo ea data le matša a data.
Le hoja ho sebelisa letša la data ho sa khahle haholo kaha ha u khone ho botsa mohlala le data ha e ntse e sebetsa, ho sebelisa polokelo ea boitsebiso bakeng sa ho boloka boitsebiso ho senya.
Wre khetha mofuta ofe oa meralo ea maru?
Na re lokela ho nahana ka maikutlo a macha bakeng sa polokelo ea data, kapa na re lokela ho khotsofalla litšitiso tsa ntlo ea polokelo kapa lithibelo tsa letša?
Mohaho o mocha oa polokelo ea data o bitsoang "data lakehouse" o kopanya ho ikamahanya le maemo a matša a data le taolo ea data ea polokelo ea data.
Ho bohlokoa ho utloisisa mekhoa e fapaneng ea polokelo ea data e kholo bakeng sa ho aha phala e tšepahalang ea polokelo ea data bakeng sa bohlale ba khoebo (BI), analytics ea data, le ho ithuta mochine (ML) meroalo ea mosebetsi, ho latela litlhoko tsa k'hamphani ea hau.
Ka poso ena, re tla sheba ka hloko Data Warehouse, Data Lake, le Data Lakehouse, ka melemo, mefokolo hammoho le melemo le boiketlo ba tsona. Ha re qaleng.
Data Warehouse ke eng?
Sebaka sa polokelo ea boitsebiso ke polokelo ea boitsebiso e bohareng e sebelisoang ke mokhatlo ho boloka boitsebiso bo bongata bo tsoang mehloling e mengata. Sebaka sa polokelo ea boitsebiso se sebetsa e le mohloli o le mong oa mokhatlo oa "'nete ea data"' me e bohlokoa ho tlaleha le ho hlahloba khoebo.
Ka tloaelo, polokelo ea data e kopanya li-data tsa kamano ho tsoa mehloling e mengata, joalo ka ts'ebeliso, khoebo, le data ea transaction, ho boloka data ea nalane. Pele e kenngoa ka har'a sistimi ea polokelo, data e fetoloa le ho hloekisoa libakeng tsa polokelo ea data e le hore e ka sebelisoa e le mohloli o le mong oa 'nete ea data.
Ka lebaka la bokhoni ba bona ba ho fana ka leseli la khoebo ka potlako ho tsoa likarolong tsohle tsa k'hamphani, likhoebo li tsetela ho polokelo ea data. Ka ts'ebeliso ea lisebelisoa tsa BI, bareki ba SQL, le litharollo tse ling tse sa rarahanang (ke hore, mahlale a seng a data), Bahlahlobi ba khoebo, lienjineri tsa data, le ba etsang liqeto ba ka fumana data ho tsoa matlong a polokelo ea data.
Ho bitsa chelete e ngata ho boloka sebaka sa polokelo ka palo e ntseng e eketseha ea data, 'me polokelo ea boitsebiso e sitoa ho sebetsana le data e tala kapa e sa hlophisoang. Ho feta moo, ha se khetho e nepahetseng bakeng sa mekhoa e tsoetseng pele ea tlhahlobo ea data joalo ka ho ithuta ka mochini kapa ho etsa mohlala oa esale pele.
Ka hona, polokelo ea data e fana ka likarabo tsa lipotso tse potlakileng le lintlha tsa boleng bo holimo. Google Big Query, Amazon Redshift, polokelo ea data ea Azure SQL, le Snowflake ke lits'ebeletso tsa maru tse fumanehang bakeng sa polokelo ea data.
Melemo ea polokelo ea data
- Ho eketsa ts'ebetso le lebelo la bohlale ba khoebo le lits'ebetso tsa data analytics: Libaka tsa polokelo ea boitsebiso li khutsufatsa nako e hlokahalang bakeng sa ho lokisa le ho hlahloba lintlha. Ba ka hokela habonolo ho li-analytics tsa data le lisebelisoa tsa bohlale ba khoebo kaha data e tsoang polokelong ea data e tšepahala ebile e tsitsitse. Ho feta moo, polokelo ea data e boloka nako e hlokahalang bakeng sa pokello ea lintlha le ho fa lihlopha bokhoni ba ho sebelisa lintlha bakeng sa litlaleho, li-dashboard le litlhoko tse ling tsa tlhahlobo.
- Ho eketsa botsitso, boleng le maemo a data: Mekhatlo e bokella lintlha ho tsoa mehloling e fapaneng, ho kenyeletsoa basebelisi, thekiso, le data ea transaction. Feme e ka tšepa lintlha tsa litlhoko tsa khoebo hobane polokelo ea data e bokella lintlha tsa khoebo ka mokhoa o ts'oanang, o hlophisitsoeng o ka sebetsang e le mohloli o le mong oa 'nete ea data.
- Ho matlafatsa ho etsa liqeto ka kakaretso: Ho boloka boitsebiso ho thusa ho etsa liqeto tse molemo ka ho fana ka lebenkele le bohareng bakeng sa lintlha tsa morao-rao le tsa khale. Ka ho sebetsana le datha libakeng tsa polokelo ea datha bakeng sa lintlha tse hlakileng, baetsi ba liqeto ba ka lekola likotsi, ba utloisisa litlhoko tsa bareki, le ho ntlafatsa thepa le litšebeletso.
- Ho fana ka bohlale bo betere ba khoebo: Bobolokelo ba lintlha bo koala lekhalo lipakeng tsa lintlha tse ngata tse tala, tse bokelloang khafetsa joalo ka ha e le hantle, le data e hlophisitsoeng e fanang ka lintlha. E sebetsa e le motheo oa polokelo ea data ea mokhatlo, e e nolofalletsang ho araba lipotso tse thata mabapi le data ea eona le ho sebelisa likarabo ho etsa liqeto tse ka sireletsoang khoebong.
Meeli ea polokelo ea data
- Ho hloka ho feto-fetoha ha data: Le ha polokelo ea data e ipabola ho sebetsana le data e hlophisitsoeng, liforomo tsa data tse hlophisitsoeng hantle le tse sa hlophisoang joalo ka analytics ea log, ho phallela, le data ea media ea sechaba e ka ba thata ho bona. Sena se etsa khothaletso ea polokelo ea data bakeng sa linyeoe tsa ts'ebeliso tse kenyelletsang ho ithuta ka mochini le bohlale ba maiketsetso thata.
- Ho bitsa chelete e ngata ho kenya le ho hlokomela: Libaka tsa polokelo ea boitsebiso li ka bitsa chelete e ngata ho li kenya le ho li hlokomela. Ho feta moo, polokelo ea data hangata ha e eme; e tsofala 'me e hloka ho hlokomeloa khafetsa, e leng chelete e ngata.
Pros
- Lintlha li bonolo ho li fumana, ho li fumana le ho li botsa.
- Hafeela data e se e hloekile, ho lokisoa ha lintlha tsa SQL ho bonolo.
tlhoka mesola
- U qobelloa ho sebelisa morekisi a le mong oa analytics.
- Ho hlahlobisisa le ho boloka data e sa hlophisoang kapa e phallang ho bitsa chelete e ngata haholo.
Data Lake ke eng?
Mofuta o mong le o mong oa data o ts'episitsoe mme o etsoa hore o khonehe ke matša a data. Ho molemo ho ba le data ka mokhoa o fumanehang sebakeng se bohareng le se fumanehang bakeng sa ho baloa.
Letša la data ke sebaka se bohareng, se feto-fetohang haholo sa polokelo moo boitsebiso bo bongata bo hlophisitsoeng le bo sa hlophisoang bo bolokiloeng ka mefuta ea bona e sa sebetsoang, e sa fetoloang le e sa hlophisoang.
Letša la data le sebelisa meralo e bataletseng le lintho tse bolokiloeng sebakeng sa eona se sa sebetsoang ho boloka data, ho fapana le polokelo ea data, e bolokang data ea kamano e kileng ea "hloekisoa."
Matša a data, ho fapana le polokelo ea data, a nang le bothata ba ho sebetsana le data ka mokhoa ona, a ka fetoha, a tšepahala, 'me a theko e tlaase 'me a lumella likhoebo ho fumana temohisiso e ntlafalitsoeng ho tsoa ho data e sa hlophisoang.
Matšeng a data, data ea ntšoa, ea laeloa, 'me ea fetoloa (ELT) molemong oa tlhahlobo ho fapana le ho ba le schema kapa data e thehiloeng ka nako ea ho bokella data.
Ho sebelisa mahlale a mefuta e mengata ea data ho tsoa lisebelisoa tsa IoT, metswedi ya dikgang, le ho hasanya data, matša a data a nolofalletsa ho ithuta ka mochine le ho hlahloba esale pele.
Ho feta moo, setsebi sa data se khonang ho sebetsana le data e tala se ka sebelisa letša la data. Ka lehlakoreng le leng, polokelo ea data e bonolo hore likhoebo li e sebelise. E nepahetse bakeng sa profil ea basebelisi, li-analytics tsa ponelopele, ho ithuta ka mochini, le mesebetsi e meng.
Leha matša a data a sebetsana le litaba tse 'maloa ka polokelo ea data, boleng ba bona ba data ha bo bobe ebile lebelo la bona la ho botsa ha le lekane. Ho feta moo, ho hloka lisebelisoa tse eketsehileng bakeng sa basebelisi ba khoebo ho etsa lipotso tsa SQL. Letša la data le sa hlophisoang hantle le ka ba le bothata ba ho putlama ha data.
Melemo ea Letša la Data
- Tšehetso bakeng sa mefuta e mengata ea ho ithuta mochine le linyeoe tsa ts'ebeliso ea mahlale a data Ho bonolo ho sebelisa mochine o fapaneng le mekhoa e tebileng ea ho ithuta ho sebetsana le data matšeng a data ho tloha ha data e bolokiloe ka mokhoa o bulehileng, o tala.
- Ho feto-fetoha ha data Lakes, e u lumellang ho boloka data ka sebopeho sefe kapa sefe kapa mecha ea litaba ntle le tlhokahalo ea schema e reriloeng esale pele, ke molemo o moholo. Linyeoe tsa tšebeliso ea data nakong e tlang li ka tšehetsoa, 'me lintlha tse ling li ka hlahlojoa haeba data e sala e le boemong ba eona ba pele.
- E le ho qoba ho boloka mefuta e 'meli ea data maemong a fapaneng, matša a data a ka ba le lintlha tse hlophisitsoeng le tse sa hlophisoang. Bakeng sa ho boloka mefuta e fapaneng ea data ea mokhatlo, ba fana ka sebaka se le seng.
- Ha ho bapisoa le matlo a khale a polokelo ea boitsebiso, matša a data ha a theko e tlaase hobane a hahiloe ho boloka thepa ea thepa e theko e tlaase, e kang ho boloka ntho, eo hangata e reretsoeng ho theko e tlaase ka gigabyte e bolokiloeng.
Meeli ea Letša la Data
- Litlhahlobo tsa data le linyeoe tsa ts'ebeliso ea bohlale ba khoebo li na le lintlha tse fosahetseng: Matša a data a ka fetoha a sa hlophisoang haeba a sa hlokomeloe ka mokhoa o lekaneng, e leng se etsang hore ho be thata ho a hokahanya le lisebelisoa tsa bohlale ba khoebo le tsa tlhahlobo. Ho feta moo, ha ho hlokahala bakeng sa litlaleho le li-analytics tsa tšebeliso ea linyeoe, ho hloka botsitso lisebelisoa tsa data le ACID (atomicity, consistency, isolation, le durability) ts'ehetso ea transaction e ka lebisa ts'ebetsong ea lipotso tse fokolang.
- Ho se lumellane ha data Lakes ho etsa hore ho se khonehe ho tiisa ts'epo le ts'ireletso ea data, e leng se fellang ka ho haella ha tsona ka bobeli. Ho ka 'na ha e-ba thata ho theha litekanyetso tse nepahetseng tsa ts'ireletso ea data le taolo ho fana ka mefuta e hlokolosi ea data, kaha matša a data a ka sebetsana le mofuta ofe kapa ofe oa data.
Pros
- Litharollo tse fumanehang bakeng sa mefuta eohle ea data.
- E khona ho sebetsana le data e hlophisitsoeng le e hlophisitsoeng hantle.
- E loketse ts'ebetso e rarahaneng ea data le ho phallela.
tlhoka mesola
- E hloka peipi e tsoetseng pele e lokelang ho hahoa.
- Fana ka data nako e itseng hore e ka botsoa.
- Ho nka nako ho netefatsa ts'episo ea data le boleng.
Data Lakehouse ke eng?
Mohaho o mocha oa polokelo ea data o bitsoang "data lakehouse" o kopanya likarolo tse kholo tsa matša a data le polokelo ea data. Lintlha tsohle tsa hau, ebang li hlophisitsoe, li entsoe ka mokhoa o itseng, kapa ha lia hlophisoa, li ka bolokoa sebakeng se le seng ka thuto e ntle ka ho fetesisa ea mochini, bohlale ba khoebo, le bokhoni ba ho tsamaisa litaba ka lebaka la polokelo ea data.
Matša a data a mefuta eohle hangata ke moo ho qaloang litša tsa data; ka mor'a moo, data e fetoloa sebopeho sa Delta Lake (sebaka se bulehileng sa polokelo se tlisang botšepehi matša a data).
Matša a datha a nang le matša a delta a nolofalletsa lits'ebetso tsa ACID ho tsoa matlong a tloaelehileng a polokelo ea data. Ha e le hantle, tsamaiso ea letša la leoatle e sebelisa polokelo e theko e tlaase ho boloka boitsebiso bo bongata ka mefuta ea bona ea pele, joalo ka matša a data.
Ho kenyelletsa lera la metadata ka holim'a lebenkele ho boetse ho fana ka sebopeho sa data le ho matlafatsa lisebelisoa tsa taolo ea data joalo ka tse fumanoang polokelong ea data.
Sena se nolofalletsa lihlopha tse ngata ho fumana lintlha tsohle tsa k'hamphani ka sistimi e le 'ngoe bakeng sa matsapa a fapaneng, joalo ka mahlale a data, ho ithuta ka mochini, le bohlale ba khoebo.
Melemo ea Data Lakehouse
- Ts'ehetso bakeng sa mefuta e mengata e mengata ea mesebetsi: Ho tsamaisa litlhahlobo tse rarahaneng, libaka tsa polokelo ea data li fa basebelisi monyetla oa ho fumana lisebelisoa tse ling tse tsebahalang haholo tsa bohlale ba khoebo (Tableau, PowerBI). Ho feta moo, bo-ramahlale ba data le lienjineri tsa ho ithuta ka mochini ba ka sebelisa lintlha habonolo kaha libaka tsa polokelo ea data li sebelisa lifomate tse bulehileng tsa data (joalo ka Parquet) hammoho le li-API le meralo ea ho ithuta ka mochini, joalo ka Python/R.
- Katleho ea litšenyehelo: Litsi tsa polokelo tsa data li sebelisa litharollo tsa polokelo ea lintho tse theko e tlase ho kenya ts'ebetsong litšobotsi tsa polokelo ea data tse bolokang litšenyehelo. Ka ho fana ka tharollo e le 'ngoe, libaka tsa polokelo ea data le tsona li felisa litšenyehelo le nako e amanang le ho laola lits'ebetso tse fapaneng tsa polokelo ea data.
- Moralo oa ntlo ea polokelo ea data o netefatsa schema le botšepehi ba data, ho etsa hore ho be bonolo ho aha ts'ireletso ea data e sebetsang hantle le litsamaiso tsa puso. Bonolo ba tlhahiso ya data, puso, le tshireletso.
- Libaka tsa polokelo ea data li fana ka sethala se le seng sa polokelo ea data se nang le merero e mengata se ka amohelang litlhoko tsohle tsa data tsa khampani, tse fokotsang ho pheta-pheta ha data. Boholo ba likhoebo li khetha tharollo e nyalisitsoeng ka lebaka la melemo ea polokelo ea data le letša la data. Leha ho le joalo, leano lena le ka fella ka phetisetso ea data e jang chelete e ngata.
- Tšehetso ea liforomo tse bulehileng. Liforomo tse bulehileng ke mefuta ea lifaele tse ka sebelisoang ke lits'ebetso tse ngata tsa software le tseo litlhaloso tsa tsona li fumanehang phatlalatsa. Ho ea ka litlaleho, Lakehouses e khona ho boloka boitsebiso ka liforomo tse tloaelehileng tsa lifaele tse kang Apache Parquet le ORC (Optimized Row Columnar).
Meeli ea Data Lakehouse
Tšabo e kholo ka ho fetisisa ea data lakehouse ke hore e ntse e le thekenoloji e nyenyane le e tsoelang pele. Ha ho na bonnete ba hore na e tla phethahatsa boitlamo ba eona ka lebaka leo. Pele libaka tsa polokelo ea data li ka qothisana lehlokoa le lits'ebetso tse kholo tsa polokelo ea data, ho ka nka lilemo.
Leha ho le joalo, ho latela sekhahla seo boqapi ba sejoale-joale bo etsahalang ka sona, ho thata ho bolela hore na sistimi e fapaneng ea polokelo ea data e ke ke ea e nkela sebaka.
Pros
- Sethala se le seng se na le lintlha tsohle, ho bolelang hore ho na le mabitso a seng makae a ho boloka.
- Atomicity, ho tsitsa, ho itšehla thajana, le ho tiea ha li amehe.
- E theko e tlaase haholo.
- Sethala se le seng se na le lintlha tsohle, ho bolelang hore ho na le mabitso a seng makae a ho boloka.
- Ho bonolo ho laola, 'me ho potlakela ho rarolla mathata afe kapa afe
- Etsa hore ho be bonolo ho etsa pipeline
tlhoka mesola
- Ho seta ho ka nka nako.
- E nyane haholo ebile e hole haholo hore e ka tšoaneleha ho ba sistimi e hlophisitsoeng ea polokelo.
Vs Data Warehouse Vs Data Lakehouse Vs Data Lakehouse
Sebaka sa polokelo ea data se na le nalane e telele lits'ebetsong tsa bohlale ba khoebo, ho tlaleha, le li-analytics mme ke theknoloji ea pele ea polokelo ea data e kholo.
Ka lehlakoreng le leng, matlo a polokelo ea boitsebiso a theko e boima 'me a na le bothata ba ho sebetsana le lintlha tse fapaneng le tse sa hlophisoang, tse kang ho phallela data. Bakeng sa ho ithuta ka mochini le mesebetsi e mengata ea mahlale a data, matša a data a ile a ntlafatsoa ho laola lintlha tse tala ka mefuta e fapaneng ea polokelo ea theko e tlase.
Leha matša a data a sebetsa hantle ka data e sa hlophisoang, ha a na bokhoni ba ACID ba ho boloka data, e leng se etsang hore ho be thata ho netefatsa ho ts'epahala le ho ts'epahala ha data.
Moaho o mocha oa polokelo ea data, o tsejoang ka hore ke "data lakehouse," o kopanya ho ts'epaha le ho ts'oana ha polokelo ea data le ho khoneha le ho ikamahanya le maemo ha matša a data.
fihlela qeto e
Qetellong, ho ka ba thata ho aha ntlo ea polokelo ea data ho tloha qalong. Ntle le moo, o tla be o ntse o sebelisa sethala se etselitsoeng ho thusa meralo ea meralo ea data e bulehileng.
Ka hona, ela hloko ho batlisisa likarolo tse ngata le ts'ebetsong ea sethala ka seng pele u reka. Likhamphani tse batlang tharollo ea data e holileng, e hlophisitsoeng e tsepamisitseng maikutlo ho bohlale ba khoebo le linyeoe tsa tšebeliso ea data analytics li ka nka sebaka sa polokelo ea data.
Leha ho le joalo, likhoebo tse batlang tharollo e kholo ea data e ka senyehang, e theko e tlaase bakeng sa mesebetsi e mengata ea mahlale a data le ho ithuta ka mochini ho data e sa hlophisoang e lokela ho nahana ka matša a data.
Ak'u nahane hore khoebo ea hau e hloka boitsebiso bo bongata ho feta bo polokelo ea boitsebiso le theknoloji ea letša la data, kapa hore u batla tharollo ea ho kopanya litlhahlobo tse tsoetseng pele le mekhoa ea ho ithuta ka mochine ho data ea hau. A data lakehouse ke khetho e utloahalang boemong boo.
Leave a Reply