Atonu e fai si faigata ona mafaufau i auaunaga uma o lo'o avanoa ma filifiliga faufale pe a mafaufau i fa'amaumauga fa'amaumauga.
O se fa'amaumauga o fa'amatalaga tau atina'e e masani ona aofia ai faleteuoloa fa'amaumauga, fa'ata'ita'iga fa'amaumauga, vaituloto fa'amaumauga, ma lipoti, e tofu ma se fa'amoemoega fa'apitoa ma seti o tomai e mana'omia. I se eseesega, o se mamanu fou ua taʻua o le data lakehouse ua aliaʻe mai i nai tausaga talu ai.
O le faʻaogaina o vaituloto faʻamaumauga ma faʻamaumauga o faʻamaumauga o faleteuoloa o loʻo tuʻufaʻatasia i totonu o se fausaga fou e teu ai faʻamaumauga ua taʻua o le "data lakehouse."
O le a matou suʻesuʻeina faʻamatalaga lakehouse i le loloto i lenei pou, e aofia ai ona vaega, foliga, fausaga, ma isi vaega.
O le a le Data Lakehouse?
E pei ona taʻu mai e le igoa, o le data lakehouse o se ituaiga fou o faʻamaumauga faʻamaumauga e tuʻufaʻatasia se vaituloto faʻamaumauga ma se fale teu oloa e foia ai faʻaletonu o taʻitasi taʻitasi.
O le mea moni, o le lakehouse system e faʻaogaina ai le teuina taugofie e faʻamautu ai le tele o faʻamaumauga i totonu o latou foliga muamua, e pei lava o vaituloto faʻamaumauga. O le fa'aopoopoina o le metadata layer i luga o le faleoloa e tu'uina atu ai fo'i le fa'atulagaina o fa'amaumauga ma fa'amalosia ai meafaigaluega e fa'atautaia ai fa'amaumauga e pei o mea o lo'o maua i fale teu oloa.
Na te teuina le tele o voluma o faʻamaumauga faʻatulagaina, semi-faʻatulagaina, ma le le faʻatulagaina latou te maua mai pisinisi eseese talosaga, faiga, ma gadgets faʻaaogaina i le latou faʻalapotopotoga.
Ole tele ole taimi, ole vaituloto o fa'amatalaga e fa'aogaina ai mea e teu ai tau taugofie ma se fa'aoga polokalame fa'akomepiuta faila (API) e teu ai fa'amaumauga i fa'amatalaga matala, faila faila lautele.
O le mea lea e mafai ai e le tele o 'au ona maua fa'amaumauga uma a le kamupani e ala i se faiga e tasi mo le tele o fuafuaga, e pei o fa'amatalaga faasaienisi, masini suʻesuʻe, ma le atamai tau pisinisi.
Features
- Tau maualalo teuina. E tatau ona mafai e se fale vaituloto fa'amaumauga ona teu fa'amaumauga i totonu o mea e teu taugofie, pei o Google Cloud Teuina, Azure Blob Storage, Amazon Simple Storage Service, poʻo le faʻaaogaina o le ORC poʻo le Parquet.
- Agava'a mo fa'amatalaga fa'amatalaga: Fa'atonu fa'atulagaina o fa'amaumauga, fa'apolopolo, ma fa'asino igoa o nai fa'ata'ita'iga ia o le auala e tatau ona mafai ai e le lakehouse fa'amaumauga ona fa'amalieina fa'amaumauga a'o fa'atumauina le fa'asologa muamua o fa'amaumauga.
- O se vaega o metadata fefaʻatauaʻiga: I luga o le teuina o tau maualalo, e mafai ai ona faʻatautaia faʻamaumauga e taua tele mo faʻatinoga o faleteuoloa.
- Lagolago mo le Declarative DataFrame API: O le tele o meafaigaluega AI e mafai ona faʻaogaina DataFrames e toe aumai ai faʻamatalaga faleoloa mea faitino. Lagolago mo le Declarative DataFrame API e faʻateleina ai le malosi e faʻaleleia atili ai le faʻamatalaga o faʻamaumauga ma le fausaga e tali atu ai i faʻamatalaga faʻasaienisi poʻo AI galuega.
- Lagolago mo fefaʻatauaiga a le ACID: O le acronym ACID, o loʻo tu mo le atomicity, consistency, isolation, and durability, o se vaega taua i le faʻamalamalamaina o se fefaʻatauaiga ma faʻamautinoa le tumau ma le faʻalagolagoina o faʻamaumauga. O ia fefaʻatauaʻiga na mafai muamua i totonu o faleteuoloa faʻamaumauga, ae o le lakehouse ofo atu le filifiliga e faʻaaogaina i vaituloto faʻamatalaga faapena foi a'u. Faatasi ai ma le tele o laina paipa faʻamaumauga e aofia ai faʻamaumauga faʻatasi e faitau ma tusitusi, o lenei mea e foia ai le faʻafitauli o le maualalo o faʻamaumauga o le tulaga mulimuli.
Elemene o Data Lakehouse
O le fausaga o le data lakehouse ua vaevaeina i ni vaega autu se lua i se tulaga maualuga. O le fa'aogaina o fa'amaumauga a le fa'aputuga o lo'o fa'atonutonuina e le tulaga o le Lakehouse (ie, le vaituloto fa'amaumauga).
A aunoa ma le manaʻomia o le utaina o faʻamatalaga i totonu o se faleteuoloa faʻamatalaga pe liliu i totonu o se faʻasologa faʻapitoa, ona mafai lea e le vaega o le gaosiga ona fesiligia faʻamatalaga i totonu o le teuina saʻo e faʻaaoga ai le tele o meafaigaluega.
Ona, BI apps, faʻapea foʻi ma AI ma ML tekinolosi, e mafai ona faʻaogaina faʻamatalaga. O le tamaoaiga o se vaituloto faʻamatalaga e tuʻuina atu e lenei mamanu, ae talu ai e mafai e soʻo se masini faʻapipiʻi ona faitau lenei faʻamatalaga, o pisinisi e iai le saʻolotoga e faʻaogaina ai faʻamatalaga saunia mo suʻesuʻega e ala i le tele o faiga. E mafai ona faʻaleleia uma le faʻatinoga o le gaosiga ma le tau e ala i le faʻaogaina o lenei metotia mo le gaosiga ma le auiliiliga.
Ona o lana lagolago mo fefaʻatauaʻiga faʻamaumauga o loʻo mulimulitaʻi i le ACID (atomicity, consistency, isolation, and durability) taʻiala, o le fausaga e mafai ai foi e le tele o vaega ona maua ma tusia faʻamaumauga i le taimi e tasi i totonu o le polokalama:
- Lotogatasi e faasino i le mea moni e faapea o le feuiaiga atoa po o le leai o se mea, manuia a o faamaeaina se fefaatauaiga. I le tulaga e faʻalavelaveina se faʻagasologa, e fesoasoani lea e aloese mai le leiloa o faʻamatalaga poʻo le piʻopiʻo.
- Faʻaauau fa'amaonia fefa'atauaiga o lo'o tutupu i se va'aiga mautinoa, fa'aauau. E fa'atumauina le fa'amaoni o fa'amaumauga e ala i le fa'amautinoaina o fa'amaumauga uma e sa'o e tusa ai ma tulafono fa'atonu.
- faʻaʻesega fa'amautinoa, se'ia mae'a, e leai se fefa'ataua'iga e mafai ona a'afia i so'o se isi fefa'ataua'iga i totonu ole faiga. E mafai ai e le tele o vaega ona faitau ma tusitusi mai le faiga lava e tasi i le taimi e tasi e aunoa ma le faalavelaveina o le tasi ma le isi.
- anagataga fa'amautinoa o suiga i fa'amaumauga i totonu o se faiga e fa'aauau pea pe a mae'a se fefa'ataua'iga, e tusa lava pe fa'aletonu faiga. So'o se suiga e maua mai i se fefa'ataua'iga e teuina i faila e fa'avavau.
Fa'ata'ita'iga o Fa'amaumauga a le Lakehouse
Databricks (o le tagata fou ma le mamanu o le latou Delta Lake concept) ma le AWS o le lagolago autu ia e lua mo le manatu o se fale vaituloto faʻamatalaga. E fa'apea la ona tatou fa'alagolago i lo latou iloa ma le malamalama e fa'amatala ai le fa'atulagaina o fale vaituloto.
Ole fa'aogaina ole lakehouse system e masani ona i ai ni fa'avae e lima:
- Fa'a'aiga fa'ainu
- Lafu teu
- Laega metadata
- API lapisi
- Fa'atauga
Fa'a'aiga fa'ainu
O le vaega muamua o le faiga e nafa ma le aoina mai o faʻamatalaga mai punaoa eseese ma tuʻuina atu i le vaega e teu ai. E mafai e le layer ona faʻaogaina le tele o faʻasalalauga e faʻafesoʻotaʻi i le tele o mea i totonu ma fafo, e aofia ai le tuʻufaʻatasia o le vaega ma le faʻafefeina o faʻamatalaga gafatia, e pei o le
- NoSQL fa'amaumauga,
- faila sea
- CRM talosaga,
- uepisaite,
- IoT sensors,
- alafesootai,
- Polokalama e pei o se Au'aunaga (SaaS), ma
- feso'ota'iga fa'amaumauga fa'atonu faiga, ma isi.
I le taimi nei, o vaega e pei o Apache Kafka mo faʻasalalauga faʻamaumauga ma Amazon Data Migration Service (Amazon DMS) mo le faʻauluina o faʻamatalaga mai RDBMSs ma NoSQL database e mafai ona faʻafaigaluegaina.
Lafu teu
O le fausaga o le vaituloto e fa'atatau ina ia mafai ai ona teuina ituaiga eseese o fa'amaumauga e pei o mea faitino i faleoloa taugofie, pei ole AWS S3. I le fa'aogaina o faila faila tatala, e mafai e meafaigaluega a le kalani ona faitau sa'o nei mea mai le faleoloa.
O le mea lea e mafai ai e le tele o APIs ma vaega o le fa'aogaina ona maua ma fa'aogaina fa'amaumauga tutusa. O le metadata layer e teu ai faʻataʻitaʻiga mo faʻamaumauga faʻatulagaina ma semi-faʻatulagaina ina ia mafai e vaega ona faʻaoga i faʻamaumauga aʻo latou faitauina.
O le Hadoop Distributed File System (HDFS) platform, mo se faʻataʻitaʻiga, e mafai ona faʻaogaina e fausia ai auaunaga faʻapipiʻi ao e vaeluaina ai komepiuta ma teuina i luga ole fale. Lakehouse e fetaui lelei mo nei auaunaga.
Laega metadata
O le metadata layer o le vaega autu lea o se faʻamaumauga vaituloto e faʻaeseese ai lenei mamanu. Ose fa'amaumauga e tasi e ofoina atu metadata (fa'amatalaga e uiga i isi fa'amatalaga fa'amaumauga) mo mea uma o lo'o teuina i totonu o le vaituloto ma fa'ataga ai tagata fa'aoga e fa'afaigaluegaina tomai fa'afoe e pei o:
- O se fa'asologa tumau o fa'amaumauga o lo'o va'aia e fefa'ataua'iga fa'atasi fa'afetai i fefa'atauaiga ACID;
- caching e fa'asaoina ai faila o meafaitino a le ao;
- fa'aopoopo fa'asologa o fa'amaumauga o fa'amaumauga e fa'aaoga ai le fa'asinomaga e fa'avavevave ai le fa'atinoina o fesili;
- fa'aogaina le kopi kopi kopi e fa'aluaina mea fa'amaumauga; ma
- e teu ai fa'amatalaga patino o fa'amaumauga, ma isi, fa'aoga fa'aliliuga fa'amaumauga.
E le gata i lea, o le metadata layer e mafai ai ona faʻatinoina le faʻatonuga o fuafuaga, le faʻaogaina o le DW schema topologies e pei o fetu / snowflake schemas, ma le tuʻuina atu o faʻamatalaga faʻatautaia ma le mafai ona suʻeina saʻo i luga o le vaituloto o faʻamaumauga, faʻaleleia le faʻamaoni o le laina faʻamaumauga atoa.
Fa'ailoga mo le fa'aleleia o fuafuaga ma le fa'amalosia o lo'o aofia i le fa'afoega o fuafuaga. E ala i le teenaina o so'o se tusitusiga e le fetaui ma le fa'atulagaina o le laulau, o le fa'amalosia o le fa'atonuga e mafai ai e tagata fa'aoga ona fa'amaumau fa'amaumauga ma le lelei.
O le fa'aleleia o le si'isi'i e mafai ai ona sui le fa'asologa o le laulau o lo'o iai nei e fa'aoga ai fa'amatalaga suiga. Ona o le tasi pulega fa'aoga i luga o le vaituloto o fa'amaumauga, o lo'o iai fo'i avanoa fa'atonutonu ma su'etusi avanoa.
API lapisi
O le isi vaega taua o le fausaga o loʻo i ai nei, faʻafeiloaʻi le tele o API e mafai e tagata faʻaoga uma ona faʻaogaina e faʻatino ai galuega vave ma maua ai faʻamaumauga faʻapitoa.
O le fa'aogaina o metadata API e fa'afaigofie ai ona fa'ailoa ma maua mea fa'amaumauga e mana'omia mo se talosaga tu'uina atu.
I tulaga o faletusi aʻoaʻoga masini, o nisi oi latou, e pei o TensorFlow ma Spark MLlib, e mafai ona faitau faila faila e pei o Parquet ma faʻaoga saʻo i le metadata layer.
I le taimi lava e tasi, DataFrame API e ofoina atu avanoa sili atu mo le faʻaleleia atili, mafai ai e le au fai polokalame ona faʻatulagaina ma suia faʻamatalaga faʻasalalau.
Fa'atauga
O le Power BI, Tableau, ma isi mea faigaluega ma polokalama o loʻo faʻafeiloaʻi i lalo o le faʻaogaina. Faatasi ai ma le mamanu o le vaituloto, o metadata uma ma faʻamaumauga uma o loʻo teuina i totonu o le vaituloto e mafai ona maua e le tagata o tausia polokalama.
O le vaituloto e mafai ona fa'aogaina e tagata uma i totonu o se kamupani e fa'atino ai ituaiga uma au'ili'ili fa'agaioiga, e aofia ai le fatuina o faʻamatalaga faʻamatalaga pisinisi ma faʻatautaia fesili SQL ma galuega aʻoaʻoga masini.
Tulaga lelei o Data Lakehouse
E mafai e fa'alapotopotoga ona fa'atūina se fale vaituloto fa'amaumauga e tu'ufa'atasia ai a latou fa'amaumauga o lo'o iai nei ma fa'amalieina a latou fa'atonuga atoa o fa'amaumauga. E ala i le talepeina o pa pupuni e fesoʻotaʻi ai punaoa eseese, e mafai e se fale vaituloto faʻamatalaga ona suitulaga i le manaʻomia mo ni fofo maʻoti.
Pe a fa'atusatusa i puna'oa fa'amaumauga, o lenei tu'ufa'atasiga e maua mai ai se faiga fa'ai'uga e sili atu ona lelei. O lenei mea e tele mea lelei:
- Fa'aitiitia pulega: Nai lo le su'eina o fa'amaumauga mai fa'amaumauga mata'utia ma saunia mo le fa'aoga i totonu o se faleteuoloa fa'amaumauga, e fa'ataga e le lakehouse fa'amaumauga so'o se fa'apogai e feso'ota'i i ai ina ia maua a latou fa'amaumauga ma fa'atulagaina mo le fa'aogaina.
- Faʻateleina le faʻaogaina o tau: O fale vaituloto o faʻamaumauga o loʻo fausia e faʻaaoga ai atinaʻe faʻaonaponei e vaeluaina ai le faʻatusatusaga ma le teuina, faʻafaigofie ona faʻalautele le teuina e aunoa ma le faʻateleina o le mana faʻatusatusa. Na'o le fa'aogaina o le teuina o fa'amatalaga taugofie e maua ai le fa'alauteleina e taugofie.
- Pulea lelei o fa'amaumauga: O fale vaituloto o faʻamaumauga o loʻo fausia ma faʻataʻitaʻiina faʻataʻitaʻiga tatala, faʻatagaina mo le sili atu le pulea o le saogalemu, metrics, avanoa faʻavae, ma isi vaega taua o le pulega. E ala i le tuufaatasia o punaoa ma punaoa o faamatalaga, latou te faafaigofieina ma faaleleia pulega.
- Tulaga fa'afaigofie: Talu ai ona o le fesoʻotaʻiga na matua faʻatapulaʻaina i le 1980s, ina ua faʻatupuina faleteuoloa faʻamaumauga, o faʻataʻitaʻiga faʻatulagaina faʻapitoa na masani ona atiaʻe i totonu o pisinisi, e oʻo lava i matagaluega. O lo'o fa'aogaina e fale vaituloto o fa'amaumauga le mea moni e tele ituaiga fa'amaumauga o lo'o i ai nei tulaga fa'ata'atia mo fa'ata'ita'iga e ala i le fa'aogaina o le tele o fa'amaumauga fa'atasi ai ma le fa'apipi'iina o toniga sikola e fa'afaigofie ai taualumaga.
Le lelei ole Data Lakehouse
E ui lava i faʻalavelave uma o loʻo siomia ai faʻamaumauga lakehouses, e taua le manatua o le manatu e matua fou lava. Ia mautinoa e fua i mea le lelei a'o le'i tuuto atoatoa i lenei mamanu fou.
- Monolithic fausaga: O le mamanu o le lakehouse e aofia ai mea uma e ofoina atu le tele o mea lelei, ae e faʻatupuina ai foi ni faʻafitauli. Monolithic architecture e masani ona taʻitaʻia ai le le lelei o auaunaga mo tagata uma e faʻaogaina ma e mafai ona faʻamalosi ma faigata ona tausia. E masani lava, o tusiata ma tagata mamanu e fiafia i se fausaga faʻapitoa e mafai ona latou faʻavasegaina mo faʻaoga eseese.
- E le'i o'o i ai le tekonolosi: o le sini mulimuli e aofia ai le tele o le aʻoaʻoina o masini ma le atamai faʻapitoa. Aʻo leʻi mafai ona faʻatino fale vaituloto e pei ona vaʻaia, o nei tekinolosi e tatau ona faʻalauteleina.
- E le o se alualu i luma taua i luga o fausaga o iai: O lo'o i ai pea le masalosalo tele i le tele o le a sili atu le taua o fale vaituloto o le a saofagā moni. Fai mai nisi o le au fa'atauva'a e fa'apea o se mamanu faleteuoloa vaitu'i fa'atasi ma masini fa'aautomatisa talafeagai e mafai ona ausia fa'atusa lelei.
Lu'itau o Data Lakehouse
Atonu e faigata ona fa'aaogaina le fa'aogaina o le lakehouse technique. Ona o le lavelave o ona vaega vaega, e le sa'o le va'ai i le lakehouse fa'amaumauga o se fa'atulagaga lelei atoatoa po'o le "tasi fa'avae mo mea uma," mo le tasi.
E le gata i lea, ona o le faʻateleina o le faʻaaogaina o vaituloto faʻamaumauga, e tatau i pisinisi ona faʻafeiloaʻi a latou faleteuoloa o loʻo iai nei ia i latou, faʻalagolago i se folafolaga o le manuia e aunoa ma se faʻamaoniga tau tamaoaiga.
Afai e iai ni fa'afitauli fa'aletonu po'o fa'aletonu i le faagasologa o le fesiitaiga, e ono i'u ina taugata, alu le taimi, ma atonu e le saogalemu.
E tatau i le aufaipisinisi ona talia tekinolosi fa'apitoa fa'apitoa, e tusa ai ma nisi o fa'atau oloa o lo'o fa'ailoa fa'atautala fa'atauga fa'amatalaga e pei o fa'amaumauga o vaituloto. Atonu e le galulue i taimi uma ma isi meafaigaluega e fesoʻotaʻi ma le vaituloto o faʻamatalaga i le ogatotonu o le faiga, faʻaopoopo i faʻafitauli.
E le gata i lea, atonu e faigata ona tuʻuina atu auʻiliʻiliga 24/7 aʻo faʻatautaia galuega faʻatauvaʻa pisinisi, lea e manaʻomia ai atinaʻe ma le faʻaleleia o tau.
iʻuga
Ole ituaiga fou o nofoaga autu o faʻamatalaga i tausaga talu ai o le data lakehouse. O lo'o tu'ufa'atasia ai matā'upu 'ese'ese, e pei o fa'amatalaga fa'amatalaga, polokalame tatala-puna, fuafuaina ao, ma fa'asalalauga fa'asoa fa'asoa.
E mafai ai e pisinisi ona teu totonugalemu ituaiga uma o faʻamaumauga mai soʻo se nofoaga, faʻafaigofie le pulega ma auʻiliʻiliga. Data Lakehouse o se manatu manaia tele.
So'o se kamupani e iai sona tulaga fa'atauva'a tele pe a na maua le avanoa i se fa'amaumauga fa'amaumauga uma e vave ma lelei e pei o se faleteuoloa fa'amaumauga a'o fa'apea fo'i ona fetu'una'i e pei o se vaituloto fa'amaumauga.
O lo'o fa'atupu pea le manatu ma o lo'o tumau pea le fou. O se taunuuga, e ono umi se taimi e iloa ai pe mafai ona salalau atu se mea pe leai.
E tatau ona tatou fia iloa uma le itu o loo agai i ai le fausaga o Lakehouse.
Tuua se tali