Lisi o Mataupu[Natia][Fa'aali]
Kamupani o loʻo puʻeina faʻamatalaga sili atu nai lo se isi lava taimi aʻo latou faʻalagolago i ai e faʻailoa ai filifiliga taua pisinisi, faʻaleleia le ofoina atu o oloa, ma tuʻuina atu auaunaga sili atu mo tagata faatau.
Faatasi ai ma le aofaʻi o faʻamaumauga o loʻo fatuina i se fua faʻatatau, o le ao e ofoina atu le tele o mea lelei mo faʻamaumauga ma auʻiliʻiliga, e aofia ai le faʻalauteleina, faʻalagolago, ma le avanoa.
I le ao fa'anatura, o lo'o i ai fo'i le tele o mea faigaluega ma tekonolosi mo fa'amaumauga ma au'ili'iliga. O ituaiga e lua o fausaga tetele e teu ai faʻamatalaga e masani ona faʻaaogaina o faleteuoloa faʻamaumauga ma vaituloto faʻamaumauga.
E ui o le fa'aogaina o se vaituloto fa'amatalaga e le'o manaia talu ai e le mafai ona e fesiligia le fa'ata'ita'iga ma fa'amaumauga a'o talafeagai pea, o le fa'aaogaina o se faleteuoloa fa'amaumauga mo le fa'afefeina o fa'amaumauga e maumau.
Wo le a le ituaiga fausaga o ao tatou te filifilia?
Pe tatau ea ona tatou mafaufau i ni manatu fou mo le vaituloto o faamatalaga, pe tatau ona tatou faamalieina i tapulaa a le faleteuoloa po o tapulaa a le vaituloto?
O se fausaga fou e teu ai fa'amaumauga e ta'ua o le "data lakehouse" e tu'ufa'atasia le fetuutuuna'i o vaituloto fa'amaumauga ma le fa'afoega o fa'amaumauga o faleteuoloa fa'amaumauga.
O le malamalama i auala eseese e teu ai faʻamatalaga tetele e manaʻomia mo le fausiaina o se paipa faʻamautu faʻamaumauga mo pisinisi atamai (BI), faʻamaumauga faʻamaumauga, ma masini suʻesuʻe (ML) galuega mamafa, e fa'atatau i mana'oga a lau kamupani.
I lenei pou, o le a tatou vaʻavaʻai totoʻa ile Data Warehouse, Data Lake, ma Data Lakehouse, faʻatasi ai ma faʻamanuiaga, tapulaʻa faʻapea foʻi ma le lelei ma le le lelei o latou. Tatou amata.
O le a le Data Warehouse?
O se faleteuoloa fa'amaumauga ose fa'aputuga fa'amaumauga tutotonu o lo'o fa'aaogaina e se fa'alapotopotoga e fa'amauina le tele o fa'amaumauga mai le tele o fa'apogai. O se faleteuoloa fa'amaumauga e galue o se fa'apogai e tasi a le fa'alapotopotoga o le "fa'amatalaga moni" ma e taua i lipoti ma au'ili'iliga o pisinisi.
E masani lava, o faleteuoloa fa'amaumauga e tu'ufa'atasia fa'amaumauga feso'ota'iga mai le tele o fa'apogai, e pei o fa'aoga, pisinisi, ma fa'amatalaga tau fefa'ataua'iga, e teu ai fa'amaumauga fa'asolopito. Aʻo leʻi faʻapipiʻiina i totonu o le fale teu oloa, e suia faʻamaumauga ma faʻamamaina i totonu o faleteuoloa faʻamaumauga ina ia mafai ona faʻaaogaina e avea o se puna e tasi o faʻamatalaga moni.
Ona o lo latou gafatia e vave tuʻuina atu faʻamatalaga pisinisi mai vaega uma o le kamupani, o pisinisi e teu faʻafaigaluega i fale teu oloa. Faatasi ai ma le faʻaogaina o meafaigaluega a le BI, tagata faʻatau SQL, ma isi faʻafitauli faʻapitoa (faʻataʻitaʻiga, faʻasaienisi e leai ni faʻamatalaga) auʻiliʻili fofo, au suʻesuʻe pisinisi, enisinia fa'amaumauga, ma tagata fai fa'ai'uga e mafai ona maua fa'amaumauga mai faleteuoloa fa'amaumauga.
E taugata le tausia o se faleteuoloa ma le faʻateleina o le tele o faʻamaumauga, ma e le mafai e se fale teu oloa faʻamaumauga ona taulimaina faʻamatalaga mataʻutia pe le faʻatulagaina. E le gata i lea, e le o se filifiliga sili lea mo metotia auʻiliʻili faʻamatalaga faʻapitoa e pei o le aʻoaʻoina o masini poʻo le faʻataʻitaʻiina o faʻataʻitaʻiga.
O le mea lea, o se faleteuoloa faʻamaumauga, e maua ai tali vave o fesili ma faʻamaumauga o se tulaga maualuga. Google Big Query, Amazon Redshift, Azure SQL Data warehouse, ma Snowflake o 'auʻaunaga ao e avanoa mo fale teu oloa.
Fa'amanuiaga ole Faleoloa Fa'amaumauga
- Faʻateleina le lelei ma le saoasaoa o pisinisi atamai ma faʻamaumauga faʻamaumauga o galuega: O faleteuoloa fa'amaumauga e fa'apu'upu'u le taimi e mana'omia mo tapenaga ma au'ili'iliga o fa'amaumauga. E mafai ona faigofie ona latou fesoʻotaʻi atu i faʻamaumauga faʻamaumauga ma mea faigaluega faʻapitoa pisinisi talu ai o faʻamaumauga mai le faleteuoloa faʻamaumauga e faʻalagolago ma tumau. E le gata i lea, o faleteuoloa faʻamaumauga e faʻasaoina le taimi e manaʻomia mo le aoina o faʻamaumauga ma tuʻuina atu i 'au le tomai e faʻaoga ai faʻamatalaga mo lipoti, dashboards, ma isi auʻiliʻili manaʻoga.
- Faʻateleina le tutusa, lelei, ma faʻasalalauga faʻamaumauga: E aoina e faʻalapotopotoga faʻamaumauga mai faʻamatalaga eseese, e aofia ai tagata faʻaoga, faʻatau, ma faʻamatalaga fefaʻatauaʻiga. E mafai e le kamupani ona fa'atuatuaina fa'amaumauga mo mana'oga fa'apisinisi ona o fa'amaumauga fa'amaumauga e tu'ufa'atasia fa'amaumauga tu'ufa'atasi i se toniga, fa'atulagaina fa'ata'atia e mafai ona avea o se puna e tasi o fa'amatalaga moni.
- Fa'aleleia faiga fa'ai'uga lautele: O le teuina o faʻamaumauga e faʻafaigofie ai le faia o filifiliga sili atu e ala i le ofoina atu o se faleoloa faʻapitoa mo faʻamaumauga lata mai ma tuai. E ala i le fa'agaioiina o fa'amaumauga i faleteuoloa fa'amaumauga mo fa'amatalaga sa'o, e mafai e tagata fai fa'ai'uga ona su'esu'eina tulaga lamatia, malamalama i mana'oga o tagata o tausia, ma fa'aleleia oloa ma auaunaga.
- Tuuina atu le atamai pisinisi sili atu: Fa'amaumauga o faleteuoloa e feso'ota'i ai le va i le va tele o fa'amatalaga mata'utia, lea e masani ona aoina fa'atasi e pei o se mea moni, ma fa'amaumauga fa'atonu e maua ai fa'amatalaga. Latou te fai ma faavae mo le teuina o faʻamaumauga a se faʻalapotopotoga, e mafai ai ona tali fesili lavelave e uiga i ana faʻamaumauga ma faʻaoga tali e fai ai faʻaiuga pisinisi faʻamaonia.
Tapula'a o Fa'amaumauga o Fa'amaumauga
- Leai o faʻamatalaga fetuutuunai: E ui o faleteuoloa faʻamaumauga e sili atu i le taulimaina o faʻamaumauga faʻatulagaina, o faʻamaumauga semi-faʻatulagaina ma le le faʻatulagaina e pei o log analytics, faʻafefe, ma faʻamatalaga faʻasalalauga lautele e mafai ona luitauina mo i latou. Ole mea lea e fautuaina ai faleteuoloa faʻamaumauga mo faʻaoga mataupu e aofia ai le aʻoaʻoina o masini ma Atamai fa'apitoa faigata.
- E taugata e fa'apipi'i ma tausia: E mafai ona taugata faleteuoloa faʻamaumauga e faʻapipiʻi ma tausia. E le gata i lea, o le faleteuoloa faʻamaumauga e masani ona le faʻamautu; e matua ma mana'omia le tausiga faifaipea, lea e taugata.
tulaga e lelei
- O faʻamatalaga e faigofie ona suʻe, toe aumai, ma faʻafesili.
- O le a lava le umi o faʻamatalaga ua uma ona mama, e faigofie le saunia o faʻamatalaga SQL.
leaga
- Ua fa'amalosia oe e fa'aaoga na'o le tasi le au fa'atau fa'atau.
- E taugata tele le su'esu'eina ma le teuina o fa'amaumauga e le'i fa'atulagaina pe tafe.
O le a le Data Lake?
O ituaiga uma o faʻamatalaga e folafola ma faʻataunuʻuina e ala i vaituloto faʻamaumauga. E aoga le i ai o fa'amaumauga i se auala e mafai ona maua i le ogatotonu ma avanoa mo le faitau.
O le vaituloto o fa'amaumauga ose nofoaga tu'ufa'atasi, e matua'i fetu'una'i e teu ai le tele o voluma o fa'amaumauga fa'amaopoopo ma le fa'atulagaina o lo'o teuina i totonu o latou fomu e le'i fa'aogaina, e le'i suia, ma e le'i fa'atulagaina.
O le vaituloto faʻamatalaga e faʻaaogaina se fausaga mafolafola ma mea e teuina i lona tulaga e leʻi faʻaogaina e teu ai faʻamaumauga, e ese mai i faleteuoloa faʻamaumauga, e faʻasaoina ai faʻamatalaga fesoʻotaʻiga na muamua "faʻamamaina."
Fa'amatalaga vaituloto, fa'afeagai ma faleteuoloa fa'amaumauga, e faigata ona fa'atautaia fa'amaumauga i lenei fa'atulagaga, e mafai ona fetuuna'i, fa'atuatuaina, ma taugofie ma fa'ataga ai atina'e e maua le fa'alauteleina o fa'amatalaga mai fa'amaumauga e le'i fa'atulagaina.
I vaituloto o fa'amaumauga, o fa'amaumauga e maua mai, utaina, ma suia (ELT) mo fa'amoemoega au'ili'ili nai lo le fa'amauina o le fa'asologa po'o fa'amaumauga i le taimi o le aoina o fa'amaumauga.
Faʻaaogaina tekinolosi mo le tele o ituaiga faʻamatalaga mai masini IoT, ala o faasalalauga faaleagafesootai, ma fa'asalalauina fa'amaumauga, vaituloto fa'amaumauga e mafai ai ona a'oa'oina masini ma su'esu'ega fa'apitoa.
E le gata i lea, o se saienitisi faʻamatalaga e mafai ona faʻatautaia faʻamatalaga mataʻutia e mafai ona faʻaogaina le vaituloto o faʻamatalaga. O se fale teu oloa, i le isi itu, e faigofie mo pisinisi ona faʻaoga. E lelei atoatoa mo fa'amatalaga fa'aoga, vailaau faʻatatau, a'oa'oga masini, ma isi galuega.
E ui lava o vaituloto faʻamatalaga e faʻafeiloaʻi le tele o faʻafitauli i fale teu oloa, e le lelei a latou faʻamaumauga ma e le lava le saoasaoa o latou fesili. E le gata i lea, e manaʻomia ni meafaigaluega faʻaopoopo mo tagata faʻapisinisi e faʻatautaia fesili SQL. O se vaituloto fa'amaumauga e le lelei le fa'atulagaina e ono o'o i se fa'afitauli ile fa'aletonu o fa'amaumauga.
Fa'amanuiaga ole Data Lake
- Lagolago mo le tele o aʻoaʻoga masini ma faʻamatalaga faʻasaienisi mataupu faʻaoga E sili atu ona faigofie le faʻaogaina o se masini ese ma algorithms aʻoaʻoga loloto e faʻatautaia ai faʻamatalaga i vaituloto o faʻamatalaga talu ai o faʻamaumauga o loʻo teuina i se auala matala.
- Ole fa'aogaina ole vaituloto o fa'amaumauga, lea e mafai ai ona e teuina fa'amaumauga i so'o se faatulagaga po'o ala fa'asalalau e aunoa ma le mana'omia mo se fa'atulagaina fuafuaga, ose mea lelei tele. E mafai ona lagolagoina mataupu fa'aoga fa'amatalaga i le lumana'i, ma e mafai ona su'esu'eina nisi fa'amatalaga pe a tu'u fa'amaumauga i lona tulaga muamua.
- Ina ia aloese mai le teuina o ituaiga uma o faʻamatalaga i tulaga eseese, o vaituloto o faʻamaumauga e mafai ona aofia uma ai faʻamaumauga faʻatulagaina ma le faʻatulagaina. Mo le teuina o ituaiga eseese o faʻamatalaga faʻalapotopotoga, latou te ofoina atu se nofoaga e tasi.
- Pe a faatusatusa i faleteuoloa faʻamaumauga masani, o vaituloto faʻamaumauga e taugofie ona o loʻo fausia ina ia teu i luga o mea tau oloa taugofie, e pei o le teuina o mea, lea e masani ona faʻaogaina mo se tau maualalo ile gigabyte teuina.
Tapula'a o Data Lake
- Fa'amatalaga fa'amatalaga ma fa'amatalaga fa'apisinisi e fa'aogaina mataupu e le lelei le togi: Fa'amaumauga vaituloto e mafai ona le fa'atulagaina pe a le lelei le tausiga, lea e faigata ai ona fa'afeso'ota'i i pisinisi atamai ma meafaigaluega au'ili'ili. E le gata i lea, pe a manaʻomia mo lipoti ma auʻiliʻili faʻaoga mataupu, o le leai o se faʻaauau faʻamaumauga faʻamaumauga ma le ACID (atomicity, consistency, isolation, and durability) transactional support e mafai ona ta'ita'i atu ai i le fa'atinoga o fesili suboptimal.
- O le le tutusa o fa'amaumauga o vaituloto e le mafai ai ona fa'amalosia le fa'alagolagoina ma le saogalemu o fa'amaumauga, lea e i'u ai i le leai o mea uma e lua. Atonu e faigata ona atia'e le saogalemu o fa'amaumauga talafeagai ma tulaga tau pulega e fa'atatau i ituaiga fa'amaumauga ma'ale'ale, talu ai e mafai e vaituloto o fa'amaumauga ona taulimaina so'o se fomu fa'amaumauga.
tulaga e lelei
- Fofo e taugofie mo ituaiga uma o fa'amaumauga.
- Mafai ona fa'atautaia fa'amaumauga e fa'amaopoopo ma semi-fa'atulagaina.
- Lelei mo faʻamatalaga lavelave ma faʻafefe.
leaga
- Manaomia se paipa fa'apitoa e fau.
- Tu'u atu fa'amatalaga sina taimi e fa'afesili ai.
- E alu le taimi e fa'amautinoa ai le fa'atuatuaina ma le lelei o fa'amaumauga.
O le a le Data Lakehouse?
O se tala fa'akomupiuta tele-fa'amaumauga fa'amaumauga e ta'ua o le "data lakehouse" e tu'ufa'atasia vaega sili o vaituloto fa'amaumauga ma faleteuoloa fa'amaumauga. O au faʻamaumauga uma, pe faʻatulagaina, semi-faʻatulagaina, poʻo le le faʻatulagaina, e mafai ona teuina i se nofoaga e tasi ma le sili ona lelei aʻoaʻoga masini, atamai pisinisi, ma le faʻaogaina o gafatia e mafai ona faʻafetai i se fale vaituloto faʻamatalaga.
Fa'amatalaga vaituloto o ituaiga uma e masani lava o le amataga mo fale vaituloto faamatalaga; ina ua mavae lena, o le faamatalaga ua liua i le Delta Lake faatulagaga (o se nofoaga e teu ai punaoa tatala lea e aumaia ai le faatuatuaina i vaituloto faamatalaga).
Fa'amatalaga vaituloto fa'atasi ai ma vaituloto delta e mafai ai e ACID fa'agaioiga fefa'ataua'iga mai faleteuoloa fa'amaumauga masani. O le mea moni, o le lakehouse system e faʻaogaina ai le teuina taugofie e faʻamautu ai le tele o faʻamaumauga i totonu o latou foliga muamua, e pei lava o vaituloto faʻamaumauga.
O le fa'aopoopoina o le metadata layer i luga o le faleoloa e tu'uina atu ai fo'i le fa'atulagaina o fa'amaumauga ma fa'amalosia ai meafaigaluega e fa'atautaia ai fa'amaumauga e pei o mea o lo'o maua i faleteuoloa fa'amaumauga.
O le mea lea e mafai ai e le tele o 'au ona maua fa'amatalaga uma a le kamupani e ala i se faiga e tasi mo le tele o fuafuaga, e pei o su'esu'ega fa'asaienisi, a'oa'oga masini, ma le atamai tau pisinisi.
Fa'amanuiaga ole Data Lakehouse
- Lagolago mo le tele o le tele o galuega: Ina ia faʻafaigofie auʻiliʻiliga faʻapitoa, fale vaituloto faʻamaumauga e tuʻuina atu i tagata faʻaoga avanoa saʻo i nisi o mea sili ona lauiloa i le atamai pisinisi (Tableau, PowerBI). E le gata i lea, e faigofie ona faʻaogaina e saienitisi faʻamaumauga ma masini aʻoaʻoga faʻamatalaga talu ai o fale vaituloto o faʻamaumauga e faʻaogaina faʻamatalaga tatala-faʻamatalaga (pei o le Parquet) faʻatasi ma API ma faʻavae aʻoaʻoga masini, pei ole Python/R.
- Tau-lelei: Fa'amatalaga lakehouses fa'aogaina ni fofo taugofie mo le teuina o mea e fa'atino ai uiga fa'aputuga taugofie o vaituloto fa'amaumauga. E ala i le ofoina atu o se vaifofo e tasi, o fa'amaumauga lakehouses e fa'aumatia ai fo'i tupe fa'aalu ma taimi e feso'ota'i ma le fa'afoeina o faiga fa'amaumauga eseese.
- Fa'amatalaga lakehouse mamanu fa'amautinoaina le fa'atulagaina ma le fa'amaoni o fa'amaumauga, e fa'afaigofie ai le fausia lelei o fa'amaumauga ma faiga tau pulega. Faigofie o fa'amatalaga fa'amatalaga, pulega, ma le saogalemu.
- Data lakehouses ofo atu se tasi, multipurpose data storage platform e mafai ona faʻaogaina uma faʻamaumauga a le kamupani, lea e faʻaitiitia ai le faʻaluaina o faʻamaumauga. O le tele o pisinisi e filifilia se fofo faʻafefiloi ona o faʻamanuiaga o le faleteuoloa faʻamaumauga ma le vaituloto faʻamatalaga. O lenei ta'iala, i le taimi nei, e mafai ona i'u ai i le taugata tele o fa'amaumauga.
- Le lagolago o faʻasalalauga tatala. O fa'asologa tatala o ituaiga faila e mafai ona fa'aogaina e le tele o polokalama faakomepiuta ma o latou fa'amatalaga o lo'o avanoa lautele. E tusa ai ma lipoti, e mafai e Lakehouses ona teuina faʻamaumauga i faila masani e pei o Apache Parquet ma ORC (Optimized Row Columnar).
Tapulaa o Data Lakehouse
O le fa'aletonu tele a le data lakehouse o lo'o la'ititi pea ma fa'atupuina tekonolosi. E le o mautinoa pe o le a faataunuuina ana tautinoga o se taunuuga. A'o le'i mafai ona tauva fa'amaumauga vaituloto ma faiga fa'amautu fa'amaumauga tetele, e ono tele tausaga e alu ai.
Ae ui i lea, ona o le fua o loʻo tupu ai faʻaonaponei faʻaonaponei, e faigata ona fai atu pe a le toe suia e se isi faiga e teu ai faʻamatalaga.
tulaga e lelei
- E tasi le tulaga o loʻo i ai faʻamaumauga uma, o lona uiga e itiiti ni igoa talimalo e tausia.
- E le afaina le Atomicity, faifaipea, tuto'atasi, ma le malosi.
- E matua sili atu le taugofie.
- E tasi le tulaga o loʻo i ai faʻamaumauga uma, o lona uiga e itiiti ni igoa talimalo e tausia.
- Fa'afaigofie ona pulea, ma vave fo'ia so'o se fa'afitauli
- Fa'afaigofie ona fau se paipa
leaga
- O le setiina atonu e umi se taimi.
- E la'ititi tele ma mamao tele e agava'a ai e avea o se faiga fa'amautu e teu ai.
Faleteuoloa Fa'amaumauga Vs Vaituloto Vs Fale Vaituloto
O le faleteuoloa faʻamaumauga e iai se talaʻaga umi i faʻasalalauga faʻapitoa, lipoti, ma auʻiliʻili talosaga ma o le muamua tele-faʻamatalaga tekonolosi tekonolosi.
O faleteuoloa faʻamaumauga, i le isi itu, e taugata ma e iai faʻafitauli i le taulimaina o faʻamatalaga eseese ma le le faʻatulagaina, e pei o le tafeina o faʻamaumauga. Mo le a'oa'oina o masini ma galuega fa'asaienisi fa'amaumauga, na fa'atupuina vaituloto e pulea fa'amatalaga mata'utia i ituaiga eseese i le teuina taugofie.
E ui lava ina aoga vaituloto faʻamaumauga i faʻamaumauga e leʻi faʻatulagaina, latou te le maua le gafatia tau fefaʻatauaʻiga a le ACID o faleteuoloa faʻamaumauga, ma avea ai ma luʻitau le faʻamautinoaina o faʻamaumauga tumau ma faʻalagolago.
O le fausaga fou e teu ai fa'amaumauga, ua ta'ua o le "data lakehouse," e tu'ufa'atasia ai le fa'alagolago ma le fa'atumauina o faleteuoloa fa'amaumauga ma le gafatia ma le fetuutuuna'i o vaituloto fa'amaumauga.
iʻuga
I le faaiuga, o le fausiaina o se vaituloto faʻamatalaga mai le amataga atonu e faigata. E le gata i lea, o le a mautinoa lava e te faʻaaogaina se faʻavae ua mamanuina e mafai ai ona tatala faʻamatalaga lakehouse architecture.
O le mea lea, fa'aeteete e su'esu'e le tele o foliga ma fa'atinoga o fa'avae ta'itasi a'o le'i faia se fa'atau. Kamupani o loʻo suʻeina se fofo faʻamaumauga faʻapitoa ma faʻatulagaina faʻatasi ma le taulaʻi i le atamai pisinisi ma faʻamatalaga faʻamatalaga faʻaogaina mataupu e mafai ona mafaufau i se fale teu oloa.
Ae ui i lea, o pisinisi o loʻo suʻeina se fofo faʻamatalaga tetele ma taugofie i le mamafa o galuega mo faʻamatalaga faasaienisi ma masini aʻoaʻoga i luga o faʻamaumauga e le faʻatulagaina e tatau ona mafaufau i vaituloto faʻamaumauga.
Mafaufau e manaʻomia e lau pisinisi nisi faʻamatalaga e sili atu nai lo le faleteuoloa faʻamaumauga ma faʻamatalaga vaituloto e mafai ona tuʻuina atu, pe o loʻo e sailia se fofo e tuʻufaʻatasia auʻiliʻiliga faʻapitoa ma faʻaogaina masini aʻoaʻoga i au faʻamatalaga. A fa'amatalaga lakehouse o se filifiliga atamai i le tulaga.
Tuua se tali