Fa'amaumauga vaituloto tu'ufa'atasia le faleteuoloa fa'amaumauga ma fa'amatalaga vaituloto mo pisinisi.
O mea faigaluega nei e mafai ai ona e fausia ni fa'amaumauga e teu ai fa'amatalaga tau-lelei e ala i le tu'ufa'atasia o agava'a fa'afoe o vaituloto fa'amaumauga ma fa'amaumauga fa'amaumauga o lo'o maua i faleteuoloa fa'amaumauga.
E le gata i lea, o loʻo i ai se faʻaitiitiga o faʻamatalaga femalagaiga ma le toe faʻaaogaina, itiiti le taimi e faʻaalu i le pulega, ma faʻapuupuu fuafuaga ma faʻasologa o faʻamaumauga o faʻamaumauga e avea ma mea moni.
O le tasi lakehouse faʻamaumauga e tele mea lelei pe a faʻatusatusa i se faiga e teu ai ma le tele o fofo.
O nei meafaigaluega o loʻo faʻaaogaina pea e saienitisi faʻamaumauga e faʻaleleia atili ai lo latou malamalama i pisinisi atamai ma faiga faʻaoga masini.
O lenei tusiga o le a vave ona vaʻavaʻai ile lakehouse faʻamaumauga, ona gafatia, ma meafaigaluega avanoa.
Folasaga i Data Lakehouse
O se ituaiga fou o faʻamaumauga faʻamaumauga e taʻua o le "fa'amatalaga lakehouse” e tu'ufa'atasia ai se vaituloto fa'amaumauga ma se faleteuoloa fa'amaumauga e fa'ailoa ai vaivaiga o ia ta'ito'atasi.
O le lakehouse system, e pei o vaituloto fa'amaumauga, e fa'aogaina le teuina o tau maualalo e teu ai le tele o fa'amaumauga i lona tulaga muamua.
O le faʻaopoopoga o se metadata layer i luga o le faleoloa e tuʻuina atu ai foʻi le faʻatulagaina o faʻamaumauga ma faʻamalosia meafaigaluega e pulea ai faʻamatalaga e tutusa ma mea o loʻo maua i fale teu oloa.
O loʻo iai le tele o faʻamaumauga faʻatulagaina, semi-faʻatulagaina, ma le le faʻatulagaina na maua mai pisinisi eseese, faiga, ma masini faʻaogaina i totonu o le atinaʻe.
O se taunuuga, e le pei o vaituloto faʻamatalaga, e mafai e le lakehouse system ona faʻatautaia ma faʻamalieina ia faʻamaumauga mo le faʻatinoga o SQL.
O lo'o iai fo'i le malosi e teu ma fa'agasolo ai le tele o fa'amaumauga eseese i se tau taugofie nai lo fale teu oloa.
O se fale vaituloto fa'amaumauga e sau e fa'aoga pe a mana'omia le fa'atinoina o so'o se fa'amatalaga fa'amatalaga po'o au'ili'iliga fa'asaga i so'o se fa'amaumauga ae e te le mautinoa i fa'amaumauga po'o au'ili'iliga fautuaina.
O le fausaga o le vaituloto o le a aoga lelei pe a fai e le o se popolega muamua.
E le faʻapea e tatau ona faʻavae lou fausaga atoa i luga o se vaituloto.
E mafai ona maua nisi fa'amatalaga ile auala e filifili ai se vaituloto fa'amaumauga, fale vaituloto, faleteuoloa fa'amaumauga, po'o fa'amaumauga fa'apitoa fa'amaumauga mo fa'aoga ta'itasi e mafai ona maua. iinei.
Fa'aaliga o Data Lakehouse
- Faitau fa'atasi ma le tusitusi
- Fetuuna'i ma scalability
- Fesoasoani fa'ata'ita'iga i meafaigaluega fa'atonutonu fa'amaumauga
- Faitau fa'atasi ma le tusitusi
- Teuga e taugofie
- E lagolagoina uma ituaiga fa'amaumauga ma faila faila.
- Avanoa i faʻamatalaga faasaienisi ma masini aʻoaʻoga meafaigaluega e sili ona lelei
- O au 'au fa'amatalaga o le a fa'amanuiaina mai le mauaina o le na'o le tasi le faiga e fa'afeiloa'i ai uta o galuega e sili atu ona vave ma sa'o.
- Taimi moni e mafai ona fa'atino i su'esu'ega fa'amaumauga, a'oa'oga masini, ma au'ili'iliga
Top 5 Data Lakehouse meafaigaluega
piliki faamatalaga
Databricks, lea na faavaeina e le tagata na muamua fausia Apache Spark ma faia Avanoa tatala, e tuʻuina atu se tautua Apache Spark faʻatautaia ma o loʻo faʻatulagaina o se faʻavae mo vaituloto faʻamatalaga.
O le vaituloto o fa'amatalaga, vaituloto o le delta, ma vaega afi afi o le fa'ata'ita'iga o le fale vaituloto o Databricks e mafai ai ona fa'atautaia le poto faapisinisi, fa'asaienisi fa'amatalaga, ma mataupu fa'aoga masini.
O le vaituloto o fa'amaumauga ose fale teu oloa lautele.
Fa'atasi ai ma le lagolago mo le fa'afoega o metadata, fa'asologa o fa'amaumauga o fa'amaumauga mo fa'amaumauga e tele-fa'atulagaina, su'esu'eina o fa'amaumauga, fa'atonuga saogalemu, ma fa'amaumauga SQL.
Ua ofoina mai e Databricks le tele o galuega e teu ai fa'amaumauga e ono fa'amoemoe e va'aia i totonu o se fa'amaumauga o vaituloto.
Databricks talu ai nei na faʻaalia ai lana Auto Loader, lea e faʻaaogaina ai le ETL ma faʻamatalaga faʻamatalaga ma faʻaogaina faʻataʻitaʻiga faʻamaumauga e faʻailoa ai le faʻataʻitaʻiga mo ituaiga faʻamatalaga eseese, ina ia mafai ai ona tuʻuina atu vaega taua o le taʻiala e teu ai le vaituloto.
I le isi itu, e mafai e tagata fa'aoga ona fausia laina paipa ETL i le va o la latou vaituloto fa'amatalaga lautele ma Delta Lake e fa'aaoga ai Delta Live Tables.
I luga o pepa, Databricks e foliga mai o loʻo i ai uma tulaga lelei, ae o le faʻatulagaina o le fofo ma le fatuina o ana paipa faʻamaumauga e manaʻomia ai le tele o tagata faigaluega mai tagata tomai faʻapitoa.
I le fua, o le tali foi e sili atu ona lavelave. E sili atu le lavelave nai lo le foliga mai.
Ahana
O le vaituloto o fa'amaumauga o se nofoaga e tasi, tutotonu e mafai ona e teuina ai so'o se ituaiga fa'amaumauga e te filifilia i le fua, e aofia ai fa'amaumauga e le'i fa'atulagaina ma fa'atulagaina. AWS S3, Microsoft Azure, ma Google Cloud Storage o vaituloto masani e tolu.
O vaituloto o fa'amaumauga e matua fiafia lava ona e matua taugofie ma faigofie ona fa'aoga; e mafai ona e teuina le tele o soʻo se ituaiga faʻamatalaga e te manaʻo ai mo se tupe itiiti.
Ae o le vaituloto o faʻamatalaga e le ofoina atu meafaigaluega faʻapipiʻi pei o auiliiliga, fesili, ma isi.
E te manaʻomia se suʻesuʻega afi ma faʻamaumauga faʻamaumauga i luga o le vaituloto o faʻamatalaga (lea e sau ai Ahana Cloud) e fesiligia au faʻamatalaga ma faʻaoga.
Faatasi ai ma le mea sili o le Data Warehouse ma le Data Lake, ua atiaʻe ai se mamanu fou o le lakehouse.
E fa'ailoa mai e manino, fetu'una'i, lelei tau/fa'atinoga, fua e pei o se vaituloto fa'amaumauga e lagolagoina fefa'atauaiga, ma e maualuga lona puipuiga e fa'atusa i se fale teu oloa.
O lau masini su'esu'e SQL maualuga o le fai'ai i tua o le Data Lakehouse. Ona o lenei mea, e mafai ona e faʻatinoina auʻiliʻiliga maualuga i luga o au faʻamatalaga vaituloto.
Ahana Cloud mo Presto o le SaaS mo Presto i luga o le AWS, e matua faigofie ai ona amata faʻaaoga Presto i le ao.
Mo lau vaituloto fa'amaumauga S3, ua uma ona iai le fa'amaumauga o fa'amaumauga a Ahana ma le fa'ailoga. E tu'uina atu e Ahana ia te oe foliga o Presto e aunoa ma le mana'omia o oe e fa'auluina le ulu aua e faia i totonu.
AWS Lake Formation, Apache Hudi, ma Delta Lake ua na o ni nai pule o fefaʻatauaiga o loʻo avea ma vaega o le faaputuga ma faʻatasi ai.
Dremio
O fa'alapotopotoga e saili e vave, faigofie, ma lelei le iloiloina o le aofa'i tele o fa'amaumauga vave fa'atupula'ia.
E talitonu Dremio o se vaituloto faʻamatalaga tatala e tuʻufaʻatasia faʻamanuiaga o vaituloto faʻamaumauga ma fale teu oloa i luga o se tulaga tatala o le auala sili lea e ausia ai lenei mea.
Dremio's lakehouse platform e maua ai se poto masani e aoga mo tagata uma, faʻatasi ai ma se UI faigofie e mafai ai e tagata faʻaoga ona faʻatumu auʻiliʻiliga i se vaega o le taimi.
Dremio Cloud, o se faʻatautaia atoatoa o faʻamaumauga o le vaituloto, ma le faʻalauiloaina o ni auaunaga fou se lua: Dremio Sonar, o le lakehouse query engine, ma Dremio Arctic, o se megastore atamai mo Apache Iceberg lea e tuʻuina atu se tulaga tulaga ese Git-pei o le vaituloto.
O galuega uma a le fa'alapotopotoga SQL e mafai ona fa'atautaia i luga o le fa'aogaina o le Dremio Cloud platform e leai se fe'ese'esea'i, lea e fa'autometi ai fo'i galuega tau fa'amaumauga.
E fausia mo SQL, ofoina atu se poto masani Git, e tatala punaoa, ma e leai se totogi.
Na latou faia e avea ma lakehouse platform e fiafia i ai 'au faʻamaumauga.
O le fa'aogaina o laulau matala ma faila faila e pei o Apache Iceberg ma Apache Parquet, o lo'o fa'aauau pea au fa'amatalaga i lau lava vaituloto fa'amaumauga pe a fa'aaoga le Dremio Cloud.
O fa'afouga i le lumana'i e mafai ona faigofie ona fa'aaogaina, ma e mafai ona filifili le afi sa'o e fa'atatau i lau galuega.
Snowflake
Snowflake ose fa'amaumauga o ao ma au'ili'ili fa'avae e mafai ona fa'amalieina mana'oga vaituloto ma faleteuoloa.
Na amata o se faʻamaumauga fale teu oloa faʻapipiʻiina i luga o atinaʻe ao.
O le faʻavae e aofia ai se fale teu oloa faʻapitoa o loʻo nofo i luga o le teuina o ao lautele mai le AWS, Microsoft Azure, poʻo le Google Cloud Platform (GCP).
O le mulimuli atu i lena mea o le tele-cluster computation layer, lea e mafai ai e tagata faʻaoga ona faʻalauiloa se fale teu oloa faʻamaumauga ma faʻatautaia fesili SQL e faasaga i le teuina o faʻamaumauga.
O le fausaga e mafai ai ona fa'amuta le teuina ma le fa'atulagaina o punaoa, e mafai ai e fa'alapotopotoga ona fua fa'atasi le lua pe a mana'omia.
Ma le mea mulimuli, Snowflake e tuʻuina atu se 'auʻaunaga faʻatasi ma metadata faʻavasegaina, pulega o punaoa, pulega faʻamaumauga, fefaʻatauaiga, ma isi vaega.
O fesoʻotaʻiga meafaigaluega a le BI, faʻatautaia o metadata, faʻatonuga avanoa, ma fesili SQL e naʻo ni nai faʻamatalaga fale teu oloa e sili atu le tulaga i le ofoina atu.
Snowflake, peitaʻi, e faʻatapulaʻaina i se masini suʻesuʻe faʻavae SQL e tasi.
O le i'uga, e fa'afaigofie ona fa'atino ae fa'aitiitia le fetuutuuna'i, ma e le'o iloa le va'aiga vaituloto tele-fa'ata'ita'iga.
E le gata i lea, aʻo leʻi mafai ona suʻeina pe suʻesuʻeina faʻamaumauga mai le teuina o ao, e manaʻomia e Snowflake pisinisi e utaina i totonu o se nofoaga e teu ai.
Ole fa'asologa ole fa'asologa o fa'amaumauga e mana'omia a'o le'i faia le ETL, tu'uina atu, ma le fa'avasegaina o fa'amaumauga a'o le'i su'esu'eina. O le fa'ateleina o nei faiga tusi lesona e fa'atiga ai.
O le isi filifiliga e foliga mai e fetaui lelei i luga o pepa ae o le mea moni, e ese mai le faʻamatalaga vaituloto mataupu faavae o faʻamatalaga faigofie faʻapipiʻi o le Snowflake's data lakehouse.
Oracle
Fa'aonaponei, matala fa'ailoga ua ta'ua o le "data lakehouse" e mafai ai ona teu, malamalama, ma au'ili'ili uma au fa'amaumauga.
Ole tele e sili ona fiafia i ai fa'amatalaga fa'amatalaga vaituloto fofo 'lautele ma fetuutuunai e tu'ufa'atasia ma le malosi ma le loloto o faleteuoloa fa'amaumauga.
Ole auivi fou ole AI ma au'aunaga AI na fausia muamua e mafai ona fa'aoga ile fale vaituloto ile Oracle Cloud Infrastructure (OCI).
E mafai ona galue ma isi ituaiga o faʻamatalaga aʻo faʻaogaina se vaituloto faʻamatalaga tatala. Ae o le taimi ma taumafaiga e manaʻomia e faʻatautaia ai e mafai ona avea ma faʻafitauli faifai pea.
OCI o loʻo ofoina atu le faʻatautaia atoatoa o punaoa tatala vaituloto i tau maualalo ma faʻaititia le pulega, e mafai ai ona e faʻamoemoeina le faʻaititia o tupe faʻaalu, sili atu le faʻaleleia ma le saogalemu, ma le gafatia e faʻapipiʻi uma au faʻamatalaga o loʻo i ai i se nofoaga e tasi.
O se vaituloto faʻamatalaga o le a faʻateleina le tau o faleteuoloa faʻamaumauga ma faleoloa, lea e taua mo pisinisi manuia.
E mafai ona toe maua mai fa'amaumauga e fa'aaoga ai le vaituloto mai le tele o nofoaga ma na'o le tasi le fesili SQL.
O polokalame ma mea faigaluega o lo'o i ai e maua le avanoa manino i fa'amaumauga uma e aunoa ma le mana'omia o fetuunaiga poʻo le mauaina o tomai fou.
iʻuga
O le faʻaofiina o faʻamatalaga lakehouse solutions o se ata o se faʻasologa tele i faʻamaumauga tetele, o le tuʻufaʻatasia lea o auʻiliʻiliga ma le teuina o faʻamaumauga i faʻamaumauga tuʻufaʻatasia e faʻateleina ai le tau o pisinisi mai faʻamaumauga aʻo faʻaititia le taimi, tau, ma le lavelave o le faʻaaogaina o tau.
Platforms e aofia ai Databricks, Snowflake, Ahana, Dremio, ma Oracle ua fesoʻotaʻi uma i le manatu o se "data lakehouse," ae e tofu i latou ma se seti tulaga ese o foliga ma se uiga e galue e pei o se fale teu oloa nai lo se vaituloto moni. atoa.
Pe a faʻatauina se fofo o se "data lakehouse," e tatau i pisinisi ona faʻaeteete i lona uiga moni.
E mana'omia e atina'e ona va'ava'ai i tala atu o fa'atauga fa'atau e pei o le "data lakehouse" ae va'ava'ai i fa'ailoga ta'itasi e filifili ai fa'amaumauga sili ona lelei e fa'alautele ma a latou pisinisi i le lumana'i.
Tuua se tali