Cov ntaub ntawv lakehouses muab cov ntaub ntawv khaws cia thiab cov ntaub ntawv pas dej cov ntsiab lus rau kev lag luam.
Cov cuab yeej no tso cai rau koj tsim cov ntaub ntawv khaws nyiaj tau zoo los ntawm kev sib txuas cov peev txheej tswj xyuas cov ntaub ntawv pas dej nrog cov ntaub ntawv architecture pom hauv cov ntaub ntawv warehouses.
Tsis tas li ntawd, muaj kev txo qis hauv cov ntaub ntawv tsiv teb tsaws thiab rov ua dua, siv sijhawm tsawg dua rau kev tswj hwm, thiab luv dua schema thiab cov txheej txheem tswj hwm cov ntaub ntawv tau dhau los ua qhov tseeb.
Ib cov ntaub ntawv lakehouse muaj ntau qhov zoo dua piv rau lub kaw lus cia nrog ntau qhov kev daws teeb meem.
Cov cuab yeej no tseem siv los ntawm cov kws tshawb fawb cov ntaub ntawv los txhim kho lawv txoj kev nkag siab ntawm kev lag luam txawj ntse thiab cov txheej txheem kev kawm tshuab.
Kab lus no yuav saib ceev ceev ntawm cov ntaub ntawv lakehouse, nws cov peev xwm, thiab cov cuab yeej muaj.
Taw qhia rau Data Lakehouse
Ib hom tshiab ntawm cov ntaub ntawv architecture hu ua "data lakehouse"ua ke cov ntaub ntawv pas dej thiab lub tsev khaws ntaub ntawv los daws qhov tsis muaj zog ntawm txhua tus ntawm nws tus kheej.
Lub pas dej ua ke, zoo li cov ntaub ntawv pas dej, siv tus nqi qis kom khaws cov ntaub ntawv loj hauv nws daim ntawv qub.
Qhov sib ntxiv ntawm cov txheej txheem metadata nyob rau sab saum toj ntawm lub khw tseem muab cov qauv ntaub ntawv thiab txhawb nqa cov ntaub ntawv tswj hwm cov cuab yeej zoo ib yam li cov uas pom hauv cov ntaub ntawv warehouses.
Nws muaj cov ntaub ntawv loj heev ntawm cov qauv, ib nrab, thiab cov ntaub ntawv tsis tsim nyog tau txais los ntawm ntau yam kev lag luam, cov tshuab, thiab cov khoom siv siv thoob plaws hauv kev lag luam.
Yog li ntawd, tsis zoo li cov ntaub ntawv pas dej, lub pas dej ua ke tuaj yeem tswj hwm thiab ua kom zoo dua cov ntaub ntawv rau SQL kev ua haujlwm.
Nws kuj tseem muaj peev xwm khaws thiab ua cov ntaub ntawv ntau ntau ntawm tus nqi pheej yig dua li cov ntaub ntawv warehouses.
Cov ntaub ntawv lakehouse tuaj yeem ua ke thaum koj xav tau ua tiav cov ntaub ntawv nkag lossis tshuaj xyuas tawm tsam cov ntaub ntawv tab sis tsis paub meej ntawm cov ntaub ntawv lossis cov kev ntsuas pom zoo.
Lub pas dej architecture yuav ua haujlwm zoo heev yog tias kev ua haujlwm tsis yog qhov kev txhawj xeeb tseem ceeb.
Qhov ntawd tsis txhais tau hais tias koj yuav tsum ua raws li koj cov qauv tag nrho ntawm lub pas dej.
Xav paub ntau ntxiv txog yuav ua li cas xaiv ib lub pas dej, lakehouse, cov ntaub ntawv warehouse, los yog cov ntaub ntawv tshwj xeeb analytics rau txhua rooj plaub tuaj yeem pom no.
Nta ntawm Data Lakehouse
- Concurrent cov ntaub ntawv nyeem thiab sau ntawv
- Adaptability thiab scalability
- Schema pab nrog cov cuab yeej tswj xyuas cov ntaub ntawv
- Concurrent cov ntaub ntawv nyeem thiab sau ntawv
- Kev khaws cia uas pheej yig
- Txhua hom ntaub ntawv thiab cov ntaub ntawv tawm tswv yim txhawb nqa.
- Kev nkag mus rau cov ntaub ntawv tshawb fawb thiab cov cuab yeej kawm tshuab uas ua kom zoo
- Koj cov ntaub ntawv pab pawg yuav tau txais txiaj ntsig los ntawm kev nkag mus rau tsuas yog ib qho kev hloov pauv haujlwm los ntawm nws sai dua thiab raug.
- Lub sijhawm muaj peev xwm tiag tiag rau kev pib hauv cov ntaub ntawv tshawb fawb, kev kawm tshuab, thiab kev tshuaj xyuas
Sab saum toj 5 Data Lakehouse cov cuab yeej
Cov Ntaub Ntawv
Databricks, uas tau tsim los ntawm tus neeg uas xub tsim Apache Spark thiab ua nws Qhib qhov chaw, muab kev tswj hwm Apache Spark kev pabcuam thiab tau muab tso ua lub platform rau cov ntaub ntawv pas dej.
Cov ntaub ntawv pas dej, lub pas dej delta, thiab delta engine Cheebtsam ntawm Databricks lakehouse architecture ua rau kev lag luam txawj ntse, cov ntaub ntawv tshawb fawb, thiab kev siv tshuab siv.
Lub pas dej cov ntaub ntawv yog qhov chaw khaws huab huab pej xeem.
Nrog kev txhawb nqa rau kev tswj hwm metadata, batch thiab kwj cov ntaub ntawv ua rau ntau cov txheej txheem cov ntaub ntawv, kev tshawb pom cov ntaub ntawv, kev tswj xyuas kev nyab xeeb, thiab SQL analytics.
Databricks muaj feem ntau ntawm cov ntaub ntawv khaws cia ua haujlwm ib qho yuav xav pom hauv cov ntaub ntawv lakehouse platform.
Databricks tsis ntev los no tau nthuav tawm nws Auto Loader, uas automates ETL thiab cov ntaub ntawv tawm tswv yim thiab siv cov ntaub ntawv piv txwv los txiav txim siab rau ntau hom ntaub ntawv, txhawm rau xa cov khoom tseem ceeb ntawm cov ntaub ntawv pov thawj lub tswv yim.
Hloov pauv, cov neeg siv tuaj yeem tsim ETL cov kav dej ntawm lawv cov ntaub ntawv huab huab huab cua thiab Delta Lake siv Delta Live Tables.
Ntawm daim ntawv, Databricks zoo li muaj tag nrho cov txiaj ntsig, tab sis teeb tsa cov kev daws teeb meem thiab tsim nws cov ntaub ntawv kav dej yuav tsum muaj ntau tus neeg ua haujlwm los ntawm cov neeg tsim khoom txawj.
Ntawm qhov ntsuas, cov lus teb kuj yuav nyuaj dua. Nws yog qhov nyuaj tshaj qhov nws zoo li.
Ahana
Lub pas dej cov ntaub ntawv yog ib qho chaw hauv nruab nrab uas koj tuaj yeem khaws txhua yam ntaub ntawv koj xaiv ntawm qhov ntsuas, suav nrog cov ntaub ntawv tsis tsim nyog thiab cov txheej txheem. AWS S3, Microsoft Azure, thiab Google Cloud Storage yog peb lub pas dej ua ke.
Cov ntaub ntawv pas dej yog qhov zoo kawg nkaus nyiam vim lawv pheej yig heev thiab yooj yim siv; koj tuaj yeem khaws cia ntau yam ntawm cov ntaub ntawv raws li koj nyiam rau nyiaj tsawg heev.
Tab sis lub pas dej cov ntaub ntawv tsis muaj cov cuab yeej built-in xws li analytics, query, thiab lwm yam.
Koj xav tau lub cav nug thiab cov ntaub ntawv teev npe saum toj ntawm lub pas dej cov ntaub ntawv (qhov twg Ahana Cloud tuaj) los nug koj cov ntaub ntawv thiab siv nws.
Nrog rau qhov zoo tshaj plaws ntawm Data Warehouse thiab Data Lake, cov ntaub ntawv tshiab tsim tsim tau tsim.
Qhov no qhia tau hais tias nws yog pob tshab, hloov tau, muaj tus nqi zoo / kev ua tau zoo, ntsuas zoo li cov ntaub ntawv pas dej txhawb nqa kev lag luam, thiab muaj kev ruaj ntseg siab piv rau cov ntaub ntawv warehouse.
Koj qhov kev ua tau zoo SQL query cav yog lub hlwb tom qab Data Lakehouse. Vim li no, koj tuaj yeem ua tiav cov kev ua haujlwm siab ntawm koj cov ntaub ntawv pas dej.
Ahana Cloud rau Presto yog SaaS rau Presto ntawm AWS, ua rau nws yooj yim heev kom pib siv Presto hauv huab.
Rau koj lub pas dej S3-raws li cov ntaub ntawv, Ahana twb muaj cov ntaub ntawv teev tseg thiab caching. Ahana muab rau koj Presto cov yam ntxwv yam tsis tas yuav tsum tau koj los tswj cov nyiaj siv ua haujlwm vim nws ua nws sab hauv.
AWS Lake Formation, Apache Hudi, thiab Delta Lake tsuas yog qee tus ntawm cov thawj tswj kev lag luam uas yog ib feem ntawm pawg thiab koom nrog nws.
Dremio
Cov koom haum nrhiav kom sai, yooj yim, thiab ua tau zoo soj ntsuam cov ntaub ntawv loj hlob sai.
Dremio ntseeg hais tias qhib cov ntaub ntawv lakehouse sib txuas cov txiaj ntsig ntawm cov ntaub ntawv pas dej thiab cov ntaub ntawv warehouses ntawm lub hauv paus qhib yog txoj hauv kev zoo tshaj plaws los ua kom tiav qhov no.
Dremio's lakehouse platform muab cov kev paub ua haujlwm rau txhua tus, nrog rau UI yooj yim uas tso cai rau cov neeg siv ua tiav cov kev tshuaj xyuas hauv ib feem ntawm lub sijhawm.
Dremio Cloud, lub tuam txhab tswj hwm cov ntaub ntawv tag nrho ntawm lub pas dej, thiab kev tshaj tawm ob qhov kev pabcuam tshiab: Dremio Sonar, lub tshuab lakehouse query engine, thiab Dremio Arctic, ib qho kev txawj ntse megastore rau Apache Iceberg uas muab qhov tshwj xeeb Git zoo li kev paub rau lub pas dej.
Tag nrho ntawm ib lub koom haum SQL workloads tuaj yeem khiav ntawm qhov tsis muaj kev sib txhuam, qhov kawg ntawm kev ua kom tiav Dremio Cloud platform, uas tseem ua haujlwm tswj cov ntaub ntawv.
Nws yog tsim rau SQL, muaj kev paub zoo li Git, qhib qhov chaw, thiab ib txwm pub dawb.
Lawv tsim nws los ua lub lakehouse platform uas cov ntaub ntawv pab pawg nyiam.
Siv cov lus qhib thiab cov ntaub ntawv tawm tswv yim xws li Apache Iceberg thiab Apache Parquet, koj cov ntaub ntawv tseem nyob hauv koj tus kheej cov ntaub ntawv hauv pas dej thaum siv Dremio Cloud.
Cov kev hloov tshiab yav tom ntej tuaj yeem tau txais yuav yooj yim, thiab lub cav tsim nyog tuaj yeem xaiv raws li koj qhov kev ua haujlwm.
Paj daus
Snowflake yog huab cov ntaub ntawv thiab kev tshuaj ntsuam xyuas platform uas tuaj yeem ua tau raws li cov ntaub ntawv pas dej 'thiab cov tsev khaws khoom' xav tau.
Nws pib raws li cov ntaub ntawv warehouse system ua rau huab infrastructure.
Lub platform muaj xws li lub hauv paus chaw khaws cia uas nyob rau saum huab cua pej xeem los ntawm AWS, Microsoft Azure, lossis Google Cloud Platform (GCP).
Tom qab ntawd yog txheej txheej ntau pawg, uas cov neeg siv tuaj yeem tsim lub tsev khaws ntaub ntawv virtual thiab ua cov lus nug SQL tiv thaiv lawv cov ntaub ntawv khaws cia.
Lub architecture tso cai rau decoupling cia thiab suav cov peev txheej, tso cai rau cov koom haum los ntsuas ob tus kheej li xav tau.
Thaum kawg, Snowflake muab cov txheej txheem kev pabcuam nrog metadata categorization, kev tswj hwm kev pabcuam, kev tswj xyuas cov ntaub ntawv, kev hloov pauv, thiab lwm yam nta.
BI cov cuab yeej txuas, kev tswj hwm metadata, kev tswj hwm kev nkag, thiab SQL cov lus nug tsuas yog qee qhov ntawm cov ntaub ntawv khaws cia ua haujlwm uas lub platform ua tau zoo ntawm kev muab.
Snowflake, txawm li cas los xij, raug txwv rau ib qho kev sib txheeb SQL-based query engine.
Yog li ntawd, nws yooj yim dua rau kev tswj hwm tab sis hloov tau tsawg dua, thiab cov ntaub ntawv ntau lub pas dej tsis pom kev tsis pom.
Tsis tas li ntawd, ua ntej cov ntaub ntawv los ntawm huab cia tuaj yeem tshawb xyuas lossis txheeb xyuas, Snowflake xav kom cov lag luam thauj khoom mus rau hauv cov txheej txheem cia hauv nruab nrab.
Cov txheej txheem kev xa cov ntaub ntawv phau ntawv yuav tsum tau ua ntej ETL, kev npaj, thiab cov ntaub ntawv formatting ua ntej nws tuaj yeem kuaj xyuas. Kev ntsuas cov txheej txheem phau ntawv no ua rau lawv ntxhov siab.
Lwm qhov kev xaiv uas zoo nkaus li zoo haum rau ntawm daim ntawv tab sis qhov tseeb, deviates los ntawm cov ntaub ntawv pas dej hauv paus ntsiab lus ntawm cov ntaub ntawv yooj yim nkag yog Snowflake cov ntaub ntawv lakehouse.
Oracle
Niaj hnub no, qhib architecture hu ua "cov ntaub ntawv lakehouse" ua rau nws tuaj yeem khaws, nkag siab, thiab txheeb xyuas tag nrho koj cov ntaub ntawv.
Qhov zoo tshaj plaws nyiam qhib cov ntaub ntawv pas dej daws qhov dav thiab qhov yooj yim yog ua ke nrog lub zog thiab qhov tob ntawm cov ntaub ntawv warehouses.
Cov qauv AI tshiab tshaj plaws thiab cov kev pabcuam AI tau tsim ua ntej tuaj yeem siv nrog cov ntaub ntawv lakehouse ntawm Oracle Cloud Infrastructure (OCI).
Nws muaj peev xwm ua hauj lwm nrog ntau hom ntaub ntawv thaum siv lub pas dej qhib cov ntaub ntawv. Tab sis lub sijhawm thiab kev siv zog xav tau los tswj nws tuaj yeem yog qhov tsis zoo tsis tu ncua.
OCI muaj kev tswj hwm kev qhib qhov chaw hauv pas dej ntawm tus nqi qis thiab nrog kev tswj tsawg dua, tso cai rau koj los cia siab tias yuav txo qis kev siv nyiaj, kev ua kom zoo dua qub thiab kev ruaj ntseg, thiab lub peev xwm los sib sau tag nrho koj cov ntaub ntawv uas twb muaj lawm hauv ib qhov chaw.
Cov ntaub ntawv lakehouse yuav ua rau kom tus nqi ntawm cov ntaub ntawv warehouses thiab marts, uas yog qhov tseem ceeb rau cov lag luam ua tiav.
Cov ntaub ntawv tuaj yeem rov qab tau siv lub pas dej los ntawm ntau qhov chaw nrog ib qho lus nug SQL xwb.
Cov kev pab cuam thiab cov cuab yeej uas twb muaj lawm tau txais kev nkag mus rau tag nrho cov ntaub ntawv tsis tas yuav hloov kho lossis tau txais kev txawj tshiab.
xaus
Kev taw qhia ntawm cov ntaub ntawv lakehouse cov kev daws teeb meem yog qhov kev xav ntawm qhov sib txawv loj hauv cov ntaub ntawv loj, uas yog kev sib koom ua ke ntawm kev txheeb xyuas thiab cov ntaub ntawv khaws cia hauv cov ntaub ntawv sib koom ua ke kom ua kom muaj txiaj ntsig ua lag luam los ntawm cov ntaub ntawv thaum txo lub sijhawm, tus nqi, thiab qhov nyuaj ntawm cov nqi rho tawm.
Platforms suav nrog Databricks, Snowflake, Ahana, Dremio, thiab Oracle tau tag nrho txuas rau lub tswv yim ntawm "cov ntaub ntawv lakehouse," tab sis lawv txhua tus muaj cov txheej txheem tshwj xeeb thiab nyiam ua haujlwm zoo li cov ntaub ntawv khaws cia ntau dua li cov ntaub ntawv muaj tseeb. tag nrho.
Thaum cov kev daws teeb meem tau ua lag luam raws li "cov ntaub ntawv lakehouse," cov lag luam yuav tsum ceev faj txog qhov nws txhais tau li cas.
Cov lag luam yuav tsum tau saib tshaj li kev lag luam jargon zoo li "cov ntaub ntawv lakehouse" thiab hloov mus rau hauv txhua lub platform cov yam ntxwv los xaiv cov ntaub ntawv zoo tshaj plaws platform uas yuav nthuav dav nrog lawv cov lag luam yav tom ntej.
Sau ntawv cia Ncua