Ko nga whare roto Raraunga e whakakotahi ana i te whare putunga raraunga me nga ariā roto raraunga mo nga umanga.
Ma enei taputapu ka taea e koe te hanga otinga rokiroki raraunga whai hua ma te whakakotahi i nga mana whakahaere o nga roto raraunga me te hoahoanga raraunga e kitea ana i roto i nga whare putunga raraunga.
I tua atu, he iti ake te hekenga me te whakahekenga o nga raraunga, he iti ake te wa e pau ana ki te whakahaere, a, he poto ake te hangahanga me nga tikanga whakahaere raraunga ka tino pono.
He maha nga painga o tetahi whare-roto raraunga ka whakaritea ki te punaha rokiroki me nga otinga maha.
Ko enei taputapu kei te whakamahia tonu e nga kaiputaiao raraunga hei whakapai ake i to raatau mohio ki nga mahi mohio pakihi me nga tikanga ako miihini.
Ma tenei tuhinga ka titiro tere ki te data lakehouse, ona kaha, me nga taputapu e waatea ana.
He kupu whakataki ki te Data Lakehouse
He momo hoahoanga raraunga hou e kiia nei he "whare puna raraunga” ka whakakotahi i te roto raraunga me te whare putunga raraunga hei whakatika takitahi i nga ngoikoretanga o ia tangata.
Ko te punaha whare roto, penei i nga roto raraunga, ka whakamahi i te penapena utu iti hei pupuri i te nui o nga raraunga ki tona ahua taketake.
Ko te taapiri o te paparanga metadata i runga ake o te toa ka whakarato ano i te hanganga raraunga me te whakamana i nga taputapu whakahaere raraunga e rite ana ki nga mea e kitea ana i roto i nga whare putunga raraunga.
Kei roto i te maha o nga raraunga hangahanga, ahua-hanganga, me te kore hanganga i whiwhi mai i nga momo tono pakihi, punaha me nga taputapu i whakamahia puta noa i te hinonga.
Ko te mutunga, kaore i rite ki nga roto raraunga, ka taea e te punaha roto te whakahaere me te arotau i aua raraunga mo te mahinga SQL.
Kei a ia ano te kaha ki te penapena me te tukatuka i te nui o nga raraunga kanorau i te utu iti ake i nga whare putunga raraunga.
Ka whai hua te whare roto raraunga ina hiahia koe ki te whakahaere i tetahi urunga raraunga, tātaritanga ranei ki tetahi raraunga engari kaore koe e tino mohio ki nga raraunga, ki nga tātaritanga ranei kua tohua.
Ka pai te mahi a te hoahoanga whare roto mena karekau te mahi i te kaupapa matua.
Ehara tena i te mea me tuu e koe to hanganga katoa ki runga i te whare roto.
Ka kitea etahi atu korero mo te kowhiri i te roto raraunga, te whare roto, te whare putunga raraunga, te papaaarangi tātaritanga motuhake ranei mo ia keehi whakamahi. ki konei.
Nga ahuatanga o te Raraunga Lakehouse
- Te panui me te tuhi raraunga kotahi
- Te urutau me te tauineine
- Te awhina mahere me nga taputapu whakahaere raraunga
- Te panui me te tuhi raraunga kotahi
- Te rokiroki e utu ana
- Ka tautokohia nga momo raraunga me nga whakatakotoranga konae.
- Te uru atu ki nga taputapu hangarau raraunga me nga taputapu ako miihini kua arotauhia
- Ka whai hua o roopu raraunga mai i te urunga ki te punaha kotahi ki te whakawhiti tere me te tika o nga mahi.
- Nga kaha-waahi mo nga kaupapa i roto i te pūtaiao raraunga, te ako miihini, me te tātari
Top 5 Raraunga Lakehouse taputapu
Papaaho
Databricks, i hangaia e te tangata nana i whakawhanake tuatahi a Apache Spark me te hanga tuwhera puna, e whakarato ana i te ratonga Apache Spark whakahaere me te tuunga hei papa mo nga roto raraunga.
Ko te roto raraunga, te roto delta, me nga waahanga miihini delta o te hangahanga whare roto o Databricks ka taea te mohio pakihi, te pūtaiao raraunga, me nga keehi whakamahi ako miihini.
Ko te roto raraunga he putunga putunga kapua mo te iwi.
Ma te tautoko mo te whakahaere metadata, te puranga me te tukatuka raraunga rerenga mo nga huinga huinga maha-hanganga, te kitenga raraunga, nga mana uru haumaru, me nga tātaritanga SQL.
Ko nga Databricks e tuku ana i te nuinga o nga mahi putunga raraunga e tumanakohia ana e te tangata ki te kite i roto i te papaaaranga roto raraunga.
Ina tata nei i hurahia e Databricks tana Auto Loader, e whakaaunoa ana i te ETL me te whakaurunga raraunga me te whakamahi i te tauira raraunga hei whakatau i te kaupapa mo nga momo momo raraunga, hei kawe i nga waahanga nui o te rautaki rokiroki roto raraunga.
Ka taea e nga kaiwhakamahi te hanga paipa ETL i waenga i o raatau roto raraunga kapua whanui me Delta Lake ma te whakamahi i nga Ripanga Delta Live.
I runga i te pepa, ko te ahua kei a Databricks nga painga katoa, engari ko te whakarite i te otinga me te hanga i ana pipeline raraunga me nui te mahi a te tangata mai i nga kaiwhakawhanake mohio.
I te tauine, ka uaua ake te whakautu. He uaua ake i te ahua.
Ahana
Ko te roto raraunga he waahi kotahi, kei te pokapū ka taea e koe te penapena i nga momo raraunga ka whiriwhiria e koe i te tauine, tae atu ki nga raraunga kore hanga me te hanganga. AWS S3, Microsoft Azure, me Google Cloud Storage e toru nga roto raraunga noa.
Ko nga roto Raraunga e tino paingia ana na te mea he tino utu me te ngawari ki te whakamahi; Ka taea e koe te penapena i nga momo raraunga katoa e pai ana koe mo te moni iti.
Engari kaore te roto raraunga e tuku taputapu hanga-i roto penei i te tātaritanga, uiui, aha atu.
Kei te hiahia koe ki te miihini uiui me te raarangi raraunga kei runga ake o te roto raraunga (kei te uru mai a Ahana Cloud) hei uiui i o raraunga me te whakamahi.
Na te mea pai rawa atu o te Raraunga Raraunga me te Roto Raraunga, kua whakawhanakehia he hoahoa whare roto raraunga hou.
E tohu ana tenei he maamaa, he urutau, he pai te utu/mahi, ko nga unahi penei i te roto raraunga e tautoko ana i nga whakawhitiwhitinga, me te nui o te haumarutanga e rite ana ki te whare putunga raraunga.
Ko to miihini uiui SQL mahi nui te roro kei muri i te Raraunga Lakehouse. Na tenei, ka taea e koe te mahi tātaritanga mahi-nui ki o raraunga roto raraunga.
Ko te Ahana Cloud mo Presto ko SaaS mo Presto i runga i te AWS, he maamaa noa te tiimata ki te whakamahi Presto i te kapua.
Mo to roto raraunga e ahu mai ana i te S3, kei a Ahana he putumōhio raraunga whakauru me te keteroki. Ka hoatu e Ahana ki a koe nga ahuatanga o Presto me te kore e tono ki a koe ki te hapai i te upoko na te mea kei roto i a koe.
AWS Lake Formation, Apache Hudi, me Delta Lake he torutoru noa iho o nga kaiwhakahaere tauwhitinga he waahanga o te puranga me te whakauru ki a ia.
Ko Dremio
Ka whai nga whakahaere ki te arotake tere, ngawari, me te whai hua te nui o nga raraunga tere piki haere.
E whakapono ana a Dremio ko te whare roto raraunga tuwhera e whakakotahi ana i nga painga o nga roto raraunga me nga whare putunga raraunga i runga i te tuwhera te huarahi pai ki te whakatutuki i tenei.
Ko te papa o roto o Dremio e whakarato ana i tetahi wheako e pai ana mo te katoa, me te UI ngawari e taea ai e nga kaiwhakamahi te whakaoti i nga tātaritanga i roto i te hautanga o te waa.
Ko Dremio Cloud, he papaa mo te roto rawa te whakahaere katoa, me te whakarewatanga o nga ratonga hou e rua: Dremio Sonar, he miihini uiui whare roto, me Dremio Arctic, he toa mega mohio mo Apache Iceberg e tuku ana i te wheako rite-Git motuhake mo te whare roto.
Ka taea te whakahaere i nga mahi SQL katoa o tetahi whakahaere i runga i te papaaho Dremio Cloud e kore e taupatupatu, e kore e mutu, e whakaaunoa ana i nga mahi whakahaere raraunga.
He mea hanga mo te SQL, he wheako rite-Git, he puna tuwhera, he kore utu i nga wa katoa.
Na ratou i hanga hei papaaaroto roto e kaingākautia ana e nga roopu raraunga.
Ma te whakamahi i te ripanga puna tuwhera me nga whakatakotoranga konae penei i a Apache Iceberg me Apache Parquet, ka mau tonu to raraunga ki roto i a koe ake rokiroki roto raraunga ina whakamahi ana i a Dremio Cloud.
Ka ngawari te tango i nga mahi hou a meake nei, ka taea te whiriwhiri i te miihini tika i runga i to taumahatanga mahi.
Snowflake
Ko te Snowflake he papaa raraunga kapua me te tātaritanga ka taea te whakatutuki i nga hiahia o nga roto raraunga me nga whare putunga.
I timata hei punaha putunga raraunga i hangaia i runga i nga hanganga kapua.
Kei roto i te papaaho he putunga putunga putunga e noho ana ki runga ake o te rokiroki kapua a te iwi mai i AWS, Microsoft Azure, Google Cloud Platform (GCP) ranei.
Whai muri i tera ko te paparanga tatau-maha, ka taea e nga kaiwhakamahi te whakarewa i tetahi whare putunga raraunga mariko me te whakahaere i nga patai SQL ki o raatau rokiroki raraunga.
Ka taea e te hoahoanga te wetewete i nga rauemi rokiroki me nga rauemi tatau, ka taea e nga whakahaere te whakatau i nga waahanga e rua kia rite ki te hiahia.
Ka mutu, ka whakaratohia e Snowflake he paparanga ratonga me te wehewehenga metadata, te whakahaere rauemi, te whakahaere raraunga, nga whakawhitinga, me etahi atu waahanga.
Ko nga hononga taputapu BI, te whakahaere metadata, nga mana uru, me nga patai SQL he iti noa nga mahi o te whare putunga raraunga e pai ana te turanga ki te tuku.
Ko te Snowflake, he mea here ki te miihini uiui-a-SQL hononga kotahi.
Ko te mutunga, ka ngawari ake te whakahaere engari he iti ake te urutau, a, kaore i te kitea te tirohanga o te roto raraunga tauira maha.
I tua atu, i mua i te rapu raraunga mai i te rokiroki kapua, ka tātarihia ranei, ka tono a Snowflake ki nga umanga kia utaina ki roto i te paparanga rokiroki.
Ko te tikanga tuku paipa raraunga a-ringa me hiahia te ETL i mua, te whakarato, me te whakatakotoranga raraunga i mua i te tirotirohia. Ko te whakanui ake i enei mahinga a-ringa ka pouri.
Ko tetahi atu whiringa ka kitea he pai ki runga pepa engari ko te tikanga, ka peka ke i te maapono o te roto raraunga mo te whakaurunga raraunga ngawari ko te whare roto raraunga a Snowflake.
Oracle
Ko te hoahoanga hou, tuwhera e mohiotia ana ko te "data lakehouse" ka taea te penapena, te maarama, me te tātari i o raraunga katoa.
Ko te whanui me te ngawari o nga rongoatanga puna tuwhera tino pai kua honoa ki te kaha me te hohonu o nga whare putunga raraunga.
Ka taea te whakamahi i nga angamahi AI hou me nga ratonga AI i hangaia me te whare roto raraunga i runga i te Oracle Cloud Infrastructure (OCI).
Ka taea te mahi me etahi atu momo raraunga i te wa e whakamahi ana i te roto raraunga puna tuwhera. Engari ko te wa me te kaha e hiahiatia ana ki te whakahaere i tera pea he raru tonu.
Ko te OCI e tuku ana i nga ratonga whare roto puna tuwhera tino whakahaere i nga reiti iti me te iti ake o te whakahaere, ka taea e koe te whakaaro he iti ake nga whakapaunga whakahaere, he pai ake te whakamaarama me te haumaru, me te kaha ki te whakakotahi i o raraunga katoa i te waahi kotahi.
Ka piki ake te uara o nga whare putunga raraunga me nga maakete, he mea nui ki nga umanga angitu.
Ka taea te tiki raraunga ma te whakamahi i te whare roto mai i nga waahi maha me te patai SQL kotahi.
Ko nga kaupapa me nga taputapu o naianei ka whiwhi urunga marama ki nga raraunga katoa me te kore e whakarereke, e whiwhi pukenga hou ranei.
Opaniraa
Ko te whakaurunga o nga otinga o te moana moana he whakaata i te ahua nui ake i roto i nga raraunga nui, ko te whakaurunga o te tātari me te rokiroki raraunga i roto i nga papahanga raraunga whakakotahi hei whakanui ake i te uara pakihi mai i nga raraunga i te wa e whakahekehia ana te wa, te utu, me te uaua o te tangohanga uara.
Ko nga papaaho tae atu ki nga Databricks, Snowflake, Ahana, Dremio, me Oracle kua hono katoa ki te whakaaro o te "whare roto raraunga," engari he huinga ahurei o ia waahanga me te kaha ki te mahi kia rite ki te whare putunga raraunga i te roto raraunga pono. hei katoa.
I te wa e hokona ana he otinga hei "whare moana raraunga," me tupato nga pakihi ki te tikanga o tena.
Me titiro nga umanga ki tua atu i nga kupu hokohoko penei i te "data lakehouse" me titiro ki nga ahuatanga o ia papaaho ki te kowhiri i te papaaho raraunga pai rawa atu ka whakawhānui me o raatau pakihi a meake nei.
Waiho i te Reply