Ripanga o Ihirangi[Huna][Whakaatu]
Ko nga kamupene kei te hopu i nga raraunga maha atu i nga wa katoa i te mea ka kaha ake te whakawhirinaki ki a raatau ki te whakamohio i nga whakataunga pakihi nui, te whakarei ake i nga tuku hua, me te whakarato ratonga kaihoko pai ake.
Na te nui o nga raraunga e hangaia ana i runga i te reiti taurapa, he maha nga painga o te kapua mo te tukatuka raraunga me te tātaritanga, tae atu ki te tauineine, te ti'aturi me te waatea.
I roto i te rauwiringa kaiao kapua, he maha ano nga taputapu me nga hangarau mo te tukatuka raraunga me te tātari. Ko nga momo e rua o nga hanganga rokiroki raraunga nui e whakamahia ana ko nga whare putunga raraunga me nga roto raraunga.
Ahakoa he iti ake te pai o te whakamahi i te roto raraunga i te mea kaore e taea e koe te uiui i te tauira me nga raraunga i te wa e tika ana, he moumou te whakamahi i te whare putunga raraunga mo te penapena raraunga.
Whe aha te momo hoahoanga kapua ka tohua e tatou?
Me whai whakaaro tatou ki nga ariā hou ake mo te whare roto raraunga, me noho pai ranei tatou ki nga here a te whare putunga, ki nga here ranei o te roto?
Ko tetahi hoahoanga rokiroki raraunga hou e kiia nei ko te "data lakehouse" ka whakakotahi i te urutau o nga roto raraunga me te whakahaerenga raraunga o nga whare putunga raraunga.
He mea nui te mohio ki nga momo tikanga rokiroki raraunga nui mo te hanga i te paipa rokiroki raraunga pono mo te mohio pakihi (BI), tātaritanga raraunga, me akoranga mīhini (ML) nga kawenga mahi, i runga i nga hiahia a to kamupene.
I roto i tenei pou, ka ata titiro tatou ki te Raraunga Raraunga, Raraunga Lake, me Raraunga Lakehouse, me nga painga, nga here me nga pai me nga huakore o era. Kia timata tatou.
He aha te Whare Putunga Raraunga?
Ko te whare putunga raraunga he putunga putunga raraunga e whakamahia ana e tetahi whakahaere ki te pupuri i te nui o nga raraunga mai i nga puna maha. Ka noho te whare putunga raraunga hei puna kotahi o te whakahaere mo te "pono raraunga" he mea nui ki te purongo me te tātari pakihi.
Ko te tikanga, ka whakakotahihia e nga whare putunga raraunga nga huinga raraunga hononga mai i te maha o nga puna, penei i te tono, te pakihi, me nga raraunga tauwhitinga, hei penapena i nga raraunga o mua. I mua i te utaina ki roto i te punaha putunga, ka hurihia nga raraunga ka horoia i roto i nga whare putunga raraunga kia taea ai te whakamahi hei puna kotahi mo te pono raraunga.
Na to raatau kaha ki te tuku tere i nga tirohanga pakihi mai i nga waahi katoa o te kamupene, ka haumi nga pakihi ki nga whare putunga raraunga. Ma te whakamahi i nga taputapu BI, nga kaihoko SQL, me etahi atu otinga tātaritanga iti ake (arā, te pūtaiao kore raraunga), kaitohutohu pakihi, ka taea e nga miihini raraunga, me nga kaihanga whakatau te uru ki nga raraunga mai i nga whare putunga raraunga.
He utu nui ki te pupuri i te whare putunga me te piki haere tonu o nga raraunga, a, kaore e taea e te whare putunga raraunga te whakahaere i nga raraunga mata, kaore ano i hangaia. I tua atu, ehara i te mea tino pai mo nga tikanga tātari raraunga matatau penei i te ako miihini me te whakatauira matapae.
Na te whare putunga raraunga, he tere ake nga whakautu patai me nga raraunga o te kounga teitei ake. Google Big Query, Amazon Redshift, Azure SQL Data warehouse, me Snowflake he ratonga kapua e waatea ana mo nga whare putunga raraunga.
Nga Painga o te Whare Putunga Raraunga
- Te whakanui ake i te kaha me te tere o te matauranga pakihi me nga kawenga mahi tātari raraunga: Ka whakapotohia e nga whare putunga raraunga te wa e hiahiatia ana mo te whakarite me te tātari raraunga. Ka taea e ratou te hono ngawari ki te taatai raraunga me nga taputapu mohio pakihi na te mea he pono, he rite tonu nga raraunga mai i te whare putunga raraunga. I tua atu, ko nga whare putunga raraunga ka penapena i te waa e hiahiatia ana mo te kohinga raraunga me te whakarato ki nga roopu te kaha ki te whakamahi raraunga mo nga purongo, papatohu, me etahi atu whakaritenga tātaritanga.
- Te whakanui ake i te rite, te kounga, me te paerewa o nga raraunga: Ka kohia e nga whakahaere nga raraunga mai i nga momo puna, tae atu ki nga kaiwhakamahi, nga hoko, me nga raraunga tauwhitinga. Ka taea e te umanga te whakawhirinaki ki nga raraunga mo nga whakaritenga pakihi na te mea ka whakahiatohia e te whare putunga raraunga nga raraunga rangatōpū ki roto i te ahua rite, te whakatakotoranga paerewa ka taea te mahi hei puna kotahi o te pono raraunga.
- Te whakarei ake i nga mahi whakatau: Ko te whare putunga raraunga ka pai ake te whakatau whakatau ma te tuku i tetahi toa tuuturu mo nga raraunga hou me nga raraunga tawhito. Ma te tukatuka raraunga i roto i nga whare putunga raraunga mo nga maaramatanga tika, ka taea e nga kaihanga whakatau te aromatawai i nga tupono, te mohio ki nga hiahia o te kaihoko, me te whakarei ake i nga taonga me nga ratonga.
- Te whakarato i te mohiotanga pakihi pai ake: Ko te whare putunga raraunga e hono ana i te aputa i waenga i nga raraunga mata nui, e kohia ana i nga wa katoa, me nga raraunga kua whakaritea e whakarato ana i nga tirohanga. Ka noho hei turanga mo te rokiroki raraunga a te whakahaere, ka taea e ia te whakautu i nga paatai uaua mo ana raraunga me te whakamahi i nga whakautu ki te whakatau i nga whakataunga pakihi.
Te herenga o te Whare Putunga Raraunga
- Te kore o te ngawari o nga raraunga: Ahakoa te pai o nga whare putunga raraunga ki te whakahaere i nga raraunga kua hangahia, ka taea e nga whakatakotoranga raraunga ahua-hanganga me te kore-hanganga penei i te tātari rangitaki, te roma, me nga raraunga paapori pāpori he wero mo ratou. Ma tenei ka taunaki nga whare putunga raraunga mo nga keehi whakamahi e pa ana ki te ako miihini me te mātauranga horihori uaua.
- He utu nui ki te whakauru me te tiaki: Ka taea e nga whare putunga raraunga te utu nui ki te whakauru me te pupuri. I tua atu, ko te whare putunga raraunga i te nuinga o te waa kaore i te pateko; kua koroheketia, me tiaki tonu, he utu nui.
AtAKi
- He maamaa te raraunga ki te rapu, ki te tiki, ki te patai.
- I te mea kua ma noa nga raraunga, he maamaa te whakarite raraunga SQL.
raruraru
- Ka kaha koe ki te whakamahi i tetahi kaihoko tātaritanga anake.
- He utu nui te tātari me te penapena i nga raraunga kaore i hangai, rere ranei.
He aha te Roto Raraunga?
Ko ia momo raraunga ka oatihia, ka taea e nga roto raraunga. He pai ki te whai raraunga i roto i te huarahi e waatea ana ki te pokapū me te waatea mo te panui.
Ko te roto raraunga he waahi putunga putunga, tino pai te urutau ki te pupuri i nga pukapuka maha o nga raraunga kua whakaritea me nga raraunga kaore ano kia mahia i roto i o raatau ahua kaore i te tukatukahia, kaore i whakarereketia, kaore ano kia whakahōputuhia.
Ka whakamahia e te roto raraunga tetahi hoahoanga papatahi me nga taonga kua rongoa i roto i tona ahuatanga kaore ano kia tukatukahia hei rokiroki raraunga, he rereke ki nga whare putunga raraunga, e penapena ana i nga raraunga hononga kua "kua horoia."
Ko nga roto Raraunga, he rereke ki nga whare putunga raraunga, he uaua ki te whakahaere i nga raraunga i roto i tenei whakatakotoranga, he pai te urutau, he pono, he utu utu hoki ka taea e nga hinonga te whiwhi matauranga ake mai i nga raraunga kore hanga.
I roto i nga roto raraunga, ka tangohia, ka utaina, ka hurihia te raraunga (ELT) mo nga kaupapa tātari, kaua ki te whakarite i te aronuinga, raraunga ranei i te wa o te kohikohi raraunga.
Te whakamahi i nga hangarau mo nga momo raraunga maha mai i nga taputapu IoT, pāpāho pāpori, me te whakawhiti raraunga, ka taea e nga roto raraunga te ako miihini me te tātari matapae.
I tua atu, ka taea e te kaiputaiao raraunga ka taea te tukatuka raraunga mata te whakamahi i te roto raraunga. Ko te whare putunga raraunga, i tetahi atu taha, he maamaa ake mo nga pakihi ki te whakamahi. He mea tino pai mo te whakaahuatanga kaiwhakamahi, ngā tātaritanga matapae, ako miihini, me etahi atu mahi.
Ahakoa he maha nga take kei roto i nga roto raraunga e pa ana ki nga whare putunga raraunga, he ngoikore te kounga o o raatau raraunga, he iti te tere o te patai. Hei taapiri, he taputapu taapiri mo nga kaiwhakamahi pakihi ki te whakahaere i nga patai SQL. Ko te roto raraunga he kino te hanganga ka pa ki tetahi take me te koretake o nga raraunga.
Nga painga o te Roto Raraunga
- Tautoko mo te maha o nga keehi ako miihini me nga keehi tono putaiao raraunga He ngawari ake te whakamahi i tetahi miihini rereke me nga huringa ako hohonu ki te hapai i nga raraunga i roto i nga roto raraunga mai i te mea kei te noho tuwhera nga raraunga.
- He painga nui te whai huatanga o nga roto Raraunga, e taea ai e koe te penapena raraunga i roto i nga whakatakotoranga, i nga papapāho me te kore e hiahiatia he kaupapa tatūkē. Ka taea te tautoko i nga keehi whakamahi raraunga a meake nei, ka taea hoki te wetewete i etahi atu raraunga mena ka waiho te raraunga ki tona ahuatanga taketake.
- Kia kore ai e penapena nga momo raraunga e rua i roto i nga momo horopaki, ka taea e nga roto raraunga te whakauru i nga raraunga hanganga me nga raraunga kore. Mo te rokiroki o nga momo momo raraunga whakahaere, ka tukuna he waahi kotahi.
- Ki te whakatauritea ki nga whare putunga raraunga tuku iho, he iti ake te utu o nga roto raraunga na te mea i hangaia hei pupuri i runga i nga taputapu taonga kore utu, penei i te rokiroki taonga, he iti ake te utu mo ia gigabyte kua penapena.
Te herenga o te Roto Raraunga
- He iti te whiwhinga o nga keehi tātaritanga raraunga me nga keehi mo te whakamahi matauranga pakihi: Ka kore e whakaritea nga roto Raraunga ki te kore e tino tiakina, he uaua ki te hono atu ki nga taputapu mohiotanga pakihi me nga taputapu tātari. I tua atu, i te wa e tika ana mo te ripoata me te whakamahi i nga keehi tātaritanga, he kore riterite nga hanganga raraunga me te ACID (te ngota, te rite, te wehe, me te mauroa) ka taea e te tautoko tauwhitinga te arahi ki te mahi uiui iti.
- Ko te rerekee o nga roto Raraunga ka kore e taea te whakakaha i te pono me te haumarutanga o nga raraunga, na te korenga o nga mea e rua. He uaua pea ki te whakawhanake i nga paerewa haumarutanga raraunga me nga paerewa whakahaere hei whakatutuki i nga momo raraunga tairongo, i te mea ka taea e nga roto raraunga te whakahaere i tetahi puka raraunga.
AtAKi
- Nga otinga e utu ana mo nga momo raraunga katoa.
- He kaha ki te hapai i nga raraunga kua whakaritea me te ahua-hanganga.
- He pai mo te tukatuka raraunga uaua me te roma.
raruraru
- Me hanga he paipa paipa.
- Hoatu he wa roa ki te raraunga kia taea te uiui.
- He wa roa ki te whakapumau i te pono me te kounga o nga raraunga.
He aha te Data Lakehouse?
Ko tetahi hoahoanga rokiroki raraunga nui e kiia nei ko te "data lakehouse" e whakakotahi ana i nga ahuatanga nui o nga roto raraunga me nga whare putunga raraunga. Ko o raraunga katoa, ahakoa he mea hanga, he ahua-hanganga, he kore-hanganga ranei, ka taea te penapena ki te waahi kotahi me te ako miihini pai rawa atu, te mohio pakihi, me nga kaha rerema ka taea te mihi ki te whare roto raraunga.
Ko nga roto Raraunga o nga momo katoa te waahi timatanga mo nga whare roto raraunga; i muri i tera, ka hurihia nga raraunga ki te whakatakotoranga Delta Lake (he paparanga rokiroki puna tuwhera e kawe mai ana i te pono ki nga roto raraunga).
Ko nga roto Raraunga me nga roto delta ka taea e te ACID nga tikanga tauwhitinga mai i nga whare putunga raraunga tikanga. Ko te tikanga, ka whakamahia e te punaha whare roto te rokiroki iti hei pupuri i te nui o nga raraunga ki o raatau ahua taketake, penei i nga roto raraunga.
Ko te taapiri i te paparanga metadata ki runga ake o te toa ka hoatu he hanganga raraunga me te whakamana i nga taputapu whakahaere raraunga penei i era i kitea i roto i nga whare putunga raraunga.
Ma tenei ka taea e nga roopu maha te uru atu ki nga raraunga kamupene katoa ma te punaha kotahi mo nga momo kaupapa, penei i te pūtaiao raraunga, te ako miihini, me te mohio pakihi.
Nga painga o te Raraunga Lakehouse
- Tautoko mo te maha atu o nga kawenga mahi: Hei whakahaere i nga tātaritanga maamaa, ka tukuna e nga whare roto raraunga nga kaiwhakamahi te uru tika ki etahi o nga taputapu mohio pakihi rongonui (Tableau, PowerBI). I tua atu, ka taea e nga kaiputaiao raraunga me nga miihini ako miihini te whakamahi i nga raraunga na te mea ka whakamahia e nga whare roto raraunga nga whakatakotoranga raraunga tuwhera (penei i te Parquet) me nga API me nga anga ako miihini, penei i te Python/R.
- Utu-taketake: Ka whakamahia e nga whare roto Raraunga nga otinga rokiroki ahanoa iti hei whakatinana i nga ahuatanga rokiroki utu-utu whai hua o nga roto raraunga. Ma te tuku otinga kotahi, ka whakakorehia e nga whare roto raraunga nga whakapaunga me te wa e pa ana ki te whakahaere i nga momo punaha rokiroki raraunga.
- Ko te hoahoa whare roto Raraunga e whakapumau ana i te kaupapa me te pono o nga raraunga, kia ngawari ake te hanga i nga punaha haumarutanga raraunga me nga punaha whakahaere. Te ngawari o putanga raraunga, te mana whakahaere, me te haumarutanga.
- Ko nga whare roto Raraunga e tuku ana i te papaaa rokiroki raraunga kotahi, maha e taea ai te whakauru i nga tono raraunga katoa a te kamupene, e whakaiti ana i te taarua raraunga. Ko te nuinga o nga pakihi e whiriwhiri ana i te otinga ranu na runga i nga painga o te whare putunga raraunga me te roto raraunga. Ko tenei rautaki, i tenei wa, ka nui te utu o te taapiri raraunga.
- Te tautoko o nga whakatakotoranga tuwhera. Ko nga whakatakotoranga tuwhera he momo konae ka taea te whakamahi e te maha o nga tono rorohiko, kei te watea whanuitia ana korero. E ai ki nga purongo, ka taea e Lakehouses te penapena raraunga i roto i nga whakatakotoranga konae noa penei i a Apache Parquet me ORC (Optimized Row Columnar).
Nga here o Raraunga Lakehouse
Ko te raru nui o te whare wai raraunga ko te mea he rangatahi tonu me te whakawhanake hangarau. Kare i te tino mohio mena ka tutuki i a ia ana mahi. I mua i te whakataetae o nga whare roto raraunga me nga punaha rokiroki raraunga-nui, ka roa pea nga tau.
Heoi, i runga i te tere e puta mai ana nga mahi hou, he uaua ki te kii mena karekau he punaha rokiroki raraunga rereke e whakakapi.
AtAKi
- Kei roto i tetahi papaahi nga raraunga katoa, ko te tikanga he iti ake nga ingoa kaihautu hei pupuri.
- Ko te ngota, te rite, te wehe, me te pakari kaore e pa.
- He tino utu nui ake.
- Kei roto i tetahi papaahi nga raraunga katoa, ko te tikanga he iti ake nga ingoa kaihautu hei pupuri.
- He ngawari ki te whakahaere, me te tere ki te whakatika i nga raru katoa
- Kia ngawari ake te hanga paipa
raruraru
- Ka roa pea te whakarite.
- He rangatahi rawa, he tawhiti rawa atu ki te tohu hei punaha rokiroki kua pumau.
Raraunga Raraunga Vs Raraunga Lake Vs Raraunga Lakehouse
Ko te whare putunga raraunga he hitori roa i roto i te matauranga umanga, purongo, me nga tono tātari, a ko te hangarau rokiroki raraunga nui tuatahi.
Ko nga whare putunga raraunga, i tetahi atu taha, he utu nui, he raruraru ki te whakahaere i nga raraunga kanorau me te kore hanganga, penei i te whakawhiti raraunga. Mo nga mahi ako miihini me nga mahi putaiao raraunga, i whakawhanakehia nga roto raraunga hei whakahaere i nga raraunga mata i roto i nga ahuatanga rereke mo te rokiroki utu.
Ahakoa e whai hua ana nga roto raraunga me nga raraunga kaore i hangaia, karekau ratou i nga kaha tauwhitinga ACID o nga whare putunga raraunga, na te mea he uaua ki te whakapumau i te riterite me te pono.
Ko te hoahoanga rokiroki raraunga hou, e kiia nei ko te "data lakehouse," ka whakakotahi i te ti'aturi me te rite o nga whare putunga raraunga me te utu me te urutau o nga roto raraunga.
Opaniraa
Hei whakatau, he uaua pea te hanga whare roto raraunga mai i te maatanga. I tua atu, ka tata koe ki te whakamahi i tetahi papaaho i hangaia kia taea ai e koe te whakatuwhera i te hangahanga whare moana.
No reira, kia tupato ki te tirotiro i te maha o nga ahuatanga me nga whakatinanatanga o ia turanga i mua i te hokonga. Ko nga kamupene e rapu ana i te otinga raraunga pakeke, hanganga me te aro ki te mohio pakihi me nga take whakamahi tātari raraunga ka taea te whakaaro ki tetahi whare putunga raraunga.
Heoi, ko nga hinonga e rapu ana i te otinga raraunga nui, utu nui ki te whakakaha i nga kawenga mahi mo te putaiao raraunga me te ako miihini i runga i nga raraunga kore hanga me whakaaro nga roto raraunga.
Whakaarohia he nui ake nga raraunga e hiahiatia ana e to pakihi kaore e taea e te whare putunga raraunga me nga hangarau roto raraunga, kei te rapu ranei koe i tetahi otinga hei whakauru i nga mahi tātaritanga me nga mahi ako miihini ki o raraunga. A whare puna raraunga he whiringa tika i roto i te ahuatanga.
Waiho i te Reply