He uaua pea ki te whai whakaaro ki nga ratonga katoa e waatea ana me nga whiringa hoahoanga ina whakaaro mo nga papaaho raraunga.
He maha nga wa kei roto i te papaaho raraunga hinonga he whare putunga raraunga, tauira raraunga, roto raraunga, me nga purongo, he kaupapa motuhake me te huinga o nga pukenga e hiahiatia ana. Engari, he hoahoa hou e kiia nei ko te data lakehouse kua puta mai i nga tau kua hipa.
Ko te whaihua o nga roto raraunga me te whakahaerenga raraunga whare putunga raraunga kua whakakotahihia ki roto i te hoahoanga rokiroki raraunga hurihuri kua tapaina he "whare moana raraunga."
Ka tirotirohia e matou te whare-roto raraunga i roto i tenei pou, tae atu ki ona waahanga, ahuatanga, hoahoanga me etahi atu waahanga.
He aha te Data Lakehouse?
E ai ki te ingoa, he momo hangahanga raraunga hou te whare roto raraunga e whakakotahi ana i te roto raraunga me te whare putunga raraunga hei whakaoti i nga ngoikoretanga o ia tangata.
Ko te tikanga, ka whakamahia e te punaha whare roto te rokiroki iti hei pupuri i te nui o nga raraunga ki o raatau ahua taketake, penei i nga roto raraunga. Ko te taapiri i te paparanga metadata ki runga ake o te toa ka hoatu he hanganga raraunga me te whakamana i nga taputapu whakahaere raraunga penei i era i kitea i roto i nga whare putunga raraunga.
Kei te rongoa i nga pukapuka nui o nga raraunga kua whakaritea, ahua-hanganga, kaore ano hoki i hangaia mai i nga momo tono pakihi, punaha me nga taputapu e whakamahia ana puta noa i to raatau whakahaere.
Ko te nuinga o nga wa, ka whakamahia e nga roto raraunga nga hanganga rokiroki utu iti me te atanga papatono tono konae (API) hei penapena raraunga i roto i nga whakatakotoranga konae tuwhera.
Ma tenei ka taea e nga roopu maha te uru ki nga raraunga kamupene katoa ma te punaha kotahi mo nga momo kaupapa, penei i te pūtaiao raraunga, akoranga mīhini, me te matauranga pakihi.
āhuatanga
- Te rokiroki utu iti. Me kaha te whare roto raraunga ki te penapena raraunga i roto i te rokiroki taonga iti, penei i Google Cloud Rokiroki, Azure Blob Rokiroki, Amazon Ratonga Rokiroki Maamaa, ma te whakamahi taketake ranei i te ORC, i te Parquet ranei.
- Te kaha mo te arotautanga raraunga: Ko te arotautanga tahora raraunga, te keteroki, me te taupū he tauira iti o te huarahi e taea ai e te whare roto raraunga te arotau i nga raraunga me te pupuri tonu i te whakatakotoranga taketake o te raraunga.
- He paparanga metadata tauwhitinga: I runga ake i te penapena utu iti, ka taea e tenei te kaha whakahaere raraunga tino nui mo te mahi whare putunga raraunga.
- Tautoko mo te Whakaputanga DataFrame API: Ka taea e te nuinga o nga taputapu AI te whakamahi i nga Raraunga Raraunga hei tiki i nga raraunga toa taonga mata. Ko te tautoko mo te Declarative DataFrame API ka piki ake te kaha ki te whakapai ake i te whakaaturanga me te hanganga o te raraunga hei whakautu ki etahi mahi putaiao raraunga, AI ranei.
- Tautoko mo nga tauwhitinga ACID: Ko te acronym ACID, e tohu ana mo te ngota, te rite, te wehe, me te mauroa, he waahanga nui ki te tautuhi i te tauwhitinga me te whakarite i te rite me te pono o nga raraunga. Ko enei whakawhitinga i mua ka taea anake i roto i nga whare putunga raraunga, engari ko te Ka tukuna e lakehouse te whiringa ki te whakamahi me nga roto raraunga ano hoki. Na te maha o nga paipa raraunga tae atu ki te panui me te tuhi i nga raraunga, ka whakatau tenei i te raru o te iti o te kounga raraunga o muri.
Huānga o Raraunga Lakehouse
Kua wehea te hoahoanga o te whare moana raraunga kia rua nga taumata matua kei te taumata teitei. Ko te whakaurunga raraunga o te paparanga rokiroki e whakahaeretia ana e te papaaho Lakehouse (ara, te roto raraunga).
Me kore e hiahia ki te uta i nga raraunga ki roto i te whare putunga raraunga, ki te huri ranei ki te whakatakotoranga rangatira, ka taea e te paparanga tukatuka te uiui i nga raraunga kei roto i te paparanga rokiroki ma te whakamahi i nga momo taputapu.
Na, ko nga taupānga BI, me nga hangarau AI me ML, ka taea te whakamahi i nga raraunga. Ko te ohaoha o te roto raraunga e whakaratohia ana e tenei hoahoa, engari na te mea ka taea e tetahi miihini tukatuka te panui i enei raraunga, ka whai mana nga umanga ki te whakauru i nga raraunga kua rite mo te tātari ma te whānuitanga o nga punaha. Ma te whakamahi i tenei tikanga mo te mahi tukatuka me te utu ka taea te whakapai ake ma te whakamahi i tenei tikanga mo te tukatuka me te tātari.
Na tana tautoko mo nga tauwhitinga raraunga e u ana ki nga paearu ACID e whai ake nei (te ngota, te rite, te wehe, me te mauroa), ka taea e te hoahoanga te maha o nga roopu ki te uru me te tuhi raraunga i te wa kotahi i roto i te punaha:
- Atomicity e tohu ana ko te katoa o te tauwhitinga, karekau ranei, ka angitu i te wa e whakaoti ana i tetahi tauwhitinga. Mena ka haukotia tetahi tukanga, ka awhina tenei ki te karo i te ngaronga raraunga, te pirau ranei.
- Te ōrite ka taurangi ka puta nga whakawhitiwhitinga i runga i te matapae, te riterite. Ka mau tonu te pono o nga raraunga ma te whakarite kia tika nga raraunga katoa i runga i nga ture kua whakaritea.
- Whakamotu ka whakarite, kia oti ra ano, karekau he tauwhitinga e pa ki etahi atu tauwhitinga i roto i te punaha. Ma tenei ka taea e nga roopu maha te panui me te tuhi mai i te punaha kotahi i te wa kotahi me te kore e pokanoa tetahi ki tetahi.
- mauroa ka taurangi ka noho tonu nga huringa ki nga raraunga i roto i tetahi punaha i muri i te otinga o te tauwhitinga, ahakoa he rahua te punaha. Ko nga whakarereketanga i puta mai i te tauwhitinga ka mau tonu ki te konae ake ake.
Raraunga Lakehouse Architecture
Ko nga Databricks (te kaiwhakaahua me te kaihoahoa o to raatau ariā Delta Lake) me AWS ko nga kaitautoko matua e rua mo te ariā o te whare moana raraunga. Ka whakawhirinaki tatou ki o raatau mohiotanga me o raatau mohio ki te whakaahua i te whakatakotoranga hoahoanga o nga whare roto.
E rima nga papahanga o te punaha whare roto raraunga:
- apa horomanga
- Paparanga rokiroki
- Paparanga metadata
- paparanga API
- Paparanga kai
apa horomanga
Ko te paparanga tuatahi o te punaha kei te whakahaere i te kohi raraunga mai i nga momo puna me te tuku ki te paparanga rokiroki. Ka taea e te paparanga te whakamahi i nga tikanga maha hei hono atu ki te maha o nga puna o roto, o waho hoki, tae atu ki te whakakotahi i te puranga me te whakawhiti i nga kaha tukatuka raraunga, penei i te
- Patengi raraunga NoSQL,
- nga hea kōnae
- Nga tono CRM,
- paetukutuku,
- Pūoko IoT,
- pāpāho pāpori,
- Nga tono Pūmanawa hei Ratonga (SaaS), me
- pūnaha whakahaere pātengi raraunga hononga, etc.
I tenei wa, ko nga waahanga penei i a Apache Kafka mo te whakawhiti raraunga me te Ratonga Migration Raraunga Amazon (Amazon DMS) mo te kawemai i nga raraunga mai i nga RDBMS me nga papaa raraunga NoSQL ka taea te whakamahi.
Paparanga rokiroki
Ko te hangahanga whare roto he mea kia taea ai te rokiroki o nga momo raraunga hei taonga i roto i nga toa taonga iti, penei i te AWS S3. Ma te whakamahi i nga whakatakotoranga konae tuwhera, ka taea e nga taputapu kiritaki te panui tika i enei taonga mai i te toa.
Ma tenei ka taea e te maha o nga API me nga waahanga paparanga kai te uru me te whakamahi i nga raraunga rite. Ko te paparanga metadata e pupuri ana i nga aronuinga mo nga huingararaunga kua oti te hanga me te ahua-hanganga kia taea ai e nga waahanga te whakamahi ki nga raraunga i a raatau e panui ana.
Hei tauira, ka taea te whakamahi i te papaaapapa o te Hadoop Distributed File System (HDFS), ki te hanga i nga ratonga penapena kapua e wehewehe ana i te rorohiko me te rokiroki i runga-whare. He pai rawa atu a Lakehouse mo enei ratonga.
Paparanga metadata
Ko te paparanga metadata te waahanga taketake o te whare roto raraunga e wehewehe ana i tenei hoahoa. He putumōhio kotahi e tuku metadata (nga korero mo etahi atu waahanga raraunga) mo nga taonga katoa e rongoa ana i roto i te roto ka taea e nga kaiwhakamahi te whakamahi i nga mana whakahaere penei:
- Ko te putanga riterite o te papaarangi ka kitea e nga tauwhitinga kotahi na nga tauwhitinga ACID;
- keteroki ki te tiaki i nga konae taonga taonga kapua;
- te taapiri i nga tohu hanganga raraunga ma te whakamahi i te taurangi kia tere ake te tukatuka patai;
- te whakamahi i te kape-kore ki te kape i nga taonga raraunga; a
- ki te rokiroki i etahi putanga o te raraunga, aha atu, whakamahia te whakaputanga raraunga.
I tua atu, ka taea e te paparanga metadata te whakatinanatanga o te whakahaere aronuinga, te whakamahi i nga topologies aronuinga DW penei i nga ahangahanga whetu/snowflake, me te whakarato i te mana whakahaere raraunga me te kaha ki te tirotiro tika i runga i te roto raraunga, hei whakarei ake i te pono o te paipa raraunga katoa.
Ko nga ahuatanga mo te whanaketanga aronuinga me te whakakaha kei roto i te whakahaere aronuinga. Ma te whakakore i nga tuhi karekau e tutuki ki te aronuinga o te ripanga, ka taea e te urunga aronuinga nga kaiwhakamahi ki te pupuri i te pono me te kounga.
Ko te whanaketanga aronuinga ka taea te whakarereke i te aronuinga o naianei o te ripanga hei whakauru i nga raraunga rereke. Na te atanga whakahaere kotahi kei runga ake o te roto raraunga, kei reira ano te mana uru me te arotake.
paparanga API
Ko tetahi atu paparanga nui o te hoahoanga kei tenei wa, kei te manaaki i te maha o nga API ka taea e nga kaiwhakamahi mutunga te whakamahi kia tere ake ai te mahi me te whiwhi tatauranga matatau.
Ma te whakamahi i nga API metadata ka ngawari ake te tautuhi me te uru atu ki nga taonga raraunga e hiahiatia ana mo tetahi tono.
Mo nga whare pukapuka ako miihini, ko etahi o ratou, penei i a TensorFlow me Spark MLlib, ka taea te panui i nga whakatakotoranga konae tuwhera penei i te Parquet me te uru tika ki te paparanga metadata.
I te wa ano, ko nga DataFrame API ka nui ake nga tupono mo te arotautanga, e taea ai e nga kaihōtaka te whakarite me te whakarereke i nga raraunga marara.
Paparanga kai
Ko te Power BI, Tableau, me etahi atu taputapu me nga taupānga kei te whakahaerehia i raro i te paparanga kai. Ma te hoahoa o te roto, ko nga metadata katoa me nga raraunga katoa e pupuri ana i roto i te roto ka uru ki nga tono a nga kaihoko.
Ka taea te whakamahi i te whare roto e nga kaiwhakamahi katoa i roto i tetahi kamupene ki te mahi i nga momo mahi katoa nga mahi tātari, tae atu ki te hanga papatohu mohio pakihi me te whakahaere i nga patai SQL me nga mahi ako miihini.
Nga Painga o Raraunga Lakehouse
Ka taea e nga whakahaere te hanga whare roto raraunga hei whakakotahi i o raatau papaaho raraunga o naianei me te arotau i a raatau mahi whakahaere raraunga katoa. Ma te wetewete i nga arai silo e hono ana i nga momo puna, ka taea e te whare roto raraunga te whakakapi i te hiahia mo nga otinga motuhake.
Ka whakatauritea ki nga puna raraunga kua oti te whakarite, ka puta mai tenei whakaurunga he tikanga mutunga-ki-mutunga tino whai hua. He maha nga painga o tenei:
- He iti ake te whakahaere: Engari i te tango raraunga mai i nga raraunga mata me te whakarite mo te whakamahi i roto i te whare putunga raraunga, ka taea e te whare roto raraunga nga punawai e hono ana ki a ia kia waatea me te whakarite mo te whakamahi.
- Te pikinga o te utu: Ka hangaia nga whare roto Raraunga ma te whakamahi i nga hanganga o naianei e wehewehe ana i te tatauranga me te rokiroki, he ngawari ki te whakawhānui i te rokiroki me te kore e piki ake te mana rorohiko. Ma te whakamahi noa i te rokiroki raraunga iti ka puta te whakahiatotanga he utu-utu.
- He pai ake te whakahaere raraunga: Ka hangaia nga whare roto Raraunga me te hoahoanga tuwhera kua whakaritea, kia kaha ake te mana whakahaere mo te haumarutanga, nga inenga, te urunga-a-turanga, me etahi atu waahanga whakahaere nui. Ma te whakakotahi i nga rauemi me nga puna raraunga, ka ngawari, ka whakarei ake i te mana whakahaere.
- Nga paerewa ngawari: I te mea i tino herea te hononga i te tekau tau atu i 1980, i te wa i whakawhanakehia tuatahi ai nga whare putunga raraunga, he maha nga wa i whakawhanakehia ai nga paerewa aronuinga i roto i nga umanga, tae noa ki nga tari. Ka whakamahia e nga whare roto Raraunga te meka he maha nga momo raraunga kua tuwhera nga paerewa mo te aronuinga ma te whakauru i nga puna raraunga maha me te aronuinga kakahu inaki hei whakamaarama i nga tikanga.
Nga huakore o Raraunga Lakehouse
Ahakoa nga puhoi katoa e karapoti ana i nga whare roto raraunga, he mea nui kia maumahara he hou tonu te whakaaro. Me ata tirohia nga ngoikoretanga i mua i te whakapau kaha ki tenei hoahoa hou.
- Hanganga monolithic: Ko te hoahoa whakauru katoa o te whare roto he maha nga painga, engari ka ara ake etahi raru. Ko te hoahoanga monolithic he maha nga wa e arahi ana ki nga ratonga ngoikore mo nga kaiwhakamahi katoa, he uaua, he uaua ki te pupuri. Ko te tikanga, ko nga kaihoahoa me nga kaihoahoa e pai ana ki te hoahoanga rerekee ka taea e ratou te whakarite mo nga momo keehi.
- Ko te hangarau kaore ano kia tae mai: ko te whainga whakamutunga ko te nui o te ako miihini me te matauranga mohio. I mua i te mahi o nga whare roto i runga i te whakaaro, me whakawhanake ake enei hangarau.
- Ehara i te pikinga nui i runga i nga hanganga o naianei: He nui tonu te whakaaro pohehe mo te nui ake o te uara o nga whare roto. E tohe ana etahi kaitukino ka taea e te hoahoa whare putunga roto te hono me nga taputapu aunoa e tika ana kia rite ki te pai.
Nga wero o Data Lakehouse
He uaua pea ki te tango i te tikanga whare-roto raraunga. Na te uaua o ona waahanga, kaore i te tika te tiro i te whare roto raraunga hei hanganga tino pai katoa, "kotahi papa mo nga mea katoa," mo te kotahi.
I tua atu, na te nui haere o te tango i nga roto raraunga, me neke nga umanga ki o raatau whare putunga raraunga o naianei ki a raatau, me te whakawhirinaki anake ki te oati mo te angitu kaore he painga ohaoha.
Mena ka puta he raru mo te wa roa, he koretake ranei puta noa i te tukanga whakawhiti, ka mutu pea te utu, te pau te wa, me te kore haumaru.
Me awhi nga kaiwhakamahi pakihi ki nga hangarau tino motuhake, e ai ki etahi o nga kaihoko e whakaatu ana i nga otinga hei hoko i nga otinga hei whare roto raraunga. Kaore pea enei e mahi me etahi atu taputapu e hono ana ki te roto raraunga kei te pokapū o te punaha, me te taapiri i nga take.
I tua atu, he uaua pea ki te tuku tātaritanga 24/7 i te wa e whakahaere ana i nga kawenga mahi-a-pakihi, e kii ana mo nga hanganga me te whakahekenga utu.
Opaniraa
Ko te momo hou o nga pokapū raraunga i nga tau tata nei ko te data lakehouse. Ka whakauruhia e ia nga momo mara, penei i te hangarau korero, te punaha tuwhera-puna, kapua rorohiko, me nga tikanga rokiroki toha.
Ka taea e nga pakihi te penapena i nga momo raraunga katoa mai i nga waahi katoa, ka ngawari te whakahaere me te tātari. Ko te Raraunga Lakehouse he kaupapa tino whakahihiri.
Ko nga umanga ka whai waahi whakataetae nui mena ka uru atu ki tetahi papaa raraunga katoa-i-kotahi he tere me te whai hua ano he whare putunga raraunga me te ngawari ano he roto raraunga.
Kei te whanake tonu te whakaaro me te noho hou tonu. Ko te mutunga, ka roa pea te wa ki te whakatau mena ka horapa whanui tetahi mea.
Me tino mohio tatou katoa mo te huarahi e ahu ana te hoahoanga o Lakehouse.
Waiho i te Reply