Na te nui haere o te tātaritanga raraunga me te whakahaere raraunga ki nga umanga, he mea tika te whakataurite o nga papaaho raraunga Snowflake me Databricks mo te maakete o enei ra.
Me whai tikanga nga whakahaere ki te kohikohi i nga raraunga katoa e tika ana kia arotakehia ki tetahi waahi ka taea te reri mo te keri raraunga i te mea ka piki haere te nui o nga raraunga hei ako.
Karekau he feaa, ko nga punaha raraunga-a-kapua rongonui a Snowflake me Databricks he kaiarahi ahumahi. Ko tehea turanga raraunga, heoi, he pai mo to kamupene?
Ko te nui, te tere, me te kounga e hiahiatia ana e nga tono matauranga pakihi e whakaratohia ana e Snowflake me Databricks.
Ahakoa he rereke, he maha ano nga whakarara. He ahua motuhake to ratou, ka kitea ina ata tirotirohia.
I whakapumautia e nga kaihanga o Apache Spark te pakihi rorohiko rorohiko Databricks.
He rongonui mo te whakakotahi i nga ahuatanga nui o nga roto raraunga me te nga whare putunga raraunga ki te hoahoanga whare roto.
Ko te pakihi putunga raraunga a Snowflake e tuku ana i nga ratonga rokiroki-kapua me nga ratonga uru me te iti o te raru. Ka whakatauhia e ia tana tuunga hei otinga e tuku urunga haumaru ki o raraunga me te hiahia kia iti te tiaki.
Ko tenei tuhinga e tuku ana ki a koe he whakataurite mo te Snowflake vs. Raraunga me te whakamarama i nga painga o ia hua kia taea ai e koe te whakatau ko wai te mea pai mo to pakihi. Kia timata ta ratou korero whakataki.
he aha te mea Snowflake?
Ko te Snowflake he ratonga whakahaere katoa e tuku ana ki nga kaihoko te whakahiatotanga tata ki te whakahiatotanga o nga kawenga mahi mo te whakaurunga raraunga ngawari, te uta, te tātari me te tiritahi.
Roto Raraunga, Hangarau Raraunga, Whanaketanga Taupānga Raraunga, Pūtaiao Raraunga, me te whakamahi haumaru o nga raraunga tiritahi etahi o ana whakamahinga angamaheni.
Ko te rorohiko me te rokiroki ka wehea e te hoahoa motuhake a Snowflake.
Ma te awhina o tenei hoahoanga, ka taea e koe te uru atu ki o kaiwhakamahi katoa me nga uta mahi raraunga ki te kape kotahi o to raraunga me te kore e pa ki nga paanga mahi kino.
Mo te wheako kaiwhakamahi rite tonu, ka taea e Snowflake koe te whakahaere i to otinga raraunga ma te kore e kitea puta noa i nga waahi rereke me nga Kapua.
Ma te tango i te uaua o nga hanganga Kapua o raro, ka taea e Snowflake.
Ko te Maakete Raraunga Snowflake, he maha nga whiringa ki te taunekeneke me nga mano o nga kaihoko Snowflake, ka taea hoki e koe te uru atu ki nga huingararaunga tiritahi me nga ratonga raraunga.
āhuatanga
- He pai ake te whakatau i runga i nga raraunga: Ma te Snowflake, ka taea e koe te whakakore i nga silos raraunga me te whakarato i nga tangata katoa o te pakihi ki te uru ki nga tirohanga whai hua. He mahi nui tenei mo te whakapakari i nga hononga hoa, te arotau i te utu, te tapahi i nga whakapaunga e pa ana ki nga mahi, te whakapiki i te whai huatanga o te hoko, me era atu mea.
- Whakapai ake i te tere me te kounga o te tātaritanga: Ka taea e koe te whakakaha i to paipa tātaritanga me te Snowflake ma te huri mai i nga kawenga puranga o te po ki nga awa raraunga tuuturu. Ma te tuku i nga tangata katoa o to pakihi kia noho haumaru, kia noho tahi, kia uru ki to whare putunga raraunga, ka taea e koe te whakapai ake i te kounga o nga tātaritanga i te mahi. Ma tenei ka whakaiti i nga whakapaunga me nga mahi a-ringa, ka taea e nga umanga te tohatoha rawa i nga rawa ki te whakanui ake i nga moni whiwhi.
- Te whakawhiti raraunga me te whakaritenga: Ka taea e koe te hanga i a koe ake whakawhiti raraunga me te Snowflake, ka taea e koe te tuku ora, nga raraunga kua whakaritea ma te haumaru. I tua atu, he hihiri ki te whakawhanake i nga hononga raraunga kaha ake me nga hoa, nga kaihoko, me etahi atu waahanga pakihi. Ka tutuki tenei ma te whiwhi tirohanga 360-tohu o to kaihoko, e tuku korero ana mo nga ahuatanga nui o nga kaihoko tae atu ki nga hiahia, nga mahi, me te maha atu.
- Hua Nui ake me nga wheako Kaiwhakamahi: Ka taea e koe te mohio ki te whanonga a te kaiwhakamahi me te whakamahi hua me te Snowflake kei te waahi. I tua atu, ka taea e koe te whakamahi i te huinga raraunga katoa ki te makona i nga kaihoko, te whakanui ake i to raina hua, me te whakatairanga i te auahatanga pūtaiao raraunga.
- Haumaru Nui: Ka taea te whakauru i nga raraunga herenga me te haumaru ipurangi ki roto i te roto raraunga haumaru. Ko te tauhohenga maiki tere ka whakamanahia e nga roto raraunga hukarere. Ko te whakakotahi i te maha o nga raraunga rangitaki ki te waahi kotahi me te arotake tere mo nga tau o nga raraunga rangitaki, ka taea e koe te tiki i te pikitia katoa o tetahi takanga. Ka taea te whakakotahi i nga raarangi hangahanga me nga raraunga hinonga kua hangai ki roto i te roto raraunga kotahi. Ki te kore he tohu tohu, ka taea e Snowflake koe te kuhu i to waewae ki te kuaha i te wa e ngawari ana te whakatika me te whakarereke i nga raraunga ina kua kawemai mai.
he aha te mea Papaaho?
Ko te Databricks he papaa raraunga i runga i te kapua i peia e Apache Spark. E aro nui ana ki nga Raraunga Raraunga Nui me te Mahi tahi.
Ka taea e koe te whakarato mokowāmahi Pūtaiao Raraunga katoa mo Kaitätari Pakihi, Nga Kairangataiao Raraunga, me nga Kaihanga Raraunga ki te taunekeneke ma te whakamahi i te Waa Ako Miihini a Databricks, te whakahaere ML Flow, me nga Pukatuhituhi Mahi tahi.
Ko nga Raraunga Raraunga me nga whare pukapuka Spark SQL, e taea ai e koe te whakahaere i nga raraunga hanganga, kei te Databricks.
I tua atu i te awhina i a koe ki te hanga Intelligence Artificial nga otinga, he ngawari noa iho a Databricks ki te whakatau whakatau mai i o raraunga o naianei.
I tua atu, ka tukuna e Databricks etahi momo whare pukapuka mo akoranga mīhini, tae atu ki a Tensorflow, Pytorch, me etahi atu, mo te hanga me te whakangungu i nga tauira ako miihini.
He maha nga kaihoko pakihi e whakamahi ana i nga Databricks ki te kawe i nga tikanga whakangao nui puta noa i te tini o nga keehi whakamahi me nga waahanga, tae atu ki te Tiaki Hauora, Media & Whakangahau, Ratonga Putea, Hokohoko, me era atu.
āhuatanga
- Te moana o Delta: He paparanga rokiroki tauwhitinga a Databricks he tuwhera-puna me te hoahoa kia whakamahia puta noa i te huringa ora raraunga katoa. Ka taea te whakamahi i tenei paparanga ki te whakarato i te tauinenga raraunga me te pono ki to roto raraunga o naianei.
- Pukatuhituhi tauwhitiwhiti: Ka taea e koe te uru tere ki o raraunga, te wetewete, te hanga tauira me etahi atu, me te tiri i nga tirohanga hou, whai hua ina whai taputapu me te reo tika. Ko Scala, R, SQL, me te Python etahi noa o nga reo e tautokohia ana e Databricks.
- Te ako a te mīhini: Ma te awhina o nga anga whakairo penei i a Tensorflow, Scikit-Learn, me Pytorch, ka hoatu e Databricks ki a koe te urunga paato-kotahi ki nga taiao Ako Miihini kua whirihorahia. Ka taea e koe te tiri me te aro turuki i nga whakamatautau, te whakahaere tahi i nga tauira, me te whakahoki ano i nga oma katoa mai i tetahi putunga putunga.
- Mihini Korakora Whakarei: Ka taea e koe te tiki i nga putanga hou o Apache Spark ma te whakamahi i nga Databricks. Ka taea hoki te whakakotahi mai i nga momo whare pukapuka tuwhera-puna ki nga Databricks. Ka taea e koe te whakarite i nga tautau me te hanga i tetahi taiao Apache Spark tino whakahaere mena ka whai waahi koe ki te waatea me te tauine o etahi kaiwhakarato ratonga Kapua. Ka taea te whirihora, te whakarite, me te pai o nga roopu ki te Databricks me te kore e hiahia kia haere tonu te aro turuki ki te pupuri i te mahi tino pai me te pono.
Nga Rerekētanga Matua i waenga i te Hukarere me nga Pereki Raraunga
Architecture
Ko te Snowflake he punaha karekau e pa ana ki te SQL me te rokiroki motuhake me te tarai i nga paparanga tukatuka.
Kei ia whare putunga mariko (arā, te kohinga rorohiko) i Snowflake he kohinga o te katoa o nga raraunga i te rohe i te wa e whakamahi ana i te tukatuka whakarara nui (MPP) hei mahi uiui.
Mo te whakahaerenga raraunga o roto me te arotautanga ki te whakatakotoranga poupou ka taea te penapena ki te kapua, ka whakamahi a Snowflake i nga waahanga moroiti.
Ko te mea kei te pupuri a Snowflake i nga ahuatanga katoa o te whakahaere raraunga, tae atu ki te rahi o te konae, te kopiri, te hanganga, te metadata, nga tatauranga, me etahi atu mea raraunga kaore e kitea tonutia e nga kaiwhakamahi ka taea anake te uru atu ma nga uiui SQL, ka taea enei mea katoa ki te mahi. aunoa.
Ko nga whare putunga mariko, he kohinga kua oti te hanga i te maha o nga kohinga MPP, ka whakamahia hei mahi i nga mahi katoa i roto i te Snowflake.
Ko te Snowflake me te Databricks he otinga SaaS e rua, heoi, he rereke te hoahoanga a Databricks na te mea i hangaia ki runga i te Spark.
Ka taea te whakauru i te miihini reo-maha e kiia nei ko Spark ki roto i te kapua, ka ahu mai i runga i nga pona kotahi, i nga tautau ranei. Kei te whakamahi a Databricks i te AWS, GCP, me te Azure, penei i te Snowflake.
He rererangi whakahaere me tetahi paparangi raraunga te hanga i tona hanganga. Ko nga raraunga tukatuka katoa kei roto i te rererangi raraunga, engari ko nga ratonga tuara katoa e whakahaerehia ana e te rorohiko Databricks Serverless ka kitea i roto i te rererangi whakahaere.
Ko te rorohiko kore-tumau ka taea e nga kaiwhakahaere te hanga i nga tohu mutunga SQL kore-tumau e tino whakahaerehia ana e Databricks me te tuku rorohiko inamata.
Ahakoa ka tohatohahia nga rauemi rorohiko mo te nuinga o etahi atu tatauranga Databricks i roto i te kaute kapua, i te rererangi raraunga tuku iho ranei, ka tohatohahia enei rauemi ki roto i te rererangi raraunga Korekau.
Ko te hoahoanga o Databricks he maha nga waahanga nui:
- Databricks Delta Lake
- Databricks Delta Engine
- MLFlow
Te Hanganga Raraunga
Ka taea te penapena me te tuku ake i nga konae e rua nga mea hangahanga me te hanga ma te whakamahi i te Snowflake me te kore he taputapu ETL hei whakarite tuatahi i nga raraunga i mua i te kawemai ki te EDW.
Ka hurihia e te Snowflake nga raraunga ki tana ake whakatakotoranga o roto, kua whakaritea ina tukuna ana nga raraunga. He rereke ki te Roto Raraunga, karekau a Snowflake e hiahia ki a koe ki te whakarato hanganga ki o raraunga kore i hangaia i mua i to utaina me te taunekeneke ki a koe.
Ko nga momo raraunga ka taea te whakamahi katoa me nga Databricks i roto i to raatau whakatakotoranga taketake. Hei hoatu i to hanganga raraunga kore hanga kia taea ai te whakamahi e etahi atu taputapu penei i te Snowflake, ka taea e koe te whakamahi i nga Databricks hei taputapu ETL.
I roto i te tautohetohe i waenga i nga Databricks me te Snowflake, ka toa a Databricks i runga i te Snowflake mo te Hanganga Raraunga.
Mana Raraunga
Ka wehea nga paparanga tukatuka me te rokiroki ki Snowflake, ka taea te tipu takitahi ki runga i te kapua. E tohu ana tenei ka taea e ratou katoa te tauine takitahi i roto i te Kapua i runga i o hiahia.
Ka whai hua to putea mai i tenei. I tua atu, ka mau tonu te mana o nga papa e rua. Ka mau te Snowflake ki te uru ki nga raraunga me nga rauemi miihini ma te whakamahi i te tikanga whakahaere uru-a-rohe (RBAC).
Ko te tukatuka raraunga me nga paparanga rokiroki o Databricks kua tino wehea, he rereke ki nga paparanga kua wehea i Snowflake.
Ka taea e nga kaiwhakamahi te whakatakoto i o raatau raraunga ki nga waahi katoa i roto i tetahi whakatakotoranga, a ka whakahaere tika a Databricks na te mea ko tana whainga tuatahi ko te tono raraunga.
Ko Databricks te tino toa i te tautohetohe i waenga i nga Databricks me te Snowflake mai i te mea ka taea noa e koe te whakamahi ki te tukatuka i nga raraunga.
Tiaki Raraunga
Ko te Haerenga Wā me te Rahua-haumaru e rua nga ahuatanga motuhake o Snowflake. Ko te mahi Time Travel a Snowflake e pupuri ana i nga raraunga i mua i te whakahou.
Ahakoa ka taea e nga kiritaki Hinonga te whiriwhiri i te awhe taima tae atu ki te 90 ra, he maha nga wa ka herea te Time Travel ki te ra kotahi. Ka taea e nga papaarangi, nga kaupapa, me nga ripanga te whakamahi i tenei kaha.
Ka pau te wa pupuri i te Time Travel, ka timata te wa 7-ra kore-haumaru, i hangaia hei tiaki me te whakaora i nga raraunga o mua.
He rite ki te ahua o Snowflake's Time Travel, kei te mahi ano a Delta Lake. Ko nga raraunga e pupuri ana i Delta Lake ka whakaputa aunoa, ka taea e nga kaiwhakamahi te tiki i nga putanga raraunga o mua mo te whakamahi a meake nei.
Ka rere a Databricks i runga i te Spark, a, i te mea kua hangaia a Spark ki runga i te rokiroki taumata-ahanoa, kaore rawa a Databricks e penapena raraunga.
Koinei tetahi o ona tino painga. Ko te tikanga tenei ka taea e Databricks te whakahaere i nga keehi mo nga punaha-a-whare.
Haumarutanga
Ko nga raraunga katoa ka whakamunatia aunoa i te okiokinga i roto i te Snowflake.
Ko nga whakawhitinga korero katoa i waenga i te rererangi whakahaere me te rererangi raraunga ka puta i roto i te whatunga motuhake o te kaiwhakarato kapua, a, ko nga raraunga katoa i tiakina i roto i nga Databricks ka mau.
Ko nga whiringa e rua e tuku ana i te RBAC (te mana uru-a-whakahaere). Ko te Snowflake me te Databricks e piri ana ki etahi ture me nga tiwhikete, tae atu ki te SOC 2 Momo II, ISO 27001, HIPAA, me te GDPR.
Heoi, i te mea e mahi ana a Databricks ki runga ake o te rokiroki taumata-ahanoa penei i te AWS S3, Azure Blob Storage, Google Cloud Te rokiroki, me etahi atu, kaore he paparanga rokiroki rereke ki te Snowflake.
mahinga
I runga i nga mahi, ko te Snowflake me te Databricks he otinga rerekee he tino uaua ki te whakataurite.
Ka taea te whakarereke i ia tohu tohu hei whakaatu i tetahi korero rereke. He tauira tino pai o tenei ko te ako tata i whakahaerehia e Databricks mo te tohu tohu TPC-DS.
Mo te whakataurite mahunga ki te upoko, ka tautoko a Snowflake me Databricks i nga keehi whakamahinga rereke, a kaore tetahi e tino pai ake i tera atu.
Ko te Snowflake, he mea pai ake pea mo nga patai tauwhitiwhiti na te mea ka arotauhia nga rokiroki katoa mo te urunga raraunga i te wa e horomia ana.
Whakamahia te Take
Ko nga keehi whakamahi BI me te SQL he pai te tautoko e te Databricks me te Snowflake.
Ka whakaratohia e Snowflake nga taraiwa JDBC me ODBC he ngawari ki te whakauru ki etahi atu rorohiko.
I te mea karekau nga kaihoko e whakahaere i te hotaka, he mea rongonui mo ona keehi-whakamahi i roto i te BI me nga pakihi e whiriwhiri ana i tetahi papaaatari tika.
Ko te puna tuwhera Delta Lake kua tukuna e Databricks he taapiri taapiri mo te pumau ki o raatau Raraunga Raraunga i tenei wa. Ka taea e nga kaihoko te tuku patai SQL ki Delta Lake me te tino mahi.
I runga i o raatau momo me te hangarau pai ake, he rongonui a Databricks mo a raatau keehi-whakamahi e whakaiti ana i te raka o te kaihoko, he pai ake mo nga kawenga mahi ML, me te awhina i nga roroa hangarau.
Pricing
Ka whai waahi nga kaihoko ki nga tirohanga taumata hinonga e wha me te Snowflake. Ko te Paerewa, te Hinonga, te Pakihi Pakihi, me te Hukarere Motuhake Mariko nga putanga e wha e waatea ana. Kei te waatea nga korero utu katoa ki konei.
I tetahi atu taha, ko nga taumata utu arumoni e toru e tukuna ana e Databricks he mea taketake, he moni, he hinonga. Ka taea e koe te tiro tika i te raarangi utu katoa ki konei.
Opaniraa
Ko nga taputapu tātari raraunga tino pai ko te Snowflake me te Databricks.
He painga me nga huakore ki ia tangata. Ko nga tauira whakamahinga, te nui o nga raraunga, nga taumahatanga mahi, me te rautaki raraunga ka uru katoa ki te whakatau ko tehea turanga e pai ana mo to pakihi.
He pai ake te Snowflake mo te hunga e mohio ana ki te SQL me te whakarereketanga raraunga me te tātaritanga.
Ko te rerema, ML, AI, me nga kawenga mahi putaiao raraunga he pai ake mo nga Databricks na tana miihini Spark, e tautoko ana i te whakamahinga o nga reo maha.
Hei whai ake i etahi atu reo, kua whakauruhia e Snowflake te tautoko mo Python, Java, me Scala.
Ko etahi e kii ana ka whakaitihia e te Snowflake te rokiroki i te wa e kai ana, na reira he pai ake mo nga patai tauwhitiwhiti.
I tua atu, he pai ki te whakaputa purongo me nga papatohu me te whakahaere i nga kawenga mahi BI. Mo te whare putunga raraunga, he pai te mahi.
Heoi, kua kite etahi o nga kaiwhakamahi kei te mamae ki nga rahinga raraunga nui, penei i nga mea e kitea ana i roto i nga tono rerenga. Ka toa te Snowflake i te whakataetae tika i runga i nga pukenga putunga raraunga.
Heoi, ehara a Databricks i te whare putunga raraunga. He matawhānui ake tana papaaho raraunga, he pai ake te ELT, te pūtaiao raraunga, me te ako miihini ki te Snowflake.
Kaore nga kaiwhakamahi e whakahaere i te utu mo te rokiroki ahanoa whakahaere ki te waahi rokiroki o raatau raraunga. Ko te roto raraunga me te tukatuka raraunga nga kaupapa matua.
Heoi, he mea tino aro ki nga kaiputaiao raraunga me nga kaitätari tino mohio.
Hei mutunga, ka wikitoria a Databricks mo te hunga whakarongo hangarau. Ka taea e nga kaiwhakamahi mohio hangarau me te kore-hangarau te whakamahi ngawari ki te Snowflake.
Tata ki nga ahuatanga whakahaere raraunga katoa e tukuna ana e Snowflake e waatea ana ma te Databricks me te maha atu. Engari he uaua ake te whakahaere, ka uru ki te taumata ako teitei, me te tiaki ake.
Heoi, ka taea e ia te whakahaere i te whānuitanga nui atu o nga kawenga mahi me nga reo. A ko te hunga e mohio ana ki a Apache Spark ka anga atu ki nga Databricks.
He pai ake te Snowflake mo nga kaihoko e hiahia ana ki te whakauru tere i te whare putunga raraunga pai me te papahanga tātaritanga me te kore e pakaru i roto i nga tatūnga, nga taipitopito pūtaiao raraunga, te tatūnga ā-ringa ranei.
Ehara hoki tenei i te kii he taputapu maamaa a Snowflake mo nga kaiwhakamahi hou ranei. Ehara i te mea katoa.
Ehara i te mea teitei penei i te Databricks; he pai ake taua papaaho mo te miihini raraunga uaua, ETL, putaiao raraunga, me nga tono rerenga.
Ko te Snowflake he whare putunga raraunga mo nga tātaritanga e pupuri ana i nga raraunga whakaputa. Hei taapiri, he painga mo nga taangata e hiahia ana ki te tiimata iti me te piki haere haere me nga tauhou.
Waiho i te Reply