Ripanga o Ihirangi[Huna][Whakaatu]
Pūtaiao Raraunga Raraunga me nga tohunga ako miihini e mahi ana i te maha o nga raraunga o nga momo momo i roto i tetahi kaupapa putaiao raraunga. He maha nga tauira kua whakawhanakehia me nga momo whirihoranga me nga ahuatanga, tae atu ki te maha o nga taapiri o te taatai tawhā kia pai ai te mahi.
I roto i tenei ahuatanga, ko nga whakarereketanga raraunga katoa me nga whakarereketanga tukanga hanga tauira me aro turukihia me te ine kia mohio ai he aha te mea i whai hua me te aha i kore. He mea nui ano kia hoki ki te putanga o mua me te titiro ki nga putanga o mua.
Ko te Mana Putanga Raraunga (DVC), e awhina ana ki te whakahaere i nga raraunga, te tauira o raro, me te whakahaere i nga putanga ka taea te whakaputa, tetahi o nga hangarau e taea ai e tatou te aro turuki i enei mea katoa.
I tenei pou, ka ata titiro tatou ki te Mana Putanga Raraunga, me nga taputapu pai hei whakamahi. Kia timata tatou.
He aha te Mana Putanga Raraunga?
Ko te whakaputanga e hiahiatia ana mo nga punaha whakaputa katoa. He waahi kotahi mo te uru ki nga raraunga tino hou. Ko nga rauemi e whakarerekehia ana, ina koa na te maha o nga kaiwhakamahi i te wa kotahi, me hanga he huarahi arotake hei pupuri i nga huringa katoa.
Ko te punaha whakahaere putanga te kawenga mo te whakarite kia noho nga tangata katoa o te roopu ki te wharangi kotahi. Ka whakamanahia kei te mahi nga tangata katoa o te roopu ki te putanga hou o te konae, me te mea nui, kei te mahi tahi te katoa ki te kaupapa kotahi i te wa kotahi.
Mena kei a koe nga taputapu tika, ka taea e koe te whakatutuki me te iti o te kaha!
Ka whiwhi koe i nga huinga raraunga riterite me te tino puranga mo o rangahau katoa mena ka whakamahi koe i tetahi rautaki whakahaere putanga raraunga pono. He mea nui nga taputapu whakaputa raraunga mo to rerengamahi mena ka aro koe ki te whakaputa, te whai, me te hitori tauira ML.
Ka awhina koe ki te tiki i tetahi putanga o tetahi mea, penei i te hash o te huingararaunga, tauira ranei, ka taea e koe te whakamahi hei tautuhi me te whakataurite. Ko tenei putanga raraunga ka whakauruhia ki roto i to otinga whakahaere metadata hei whakapumau i te putanga o to whakangungu tauira me te tukurua.
Nga taputapu Mana Putanga Raraunga Pai
Inaianei kua tae ki te wa ki te titiro ki nga otinga whakahaere putanga raraunga pai rawa atu e waatea ana, ka taea e koe te whakamahi ki te pupuri i nga waahanga katoa o to waehere.
1. git-lfs
Ko te kaupapa Git LFS he kore utu hei whakamahi. I roto i te Git, ka whakakapihia nga konae nui penei i nga tauira ororongo, riipene whakaata, papaa raraunga me nga whakaahua ki nga tohu tohu tuhinga, ka tiakina nga ihirangi konae ki runga i te tūmau mamao penei i a GitHub.com, GitHub Enterprise ranei.
Ka taea e koe te whakamahi i te Git ki te whakaputa i nga konae nunui—tae atu ki te maha o te GB—te manaaki atu i roto i o whare putunga Git ma te whakamahi i te rokiroki o waho, me te kati me te tiki tere atu i nga putunga konae nui. Ina tae mai ki te whakahaere raraunga, he otinga maamaa tenei. Ki te mahi tahi me Git, kaore koe e hiahia tono taapiri, punaha rokiroki, kete taputapu ranei.
Ka whakawhāitihia te rahinga o ngā pārongo ka tikiake koe. Ko te tikanga ka tere ake te whakakoe me te tango i nga konae nui mai i nga putunga. Ko nga tohu tohu he mea maamaa ake ka tohu ki te LFS.
Ko te mutunga, ka pana koe i to repo ki roto i te putunga matua, ka tere te whakahou ka iti ake te waahi.
AtAKi
- He ngawari te whakauru ki nga rerenga mahi whanaketanga o te nuinga o nga pakihi.
- Kaore he take ki te hapai i etahi atu motika na te mea he rite nga whakaaetanga ki te putunga putunga Git.
raruraru
- Me whakamahi a Git LFS i nga tūmau i whakatapua ki te penapena i o raraunga. Ko te mutunga mai, ka maukatihia o roopu pūtaiao raraunga, ka piki ake to mahi miihini.
- He tino tohunga, a tera pea me whakamahi nga momo taputapu rereke mo nga waahanga ka whai ake i roto i te rerenga mahi pūtaiao raraunga.
Pricing
He utu kore utu mo te katoa.
2. LakeFS
Ko LakeFS he otinga whakaputa raraunga puna-tuwhera e pupuri ana i nga raraunga i roto i te S3, i te GCS ranei, he rite ki te Git te pekanga me te hanga tauira e tauine ana ki nga petabytes.
Ma tenei rautaki peka ka tau to roto raraunga ki te ACID ma te tuku huringa ki nga manga motuhake ka taea te hanga, te hanumi, me te huri whakamuri ma te ngota, inamata tonu.
Ka taea e te LakeFS nga roopu ki te hanga i nga mahi roto raraunga ka taea te tukurua, te ngota, me te whakaputa. He tauhou ki te waahi, engari he kaha te whakaaro.
Ka whakamahia e ia he huarahi whakangao me te mana putanga rite-Git ki te taunekeneke ki a koe roto raraunga, ka taea te tauine ki nga Petabytes o nga raraunga. I runga i te tauine exabyte, ka taea e koe te tirotiro mo te mana putanga.
AtAKi
- Ko nga mahi penei i te Git ko te peka, te tuku, te hanumi, me te whakahoki ano.
- Ka whakamahia nga matau i mua i te whakauru/hanumi mo nga tirotiro CI/CD raraunga.
- Ka whakarato i nga ahuatanga uaua penei i nga whakawhitinga ACID mo te rokiroki kapua ngawari penei i te S3 me te GCS, i te wa e noho koretake ana te whakatakotoranga.
- Whakahokia nga huringa ki nga raraunga i te waa-tūturu.
- Ka tere te tauine, ka taea e ia te whakauru i nga roto raraunga tino nui. Ka taea te whakarato mana putanga mo nga tautuhinga whanaketanga me te whakaputa.
raruraru
- He hua hou a LakeFS, na reira ka tere ake te huri o nga mahi me nga tuhinga i nga otinga o mua.
- I te mea e aro ana ki te whakaputanga raraunga, me whakamahi koe i nga momo taputapu taapiri mo nga waahanga rereke o te rerenga mahi putaiao raraunga.
Pricing
He utu kore utu mo te katoa.
3. DVC
Ko te Mana Putanga Raraunga he otinga whakaputa raraunga kore utu i hangaia mo nga tono ako miihini me te pūtaiao raraunga. He kaupapa e taea ai e koe te tautuhi i to paipa ki tetahi reo.
Ma te whakahaere i nga konae nui, nga huinga raraunga, nga tauira ako miihini, te waehere, me etahi atu, ka hangaia e te taputapu nga tauira ako miihini ka taea te tiri me te whakaputa. E whai ana te hotaka i te arataki a Git ki te whakarato i tetahi rarangi whakahau ngawari ka taea te whakarite i roto i etahi kaupae.
E ai ki tana ingoa, ehara ko te DVC anake mo te whakaputanga raraunga. Ka whakahaere hoki i te whakahaere o nga paipa me nga tauira ako miihini mo nga roopu.
Ka mutu, ka awhina a DVC ki te whakapai ake i te riterite o nga tauira a to roopu me te tukurua. Engari i te whakamahi i nga pimuri o nga konae uaua me nga korero i roto i te waehere, whakamahia Nga manga Git ki te whakamatau i nga whakaaro hou. Ki te haere, whakamahia te aroturuki inenga-aunoa hei utu mo te pepa me te pene.
Ki te tuku paihere rite o akoranga mīhini tauira, raraunga, me te waehere ki te hanga, rorohiko tawhiti, papamahi ranei a tetahi hoa mahi, ka taea e koe te whakamahi i nga whakahau pana/toia hei utu mo nga tuhinga tuhi.
AtAKi
- He maamaa, he puna tuwhera, ka mahi tahi me nga papaahi kapua nui me nga momo rokiroki.
- He ngawari, he agnostic te whakatakotoranga me te anga, he ngawari ki te whakatinana.
- Ko ia tauira ML katoa te whanaketanga ka taea te hoki ki tana waehere puna me ana raraunga.
raruraru
- Ko te whakahaere paipa me te mana putanga DVC he hononga hono. Ka puta kee te mahi mena kei te whakamahi ano to roopu i tetahi atu hua paipa raraunga.
- I te mea he mama te DVC, ka hiahia pea to roopu ki te hoahoa a ringa ki etahi atu waahanga kia pai ake ai te whakamahi.
Pricing
He utu kore utu mo te katoa.
4. DeltaLake
Ko DeltaLake he paparanga rokiroki puna tuwhera e whakanui ana i te pono o te roto raraunga. Kei te tautoko a Delta Lake i nga whakawhitiwhitinga ACID me te whakahaere metadata tauineine hei taapiri atu ki te whakawhiti me te tukatuka raraunga puranga.
Ka mahi tahi me Apache Spark APIs ka noho ki runga i to roto raraunga o naianei. Ko Delta Sharing te kawa tuwhera tuatahi o te ao mo te tiritiri raraunga haumaru i roto i nga pakihi, he maamaa te whakawhiti raraunga me etahi atu pakihi motuhake i o raatau rorohiko.
Ka taea e Delta Lakes te whakahaere i nga petabyte o nga raraunga ma te ngawari. He rite tonu te penapena metadata ki te raraunga, ka taea e nga kaiwhakamahi te tiki ma te whakamahi i te tikanga Whakaahua Taipitopito. He hoahoanga kotahi a Delta Lakes ka taea te panui i nga raraunga rerenga me te puranga.
He ngawari te mahi ma te whakamahi Delta. Ko enei whakakoi, hanumi ranei ki te ripanga Delta he rite ki te SQL Merges. Ka taea e koe te whakamahi ki te whakauru i nga raraunga mai i tetahi atu anga raraunga ki to ripanga me te mahi i nga whakahou, whakauru, me te whakakore.
AtAKi
- He maha nga kaha, penei i nga tauwhitinga ACID me te whakahaere metadata pakari, ka waatea mai i to otinga rokiroki raraunga o naianei.
- Ka taea e Delta Lake te whakahaere i nga tepu me nga piriona wehewehenga me nga konae i runga i te tauine petabyte.
- Ka whakaiti i te hiahia mo te whakahaere putanga raraunga a-ringa me etahi atu awangawanga raraunga, ka taea e nga kaiwhakawhanake te aro ki te whakawhanake i nga hua ki runga ake i o raatau roto raraunga.
raruraru
- I te mea i hangaia ki te mahi me te Spark me nga raraunga nui, ko te Delta Lake te nuinga o te waa mo te nuinga o nga mahi.
- Me whakamahi he whakatakotoranga raraunga i whakatapua, e whakawhäiti ana i tana ngawari, ka kore e hototahi ki o puka o naianei.
Pricing
He utu kore utu mo te katoa.
5. Dolt
Ko te Dolt he putunga raraunga SQL e mahi ana i te marau, te kati, te peka, te hanumi, te pana, me te toia i te huarahi ano ki te mahi a te putunga git. Hei whakapai ake i te wheako kaiwhakamahi o te putunga korero mana, ka taea e Dolt te whakarereke i nga raraunga me te hanganga ki te tukutahi.
He taputapu pai mo koe me o hoa mahi hei mahi tahi. Ka taea e koe te hono atu ki a Dolt kia rite ki taau e pai ai ki etahi atu papaa raraunga MySQL me te whakahaere patai, te whakarereke ranei i nga raraunga ma te whakamahi i nga whakahau SQL.
Ina tae mai ki te whakaputanga raraunga, ko Dolt tetahi-o-a-ahua. He pātengi raraunga a Dolt, he rereke ki etahi o era atu otinga e whakaputa raraunga noa ana. Ahakoa kei te tata tonu te rorohiko, ko te tumanako kia tino hototahi ki a Git me MySQL a meake nei.
Ko nga whakahau katoa e mohio ana koe ki te whakamahi me Git ka mahi tahi me Dolt. Ko nga konae putanga a Git, nga ripanga putanga Dolt Ma te whakamahi i te atanga raina whakahau, kawemai i nga konae CSV, mahia o huringa, whakaputa ki te mamao, ka hanumi i nga huringa a to hoa mahi.
AtAKi
- Maamaa me te tuwhera puna he wahanga.
- Ki te whakataurite ki nga kowhiringa kee ake, he atanga SQL tana, na te mea ka uru atu ki nga kaitätari raraunga.
raruraru
- Ina whakatauritea ki etahi atu momo whakaputanga putunga korero, kei te whanake tonu a Dolt.
- I te mea he putunga raraunga a Dolt, me whakawhiti e koe o raraunga ki roto kia whiwhi ai koe i nga painga.
Pricing
E pai ana te katoa ki te whakamahi i te huihuinga hapori. Karekau te papaaho e tuku utu utu; engari, me whakapā atu koe ki te kaiwhakarato.
6. Pachyderm
Ko te Pachyderm he punaha whakahaere putanga putaiao raraunga koreutu me te maha o nga ahuatanga. Ko te Pachyderm Enterprise he papaaao pūtaiao raraunga kaha i hangaia mo te mahi tahi nui i roto i nga taiao tino haumaru.
Ko te Pachyderm tetahi o nga papaaaputaiao raraunga iti o te raarangi. Ko te whainga a Pachyderm ko te whakarato i tetahi papa e whakahaere ana i te huringa raraunga katoa me te ngawari ki te taarua i nga kitenga o nga tauira ako miihini. Ko te Pachyderm e mohiotia ana ko "te Docker of Data" i roto i tenei horopaki. Ka kohia e Pachyderm to taiao mahi ma te whakamahi i nga ipu Docker. Ma tenei ka ngawari te taarua i nga hua ano.
Ka taea e nga Kaiputaiao Raraunga me nga roopu DevOps te tuku tauira ma te maia na te whakakotahitanga o nga raraunga whakaputa me Docker. He mihi ki te punaha rokiroki pai, ka taea te pupuri i nga petabytes o nga raraunga hangahanga me te kore i hangaia i te wa e pupurihia ana nga utu rokiroki ki te iti rawa.
Puta noa i nga waahanga paipa, ko te whakaputanga-a-kōnae e whakarato ana i te rekoata arotake mo nga raraunga katoa me nga taonga toi, tae atu ki nga putanga takawaenga. Ko te maha o nga kaha o te taputapu e akiakihia ana e enei pou, e awhina ana i nga kapa ki te whai hua.
AtAKi
- I runga i nga ipu, ka kawe to taiao raraunga me te ngawari ki te whakawhiti i waenga i nga kaiwhakarato kapua.
- He pakari, me te kaha ki te tauine mai i nga punaha iti ki nga punaha nui rawa atu.
raruraru
- I te mea he maha nga huānga neke, penei i te tūmau Kubernetes e tika ana ki te hapai i te whakaputanga kore utu a Pachyderm, he pikinga ake te anau ako.
- He wero pea a Pachyderm ki te whakauru ki roto i nga hanganga o te kamupene na te maha o nga waahanga hangarau.
Pricing
Ka taea e koe te timata ki te whakamahi i te turanga me te huihuinga hapori me te putanga hinonga, me whakapiri atu koe ki te kaihoko.
7. Neptune
Ko nga metadata hanga tauira e whakahaerehia ana e te toa metadata ML, he waahanga nui o te puranga MLOps. Mo ia rerengamahi MLOps, ka noho a Neptune hei rokiroki metadata matua.
Ka taea e koe te aroturuki, te whakaata, me te whakataurite i nga mano tini tauira ako miihini katoa i te waahi kotahi. Kei roto ko nga ahuatanga penei i te tirotiro whakamatautau, te rehita tauira, me te aro turuki tauira, me te atanga mahi tahi. Neke atu i te 25 nga taputapu rereke me nga whare pukapuka kua whakauruhia, tae atu ki etahi momo whakangungu tauira me nga taputapu whakatika taara-itua.
Ka taea e koe te hono atu mo Neptune me te kore e whakamahi i to kaari nama. Ka ranea he putea Gmail hei whakakapi.
AtAKi
- Ko te whakauru ki tetahi paipa, rere, waehere, anga ranei he ngawari.
- Ko nga tirohanga-a-waa, te API ngawari, me te tautoko tere
- Ma te Neptune, ka taea e koe te "purua" o nga raraunga katoa o au whakamatautau ki te waahi kotahi, ka taea e koe te whakaora i muri mai.
raruraru
- Ahakoa ehara i te mea tuwhera-puna katoa, ko te putanga takitahi ka ranea mo te whakamahi takitahi, ahakoa he iti te uru ki te marama kotahi.
- He iti noa nga hapa hoahoa ka kitea.
Pricing
Ka taea e koe te timata ki te whakamahi i te turanga me te Mahere Takitahi e waatea ana mo te katoa. Ko te waahanga utu ka tiimata mai i te $150/marama.
Opaniraa
I tenei pou, i korerohia e maatau nga taputapu whakaputanga raraunga pai rawa atu. Ko ia taputapu, kua kitehia e matou, kei a ia ano nga ahuatanga. Ko etahi he utu kore utu, ko etahi i tono utu. Ko etahi e pai ana ki te tauira pakihi iti, ko etahi atu he pai ake ki te tauira pakihi nui.
Ko te mutunga, me kowhiri koe i te rorohiko pai rawa atu mo o kaupapa i muri i te paunatanga o nga painga me nga ngoikoretanga. Ka akiaki matou kia whakamatau koe i te putanga whakamatautau kore utu i mua i te hoko i tetahi hua moni.
Waiho i te Reply