Bo-rasaense ba data le litsebi tsa ho ithuta ka mochini li sebetsana le palo e kholo ea data ea mefuta e fapaneng morerong o tloaelehileng oa mahlale a data. Mefuta e mengata e ntlafalitsoe ka litlhophiso le likarolo tse fapaneng, hammoho le phetisetso e 'maloa ea tokiso ea parameter ho fumana ts'ebetso e nepahetseng.
Boemong bo joalo, liphetoho tsohle tsa data le liphetoho tsa mokhoa oa ho haha mohlala li tlameha ho hlahlojoa le ho lekanyetsoa ho fumana hore na ke eng e ileng ea sebetsa le e sa kang ea sebetsa. Ho bohlokoa hape ho khona ho khutlela khatisong e fetileng le ho sheba liphetho tse fetileng.
Data Version Control (DVC), e thusang ho laola data, mohlala oa motheo, le ho tsamaisa liphetho tse ka hlahisoang hape, ke e 'ngoe ea theknoloji e re thusang ho beha sena sohle leihlo.
Ka poso ena, re tla shebisisa Taolo ea Data Version, le lisebelisoa tse molemohali tseo re ka li sebelisang. Ha re qaleng.
Taolo ea Data Version ke Eng?
Phetolelo ea hlokahala bakeng sa litsamaiso tsohle tsa tlhahiso. Sebaka se le seng sa ho fihlella lintlha tsa morao-rao. Mohloli ofe kapa ofe o atisang ho fetoloa, haholo-holo ke basebelisi ba 'maloa ka nako e le' ngoe, o hloka ho theha mokhoa oa ho hlahloba ho boloka tlaleho ea liphetoho tsohle.
Sistimi ea taolo ea mofuta o na le boikarabello ba ho netefatsa hore bohle ba sehlopheng ba leqepheng le le leng. E tiisa hore e mong le e mong sehlopheng o ntse a sebetsa phetolelong ea morao-rao ea faele, 'me habohlokoa le ho feta, bohle ba sebelisana le morero o le mong ka nako.
Haeba u e-na le thepa e loketseng, u ka finyella sena ka boiteko bo fokolang!
U tla ba le lisebelisoa tse tsitsitseng tsa data le polokelo e felletseng ea lipatlisiso tsohle tsa hau haeba u sebelisa leano le tšepahalang la taolo ea mofuta oa data. Lisebelisoa tsa ho fetolela data li bohlokoa molemong oa ts'ebetso ea hau haeba u tsotella ho ikatisa, ho latelloa, le nalane ea mohlala oa ML.
Li u thusa ho fumana mofuta oa ntho, joalo ka hash ea dataset kapa mohlala, eo u ka e sebelisang ho e tseba le ho e bapisa. Hangata mofuta ona oa data o kenngoa tharollong ea hau ea taolo ea metadata ho netefatsa hore koetliso ea hau ea mohlala e fetotsoe ebile e ka phetoa.
Lisebelisoa tse Molemohali tsa ho Laola Phetolelo ea Boitsebiso
Joale ke nako ea ho sheba litharollo tsa taolo ea mofuta oa data tse fumanehang, tseo u ka li sebelisang ho boloka tlaleho ea karolo e 'ngoe le e 'ngoe ea khoutu ea hau.
1. Fumana LFS
Morero oa Git LFS o lokolohile ho sebelisoa. Ka har'a Git, lifaele tse kholo joalo ka lisampole tsa molumo, livideo, datha, le linepe li nkeloa sebaka ke lintlha tsa mongolo, 'me litaba tsa faele li bolokiloe ho seva e hole joalo ka GitHub.com kapa GitHub Enterprise.
E u lumella ho sebelisa Git ho fetolela lifaele tse kholo haholo - ho fihla ho li-GB tse 'maloa ka boholo - amohela tse ling polokelong ea hau ea Git u sebelisa polokelo ea kantle,' me u kopanye le ho khutlisa polokelo ea lifaele tse kholo kapele. Ha ho tluoa tabeng ea tsamaiso ea data, ena ke tharollo e ntle e khanyang. Ho sebetsa le Git, ha o hloke litaelo tse ling tse eketsehileng, litsamaiso tsa polokelo, kapa lisebelisoa tsa lisebelisoa.
E fokotsa bongata ba lintlha tseo u li khoasollang. Sena se bolela hore ho kopanya le ho khutlisa lifaele tse kholo ho tsoa ho polokelo ho tla potlaka. Litsupa li entsoe ka thepa e bobebe 'me li supa LFS.
Ka lebaka leo, ha o sutumelletsa repo ea hau sebakeng sa polokelo ea mantlha, e nchafatsa kapele mme e nka sebaka se senyane.
Pros
- E kopanya habonolo ho nts'etsopele ea mesebetsi ea likhoebo tse ngata.
- Ha ho na tlhoko ea ho sebetsana le litokelo tse eketsehileng hobane e sebelisa tumello e tšoanang le ea polokelo ea Git.
tlhoka mesola
- Git LFS e hloka tšebeliso ea li-server tse inehetseng ho boloka data ea hau. Ka lebaka leo, lihlopha tsa hau tsa mahlale a data li tla koalloa, 'me mosebetsi oa hau oa boenjiniere o tla phahama.
- E khethehile haholo, 'me e ka hloka hore ho sebelisoe lisebelisoa tse fapaneng tse fapaneng bakeng sa mekhahlelo e latelang ts'ebetsong ea mahlale a data.
ditheko
E lokolohile ho sebelisoa bakeng sa motho e mong le e mong.
2. LakeFS
LakeFS ke tharollo ea phetolelo ea data e bulehileng e bolokang data ho S3 kapa GCS mme e na le lekala le kang la Git le ho etsa paradigm e lekanyang ho li-petabyte.
Leano lena la lekala le etsa hore data ea hau ea ACID e lumellane ka ho lumella liphetoho ho etsahala makaleng a ikhethileng a ka hahuoang, a kopantsoe, 'me a khutlisetsoa morao ka atomo le hang-hang.
LakeFS e thusa lihlopha ho theha mesebetsi ea letša ea data e ka phetoang, ea athomo le e fetoletsoeng. Ke ngoana ea sa tsoa fihla sebakeng seo, empa ke matla a lokelang ho nahanoa.
E sebelisa mokhoa o kang oa Git oa lekala le taolo ea mofuta ho sebelisana le hau letša la data, e ka fokotsoa ho fihlela ho Petabytes ea data. Ka tekanyo ea exabyte, o ka hlahloba taolo ea phetolelo.
Pros
- Ts'ebetso e kang ea Git e kenyelletsa lekala, ho itlama, ho kopanya, le ho khutlisetsa morao.
- Li-hook tsa pre-commit/merge li sebelisoa ho hlahloba lintlha tsa CI/CD.
- E fana ka likarolo tse rarahaneng joalo ka phetisetso ea ACID bakeng sa polokelo ea leru e bonolo joalo ka S3 le GCS, kaofela ha sebopeho se sa nke lehlakore.
- Khutlisa liphetoho ho data ka nako ea nnete.
- Mekhahlelo e bonolo, e e lumellang ho amohela matša a maholo haholo a data. Taolo ea phetolelo e ka fanoa bakeng sa litlhophiso tsa ntlafatso le tlhahiso.
tlhoka mesola
- LakeFS ke sehlahisoa se secha, ka hona ts'ebetso le litokomane li ka fetoha kapele ho feta litharollo tse fetileng.
- Kaha e tsepamisitse maikutlo phetolelong ea data, o tla hloka ho sebelisa lisebelisoa tse ling tse fapaneng bakeng sa likarolo tse fapaneng tsa tšebetso ea mahlale a data.
ditheko
E lokolohile ho sebelisoa bakeng sa motho e mong le e mong.
3. DVC
Data Version Control ke tharollo ea mahala ea phetolelo ea data e etselitsoeng mahlale a data le lits'ebetso tsa ho ithuta ka mochini. Ke lenaneo le u lumellang ho hlalosa phaephe ea hau ka puo efe kapa efe.
Ka ho laola lifaele tse kholo, lisebelisoa tsa data, mefuta ea ho ithuta ea mochini, khoutu, joalo-joalo, sesebelisoa se etsa hore mefuta ea ho ithuta ea mochini e arolelanoe le ho ikatisetsa. Lenaneo le latela tataiso ea Git ea ho fana ka mola o bonolo oa taelo o ka hlophisoang ka mehato e seng mekae feela.
Joalo ka ha lebitso la eona le bolela, DVC ha e bue feela ka phetolelo ea data. E boetse e thusa tsamaiso ea lipeipi le mekhoa ea ho ithuta ka mechine bakeng sa lihlopha.
Qetellong, DVC e tla thusa ho ntlafatsa ho tsitsa ha mefuta ea sehlopha sa hau le ho pheta-pheta ha bona. Sebakeng sa ho sebelisa li-suffixes tse thata tsa faele le maikutlo ka khoutu, nka monyetla oa Makala a Git ho leka mehopolo e mecha. Ho nka maeto, sebelisa metric tracking ho fapana le pampiri le pentšele.
Ho fetisetsa dingata tse tsitsitseng tsa ho ithuta mochine mefuta, data, le khoutu ho hlahisa, likhomphutha tse hole, kapa komporo ea basebetsi-mmoho, o ka sebelisa litaelo tsa push/pull ho fapana le li-ad-hoc scripts.
Pros
- E bobebe, e bulehile, 'me e sebetsa le li-platform tsohle tse kholo tsa maru le mefuta ea polokelo.
- Flexible, agnostic ea sebopeho le moralo, 'me e bonolo ho e sebelisa.
- Phetoho eohle ea mofuta o mong le o mong oa ML e ka saloa morao ho khoutu ea eona ea mohloli le data.
tlhoka mesola
- Taolo ea lipeipi le taolo ea mofuta oa DVC li hokahane ka mokhoa o ke keng oa aroloa. Ho tla ba le bofokoli haeba sehlopha sa hau se se se ntse se sebelisa sehlahisoa se seng sa lipeipi tsa data.
- Kaha DVC e bobebe, sehlopha sa hau se kanna sa hloka ho rala likarolo tse ling ka letsoho ho e etsa hore e be bonolo ho basebelisi.
ditheko
E lokolohile ho sebelisoa bakeng sa motho e mong le e mong.
4. DeltaLake
DeltaLake ke sebaka sa polokelo se bulehileng se matlafatsang ts'epahalo ea letša la data. Delta Lake e ts'ehetsa litšebelisano tsa ACID le taolo e mpe ea metadata ho kenyelletsa phallo le ts'ebetso ea data ea batch.
E sebetsa le Apache Spark APIs 'me e lutse letšeng la hau le teng la data. Delta Sharing ke mokhoa oa pele oa lefats'e o bulehileng oa ho arolelana data ka mokhoa o sireletsehileng khoebong, e leng se etsang hore ho be bonolo ho fapanyetsana data le likhoebo tse ling ntle le lits'ebetso tsa bona tsa khomphutha.
Delta Lakes e khona ho sebetsana le li-petabyte tsa data habonolo. Metadata e bolokoa ka mokhoa o ts'oanang le data, mme basebelisi ba ka e fumana ba sebelisa mokhoa oa Hlalosa Lintlha. Delta Lakes e na le meralo e le 'ngoe e ka balang data ea ho phalla le ea batch.
Lisebelisoa li bonolo ho li etsa u sebelisa Delta. Lintho tsena tse ferekanyang kapa tse kopanyang tafoleng ea Delta li bapisoa le SQL Merges. U ka e sebelisa ho kopanya data ho tsoa ho foreimi e 'ngoe ea data tafoleng ea hau le ho etsa lintlafatso, ho kenya le ho hlakola.
Pros
- Bokhoni bo bongata, joalo ka litšebelisano tsa ACID le taolo e matla ea metadata, li ka fumaneha tharollong ea hau ea polokelo ea data.
- Delta Lake e se e khona ho laola litafole tse nang le li-partition tse limilione tse likete le lifaele ka tekanyo ea petabyte.
- E fokotsa tlhoko ea ho laola mofuta oa data le litaba tse ling, ho lumella baetsi ho tsepamisa maikutlo ho nts'etsapele lihlahisoa ka holim'a matša a bona a data.
tlhoka mesola
- Joalo ka ha e ne e etselitsoe ho sebetsa le Spark le data e kholo, Delta Lake hangata e tletse mesebetsi e mengata.
- E hloka ts'ebeliso ea sebopeho sa data se inehetseng, se fokotsang ho feto-fetoha ha eona le ho etsa hore e se lumellane le liforomo tsa hau tsa hajoale.
ditheko
E lokolohile ho sebelisoa bakeng sa motho e mong le e mong.
5. Dolt
Dolt ke database ea SQL e etsang forking, cloning, branching, ho kopanya, ho sutumetsa le ho hula ka tsela e tšoanang le ea polokelo ea git. Ho ntlafatsa boiphihlelo ba mosebelisi ba database ea taolo ea mofuta, Dolt e lumella data le sebopeho ho fetoha ho sync.
Ke sesebelisoa se setle haholo seo uena le basebetsi-'moho le uena le ka sebelisanang ho sona. U ka hokela ho Dolt ka tsela e ts'oanang le eo u neng u ka e etsa ho database efe kapa efe ea MySQL mme u tsamaise lipotso kapa u etse liphetoho ho data u sebelisa litaelo tsa SQL.
Ha ho tluoa tabeng ea phetolelo ea data, Dolt ke ea mofuta o mong. Dolt ke database, ho fapana le tse ling tsa litharollo tse fanang ka data ea mofuta feela. Le hoja software e ntse e le mekhahlelo ea eona ea pele, ho na le tšepo ea ho etsa hore e lumellane ka botlalo le Git le MySQL haufinyane.
Litaelo tsohle tseo u tloaetseng ho li sebelisa le Git li tla sebetsa le Dolt. Lifaele tsa mofuta oa Git, litafole tsa mefuta ea Dolt U sebelisa sebopeho sa mola oa taelo, kenya lifaele tsa CSV, etsa liphetoho tsa hau, li phatlalatse hole, 'me u kopanye liphetoho tsa sehlopha sa hau.
Pros
- Bobebe le Mohloli o bulehileng ka karolo.
- Ha ho bapisoa le likhetho tse ngata tse sa hlakang, e na le sebopeho sa SQL, e leng se etsang hore e fumanehe habonolo ho bahlahlobisisi ba data.
tlhoka mesola
- Ha ho bapisoa le mefuta e meng ea liphetolelo tsa database, Dolt e ntse e le sehlahisoa se ntseng se tsoela pele.
- Kaha Dolt ke database, o tlameha ho fetisetsa data ea hau ho eona ho fumana melemo.
ditheko
E mong le e mong o amohelehile ho sebelisa seboka sa sechaba. Sethala ha se fane ka litheko tsa pele; ho e-na le hoo, o tlameha ho ikopanya le mofani oa thepa.
6. Pachyderm
Pachyderm ke sistimi ea mahala ea taolo ea mahlale a data e nang le likarolo tse ngata. Pachyderm Enterprise ke sethala se matla sa mahlale a data se etselitsoeng tšebelisano-mmoho e kholo libakeng tse sireletsehileng haholo.
Pachyderm ke e 'ngoe ea liforomo tse fokolang tsa mahlale a data lenaneng. Sepheo sa Pachyderm ke ho fana ka sethala se laolang potoloho e feletseng ea data le ho etsa hore ho be bonolo ho pheta-pheta liphuputso tsa mekhoa ea ho ithuta mochine. Pachyderm e tsejoa e le "Docker of Data" moelelong ona. Pachyderm e boloka tikoloho ea hau ea ts'ebetso e sebelisa lijana tsa Docker. Sena se etsa hore ho be bonolo ho etsa liphetho tse tšoanang.
Bo-ramahlale ba data le lihlopha tsa DevOps ba ka sebelisa mehlala ka boitšepo ka lebaka la ho kopanngoa ha data e fetotsoeng le Docker. Ka lebaka la mokhoa o sebetsang oa polokelo, li-petabyte tsa data tse hlophisitsoeng le tse sa etsoang li ka bolokoa ha litšenyehelo tsa polokelo li ntse li fokotseha.
Ho pholletsa le mekhahlelo ea lipeipi, phetolelo e thehiloeng ho lifaele e fana ka rekoto ea tlhahlobo e phethahetseng bakeng sa data eohle le li-artifacts, ho kenyeletsoa le liphetho tsa mahareng. Bongata ba bokhoni ba lisebelisoa bo tsamaisoa ke litšiea tsena, tse thusang lihlopha ho fumana se molemohali ho tsona.
Pros
- Ho ipapisitsoe le lijana, libaka tsa hau tsa data li tla nkeha habonolo ebile ho bonolo ho li fetisetsa lipakeng tsa bafani ba maru.
- E matla, e nang le bokhoni ba ho hola ho tloha ho tse nyane ho isa ho litsamaiso tse kholo haholo.
tlhoka mesola
- Kaha ho na le lintho tse ngata tse tsamaeang, joalo ka seva ea Kubernetes e hlokahalang ho sebetsana le khatiso ea mahala ea Pachyderm, ho na le moepa o motenya oa ho ithuta.
- Pachyderm e kanna ea ba phephetso ho kenyelletsa meaho e teng ea k'hamphani ka lebaka la likarolo tsa eona tse ngata tsa mahlale.
ditheko
U ka qala ho sebelisa sethala ka seboka sa sechaba le bakeng sa khatiso ea khoebo, u tlameha ho ikopanya le morekisi.
7. Neptune
Metadata ea ho haha mohlala e laoloa ke lebenkele la metadata la ML, e leng karolo ea bohlokoa ea li-MLOps stack. Bakeng sa mosebetsi o mong le o mong oa MLOps, Neptune e sebetsa e le polokelo ea metadata e bohareng.
U ka boloka tlaleho, ho bona, le ho bapisa likete tsa mefuta ea ho ithuta ka mochini sebakeng se le seng. E kenyelletsa likarolo tse kang ho latedisa liteko, registry ea mohlala, le tlhahlobo ea mohlala, hammoho le sehokelo sa tšebelisano. E kenyelletsa lisebelisoa le lilaeborari tse fapaneng tse fetang 25 tse kopaneng, ho kenyeletsoa lithupelo tse 'maloa tsa mehlala le lisebelisoa tsa tokiso ea hyperparameter.
U ka ikopanya le Neptune ntle le ho sebelisa karete ea hau ea mokoloto. Ak'haonte ea Gmail e tla lekana sebakeng sa eona.
Pros
- Ho kopanya le pipeline leha e le efe, phallo, codebase, kapa moralo o bonolo.
- Lipono tsa nako ea 'nete, API e bonolo, le tšehetso e potlakileng
- Ka Neptune, u ka etsa "bekapo" ea data eohle ea liteko tsa hau sebakeng se le seng, seo u ka se fumanang hamorao.
tlhoka mesola
- Leha e se mohloli o bulehileng ka botlalo, mofuta oa motho ka mong o kanna oa lekana bakeng sa ts'ebeliso ea poraefete, leha phihlello e joalo e lekanyelitsoe khoeling e le 'ngoe.
- Ho na le mefokolo e fokolang ea moralo e ka fumanoang.
ditheko
U ka qala ho sebelisa sethala ka leano la Motho ka Mong leo ho ka sebelisoang motho e mong le e mong mahala. Karolo ea litheko e qala ho tloha ho $ 150 / khoeli.
fihlela qeto e
Ka poso ena, re buisane ka lisebelisoa tse molemohali tsa phetolelo ea data. Sesebelisoa ka seng, joalo ka ha re se re bone, se na le likarolo tsa sona. Tse ling li ne li sa lefelloe, ha tse ling li ne li hloka tefo. Tse ling li loketse hantle mokhoa oa khoebo e nyenyane, ha tse ling li loketse haholoanyane mokhoa o moholo oa khoebo.
Ka lebaka leo, o tlameha ho khetha software e ntle ka ho fetisisa molemong oa hau ka mor'a ho lekola melemo le mathata. Re khothaletsa hore o leke mofuta oa teko ea mahala pele o reka sehlahisoa sa pele.
Leave a Reply