Awọn onimo ijinlẹ sayensi data ati awọn alamọdaju ikẹkọ ẹrọ ṣe pẹlu nọmba pataki ti data ti ọpọlọpọ awọn oriṣi ninu iṣẹ akanṣe imọ-jinlẹ data aṣoju kan. Awọn awoṣe lọpọlọpọ ti ni idagbasoke pẹlu ọpọlọpọ awọn atunto ati awọn ẹya, bakanna bi ọpọlọpọ awọn iterations ti yiyi paramita lati gba iṣẹ to dara julọ.
Ni iru oju iṣẹlẹ yii, gbogbo awọn iyipada data ati awọn atunṣe ilana ile awoṣe gbọdọ wa ni abojuto ati wiwọn lati pinnu kini o ṣiṣẹ ati ohun ti ko ṣe. O tun ṣe pataki lati ni anfani lati pada si atẹjade iṣaaju ki o wo awọn abajade iṣaaju.
Iṣakoso Ẹya Data (DVC), eyiti o ṣe iranlọwọ ni ṣiṣakoso data naa, awoṣe ti o wa labẹ, ati ṣiṣe awọn abajade atunṣe, jẹ ọkan iru imọ-ẹrọ ti o jẹ ki a ṣe atẹle gbogbo eyi.
Ninu ifiweranṣẹ yii, a yoo wo ni pẹkipẹki sinu Iṣakoso Ẹya Data, ati awọn irinṣẹ to dara julọ lati lo. Jẹ ká bẹrẹ.
Kini Iṣakoso Ẹya Data?
Versioning ti wa ni ti beere fun gbogbo gbóògì awọn ọna šiše. Ojuami ẹyọkan ti iraye si data imudojuiwọn-si-ọjọ julọ. Eyikeyi orisun ti o jẹ atunṣe nigbagbogbo, pataki nipasẹ ọpọlọpọ awọn olumulo ni akoko kanna, nilo ẹda ti ọna iṣayẹwo lati tọju gbogbo awọn ayipada.
Eto iṣakoso ẹya jẹ iduro fun idaniloju pe gbogbo eniyan ni ẹgbẹ wa ni oju-iwe kanna. O ṣe iṣeduro pe gbogbo eniyan ni ẹgbẹ n ṣiṣẹ lori ẹya tuntun julọ ti faili naa ati, diẹ ṣe pataki, pe gbogbo eniyan n ṣiṣẹpọ lori iṣẹ akanṣe ni akoko kan.
Ti o ba ni ohun elo to dara, o le ṣaṣeyọri eyi pẹlu ipa diẹ!
Iwọ yoo ni awọn eto data deede ati iwe-ipamọ pipe ti gbogbo iwadii rẹ ti o ba lo ilana iṣakoso ẹya data igbẹkẹle kan. Awọn irinṣẹ ẹya data ṣe pataki fun ṣiṣiṣẹsẹhin iṣẹ rẹ ti o ba bikita nipa isọdọtun, wiwa kakiri, ati itan-akọọlẹ awoṣe ML.
Wọn ṣe iranlọwọ fun ọ lati gba ẹya ti ohun kan, bii hash ti dataset tabi awoṣe, eyiti o le lo lati ṣe idanimọ ati afiwe. Ẹya data yii nigbagbogbo ni titẹ sinu ojutu iṣakoso metadata rẹ lati ṣe iṣeduro pe ikẹkọ awoṣe rẹ jẹ ti ikede ati atunwi.
Awọn irinṣẹ Iṣakoso Ẹya Data ti o dara julọ
Bayi o to akoko lati wo awọn solusan iṣakoso ẹya data ti o dara julọ ti o wa, eyiti o le lo lati tọju gbogbo apakan ti koodu rẹ.
1. git-lfs
Ise agbese Git LFS jẹ ọfẹ lati lo. Laarin Git, awọn faili nla bii awọn ayẹwo ohun, awọn fidio, awọn data data, ati awọn fọto ti wa ni rọpo pẹlu awọn itọka ọrọ, ati pe awọn akoonu faili ti wa ni fipamọ sori olupin latọna jijin bi GitHub.com tabi GitHub Enterprise.
O gba ọ laaye lati lo Git lati ṣe ikede awọn faili nla — to ọpọlọpọ GB ni iwọn — gbalejo diẹ sii ninu awọn ibi ipamọ Git rẹ ni lilo ibi ipamọ ita, ati ẹda oniye ati gba awọn ibi ipamọ faili nla pada ni yarayara. Nigbati o ba de si iṣakoso data, eyi jẹ ojuutu ina ti o lẹwa. Lati ṣiṣẹ pẹlu Git, iwọ ko nilo eyikeyi awọn aṣẹ afikun, awọn ọna ipamọ, tabi awọn ohun elo irinṣẹ.
O fi opin si iye alaye ti o ṣe igbasilẹ. Eyi tumọ si pe cloning ati gbigba awọn faili nla pada lati awọn ibi ipamọ yoo yarayara. Awọn itọka naa jẹ ohun elo ti o fẹẹrẹfẹ ati tọka si LFS.
Bi abajade, nigba ti o ba Titari ibi ipamọ rẹ sinu ibi-ipamọ akọkọ, yoo ṣe imudojuiwọn ni kiakia ati gba aaye diẹ.
Pros
- Ni irọrun ṣepọ sinu awọn iṣan-iṣẹ idagbasoke ti ọpọlọpọ awọn iṣowo.
- Ko si iwulo lati mu awọn ẹtọ afikun mu nitori pe o nlo awọn igbanilaaye kanna bi ibi ipamọ Git.
konsi
- Git LFS nilo lilo awọn olupin ti a ṣe iyasọtọ lati tọju data rẹ. Bii abajade, awọn ẹgbẹ imọ-jinlẹ data rẹ yoo wa ni titiipa, ati pe iṣẹ ṣiṣe ẹrọ rẹ yoo dide.
- Amọja pupọ, ati pe o le ṣe pataki lilo ọpọlọpọ awọn irinṣẹ oriṣiriṣi fun awọn ipele ti o tẹle ninu iṣan-iṣẹ imọ-jinlẹ data.
ifowoleri
O jẹ ọfẹ lati lo fun gbogbo eniyan.
2. LakeFS
LakeFS jẹ ojuutu ti ikede data orisun-ìmọ ti o tọju data ni S3 tabi GCS ati pe o ni ẹka Git-bii ati ṣiṣe adaṣe ti o ṣe iwọn si awọn petabytes.
Ilana ẹka yii jẹ ki ACID data adagun data rẹ ni ibamu nipa gbigba awọn ayipada laaye lati ṣẹlẹ ni awọn ẹka ọtọtọ ti o le ṣe, dapọ, ati yiyi pada ni atomiki ati lẹsẹkẹsẹ.
LakeFS n fun awọn ẹgbẹ laaye lati ṣẹda awọn iṣẹ adagun data ti o jẹ atunṣe, atomiki, ati ti ikede. O ni a newbie si awọn ipele, sugbon o jẹ kan agbara lati wa ni kà pẹlu.
O nlo Git-bi ẹka ati ọna iṣakoso ẹya lati ṣe ajọṣepọ pẹlu rẹ adagun data, ti iwọn soke si Petabytes ti data. Lori iwọn exabyte, o le ṣayẹwo fun iṣakoso ẹya.
Pros
- Awọn iṣẹ ṣiṣe bii Git pẹlu ẹka, ṣiṣe, dapọ, ati iyipada.
- Pre-ifaramo/dapọ ìkọ wa ni lilo fun data CI/CD sọwedowo.
- Pese awọn ẹya eka bi awọn iṣowo ACID fun ibi ipamọ awọsanma ti o rọrun bi S3 ati GCS, gbogbo lakoko didoju ọna kika to ku.
- Yi iyipada pada si data ni akoko gidi.
- Awọn iwọn ni imurasilẹ, gbigba laaye lati gba awọn adagun data nla pupọ. Iṣakoso ẹya le ti wa ni pese fun awọn mejeeji idagbasoke ati gbóògì eto.
konsi
- LakeFS jẹ ọja tuntun, nitorinaa iṣẹ ṣiṣe ati iwe le yipada ni yarayara ju pẹlu awọn solusan iṣaaju.
- Niwọn bi o ti dojukọ lori ikede data, iwọ yoo nilo lati lo ọpọlọpọ awọn irinṣẹ afikun fun ọpọlọpọ awọn apakan ti iṣan-iṣẹ imọ-jinlẹ data.
ifowoleri
O jẹ ọfẹ lati lo fun gbogbo eniyan.
3. DVC
Iṣakoso Ẹya Data jẹ ojutu ikede ikede data ọfẹ ti a ṣe apẹrẹ fun imọ-jinlẹ data ati awọn ohun elo ikẹkọ ẹrọ. O jẹ eto ti o fun ọ laaye lati ṣalaye opo gigun ti epo ni eyikeyi ede.
Nipa ṣiṣakoso awọn faili nla, awọn eto data, awọn awoṣe ikẹkọ ẹrọ, koodu, ati bẹbẹ lọ, ọpa naa jẹ ki awọn awoṣe ikẹkọ ẹrọ jẹ pinpin ati tun ṣe. Eto naa tẹle itọsọna Git ni pipese laini aṣẹ ti o rọrun ti o le ṣeto ni awọn igbesẹ diẹ nikan.
Gẹgẹbi orukọ rẹ ṣe tumọ si, DVC kii ṣe nipa ti ikede data nikan. O tun ṣe iṣakoso iṣakoso awọn opo gigun ti epo ati awọn awoṣe ikẹkọ ẹrọ fun awọn ẹgbẹ.
Nikẹhin, DVC yoo ṣe iranlọwọ ni imudarasi aitasera ti awọn awoṣe ẹgbẹ rẹ ati atunwi wọn. Dipo ti lilo idiju faili suffixes ati comments ni koodu, lo anfani ti Awọn ẹka Git lati gbiyanju awọn imọran titun. Lati rin irin-ajo, lo adaṣe adaṣe adaṣe dipo iwe ati pencil.
Lati atagba dédé awọn edidi ti imudani ẹrọ awọn awoṣe, data, ati koodu sinu iṣelọpọ, awọn kọnputa jijin, tabi tabili tabili ẹlẹgbẹ, o le lo awọn aṣẹ titari/fa dipo awọn iwe afọwọkọ ad-hoc.
Pros
- O jẹ iwuwo fẹẹrẹ, ṣiṣi-orisun, o si ṣiṣẹ pẹlu gbogbo awọn iru ẹrọ awọsanma pataki ati awọn iru ibi ipamọ.
- Rọ, agnostic ti ọna kika ati ilana, ati rọrun lati ṣe.
- Gbogbo awoṣe ML gbogbo itankalẹ le jẹ itopase pada si koodu orisun ati data rẹ.
konsi
- Isakoso opo gigun ati iṣakoso ẹya DVC jẹ asopọ ti ko ni iyasọtọ. Apọju yoo wa ti ẹgbẹ rẹ ba ti nlo ọja opo gigun ti epo miiran.
- Niwọn igba ti DVC jẹ iwuwo fẹẹrẹ, ẹgbẹ rẹ le nilo lati ṣe apẹrẹ awọn ẹya afikun pẹlu ọwọ lati jẹ ki o ni ore-olumulo diẹ sii.
ifowoleri
O jẹ ọfẹ lati lo fun gbogbo eniyan.
4. DeltaLake
DeltaLake jẹ Layer ibi ipamọ orisun-ìmọ ti o ṣe alekun igbẹkẹle adagun data. Delta Lake ṣe atilẹyin awọn iṣowo ACID ati iṣakoso metadata ti iwọn ni afikun si ṣiṣanwọle ati sisẹ data ipele.
O ṣiṣẹ pẹlu Apache Spark APIs o si joko lori adagun data ti o wa tẹlẹ. Pipin Delta jẹ ilana ṣiṣi akọkọ ni agbaye fun pinpin data ailewu ni iṣowo, jẹ ki o rọrun lati ṣe paṣipaarọ data pẹlu awọn iṣowo miiran ni ominira ti awọn eto kọnputa wọn.
Awọn adagun Delta ni o lagbara lati mu awọn petabytes ti data pẹlu irọrun. Metadata ti wa ni ipamọ ni ọna kanna bi data, ati awọn olumulo le gba ni lilo ọna Apejuwe Apejuwe. Awọn adagun Delta ni faaji ẹyọkan ti o le ka mejeeji ṣiṣan ati data ipele.
Upserts ni o rọrun a lilo Delta. Awọn iṣagbega wọnyi tabi awọn akojọpọ sinu tabili Delta jẹ afiwera si SQL Merges. O le lo lati ṣepọ data lati aaye data miiran sinu tabili rẹ ati ṣe awọn imudojuiwọn, fi sii, ati paarẹ.
Pros
- Ọpọlọpọ awọn agbara, bii awọn iṣowo ACID ati iṣakoso metadata to lagbara, le wa ninu ojutu ibi ipamọ data lọwọlọwọ rẹ.
- Delta Lake le ni bayi ṣakoso awọn tabili laisi wahala pẹlu awọn ọkẹ àìmọye ti awọn ipin ati awọn faili lori iwọn petabyte kan.
- Dinku iwulo fun iṣakoso ẹya data afọwọṣe ati awọn ifiyesi data miiran, gbigba awọn olupilẹṣẹ laaye lati dojukọ lori awọn ọja idagbasoke lori oke awọn adagun data wọn.
konsi
- Bii o ti ṣe apẹrẹ lati ṣiṣẹ pẹlu Spark ati data nla, Delta Lake jẹ apọju pupọ fun awọn iṣẹ ṣiṣe pupọ julọ.
- O nilo lati lo ọna kika data iyasọtọ, eyiti o ṣe opin irọrun rẹ ati jẹ ki o ni ibamu pẹlu awọn fọọmu lọwọlọwọ rẹ.
ifowoleri
O jẹ ọfẹ lati lo fun gbogbo eniyan.
5. Dolt
Dolt jẹ aaye data SQL ti o ṣe forking, cloning, branching, dapọ, titari, ati fifa ni ọna kanna bi ibi ipamọ git kan ṣe. Lati ni ilọsiwaju iriri olumulo ti ibi ipamọ data iṣakoso ẹya, Dolt ngbanilaaye data ati igbekalẹ lati yipada ni amuṣiṣẹpọ.
O jẹ ohun elo ti o tayọ fun iwọ ati awọn alabaṣiṣẹpọ rẹ lati ṣe ifowosowopo lori. O le sopọ si Dolt ni ọna kanna ti o ṣe si eyikeyi data MySQL miiran ati ṣiṣe awọn ibeere tabi ṣe awọn ayipada si data nipa lilo awọn aṣẹ SQL.
Nigba ti o ba de si ti ikede data, Dolt jẹ ọkan-ti-a-ni irú. Dolt jẹ ibi ipamọ data, ni idakeji si diẹ ninu awọn ojutu miiran ti o kan data ti ikede. Lakoko ti sọfitiwia wa lọwọlọwọ ni awọn ipele ibẹrẹ rẹ, awọn ireti wa lati jẹ ki o ni ibamu ni kikun pẹlu Git ati MySQL ni ọjọ iwaju nitosi.
Gbogbo awọn aṣẹ ti o mọ pẹlu lilo Git yoo tun ṣiṣẹ pẹlu Dolt. Awọn faili awọn ẹya Git, Awọn tabili awọn ẹya Dolt Lilo wiwo laini aṣẹ, gbe awọn faili CSV wọle, ṣe awọn ayipada rẹ, ṣe atẹjade wọn si latọna jijin, ati dapọ awọn ayipada ẹlẹgbẹ ẹlẹgbẹ rẹ.
Pros
- Lightweight ati orisun orisun ni apakan.
- Ni ifiwera si awọn yiyan ti ko boju mu diẹ sii, o ni wiwo SQL kan, ti o jẹ ki o ni iraye si diẹ sii si awọn atunnkanka data.
konsi
- Ni ifiwera si awọn omiiran ti ikede data data miiran, Dolt tun jẹ ọja to sese ndagbasoke.
- Niwọn igba ti Dolt jẹ ibi ipamọ data, o gbọdọ gbe data rẹ sinu rẹ lati gba awọn anfani.
ifowoleri
Gbogbo eniyan ni itẹwọgba lati lo igba agbegbe. Syeed ko pese idiyele Ere; dipo, o gbọdọ kan si olupese.
6. Pachyderm
Pachyderm jẹ eto iṣakoso ẹya imọ-jinlẹ data ọfẹ pẹlu ọpọlọpọ awọn ẹya. Idawọlẹ Pachyderm jẹ ipilẹ imọ-jinlẹ data ti o lagbara ti a ṣe apẹrẹ fun ifowosowopo iwọn-nla ni awọn agbegbe to ni aabo to gaju.
Pachyderm jẹ ọkan ninu atokọ diẹ ninu awọn iru ẹrọ imọ-jinlẹ data. Ibi-afẹde Pachyderm ni lati pese pẹpẹ ti o ṣakoso ọna kika data pipe ati jẹ ki o rọrun lati ṣe ẹda awọn awari ti awọn awoṣe ikẹkọ ẹrọ. Pachyderm ni a mọ ni “Docker ti Data” ni aaye yii. Pachyderm ṣe akopọ agbegbe ipaniyan rẹ nipa lilo awọn apoti Docker. Eyi jẹ ki o rọrun lati ṣe ẹda awọn abajade kanna.
Awọn onimọ-jinlẹ data ati awọn ẹgbẹ DevOps le ran awọn awoṣe ṣiṣẹ pẹlu igbẹkẹle ọpẹ si apapọ data ti ikede pẹlu Docker. Ṣeun si eto ipamọ ti o munadoko, petabytes ti iṣeto ati data ti a ko ṣeto ni a le ṣetọju lakoko ti awọn idiyele ipamọ ti wa ni o kere ju.
Ni gbogbo awọn ipele opo gigun ti epo, ikede ti o da lori faili n pese igbasilẹ iṣayẹwo ni kikun fun gbogbo data ati awọn ohun-ọṣọ, pẹlu awọn abajade agbedemeji. Ọpọlọpọ awọn agbara ọpa ni o wa nipasẹ awọn ọwọn wọnyi, eyiti o ṣe iranlọwọ fun awọn ẹgbẹ lati ni anfani pupọ julọ ninu rẹ.
Pros
- Da lori awọn apoti, awọn agbegbe data rẹ yoo jẹ gbigbe ati rọrun lati gbe laarin awọn olupese awọsanma.
- Logan, pẹlu agbara lati iwọn lati kekere si lalailopinpin nla awọn ọna šiše.
konsi
- Niwọn bi ọpọlọpọ awọn eroja gbigbe lo wa, gẹgẹbi olupin Kubernetes ti o ṣe pataki lati mu ẹda ọfẹ ti Pachyderm, ọna ikẹkọ ti o ga julọ wa.
- Pachyderm le jẹ nija lati ṣafikun sinu awọn amayederun ti o wa tẹlẹ ti ile-iṣẹ nitori ọpọlọpọ awọn paati imọ-ẹrọ.
ifowoleri
O le bẹrẹ lilo pẹpẹ pẹlu igba agbegbe ati fun ẹda ile-iṣẹ, o ni lati kan si ataja naa.
7. Neptune
Awọn metadata ile awoṣe jẹ iṣakoso nipasẹ ibi-itaja metadata ML, eyiti o jẹ abala pataki ti akopọ MLOps. Fun gbogbo iṣan-iṣẹ MLOps, Neptune ṣiṣẹ bi ibi ipamọ metadata ti aarin.
O le tọju abala, foju inu wo, ati ṣe afiwe ẹgbẹẹgbẹrun awọn awoṣe ikẹkọ ẹrọ gbogbo ni aye kan. O pẹlu awọn ẹya bii ipasẹ adanwo, iforukọsilẹ awoṣe, ati ibojuwo awoṣe, bakanna bi wiwo ifowosowopo. O pẹlu awọn irinṣẹ oriṣiriṣi 25 ati awọn ile ikawe ti a ṣepọ, pẹlu ikẹkọ awoṣe pupọ ati awọn irinṣẹ atunṣe hyperparameter.
O le darapọ mọ Neptune laisi lilo kaadi kirẹditi rẹ. Apamọ Gmail kan yoo to ni aaye rẹ.
Pros
- Idarapọ pẹlu opo gigun ti epo, sisan, koodu mimọ, tabi ilana jẹ rọrun.
- Awọn iwoju akoko gidi, API ti o rọrun, ati atilẹyin iyara
- Pẹlu Neptune, o le ṣe “afẹyinti” ti gbogbo awọn data idanwo rẹ ni ipo kan, eyiti o le gba pada nigbamii.
konsi
- Botilẹjẹpe kii ṣe orisun ṣiṣi patapata, ẹya ẹni kọọkan yoo jẹ aigbekele to fun lilo ikọkọ, botilẹjẹpe iru iraye si ni opin si oṣu kan.
- Awọn abawọn apẹrẹ kekere diẹ wa lati wa.
ifowoleri
O le bẹrẹ lilo pẹpẹ pẹlu ero Olukuluku eyiti o jẹ ọfẹ lati lo fun gbogbo eniyan. Abala idiyele bẹrẹ lati $150 fun oṣu kan.
ipari
Ninu ifiweranṣẹ yii, a jiroro awọn irinṣẹ ikede data ti o dara julọ. Ọpa kọọkan, bi a ti rii, ni awọn ẹya ara ẹrọ tirẹ. Diẹ ninu jẹ ọfẹ, lakoko ti awọn miiran nilo isanwo. Diẹ ninu wa ni ibamu daradara si awoṣe iṣowo kekere, lakoko ti awọn miiran dara dara si awoṣe iṣowo nla.
Bi abajade, o gbọdọ yan sọfitiwia ti o dara julọ fun awọn idi rẹ lẹhin iwọn awọn anfani ati awọn aila-nfani. A gba ọ niyanju pe ki o ṣe idanwo ẹya idanwo ọfẹ ṣaaju rira ọja Ere kan.
Fi a Reply