Faamatalaga Saienitisi ma fa'apolofesa a'oa'oga masini e feagai ma se numera tele o fa'amaumauga o ituaiga eseese i se galuega fa'asaienisi fa'amaumauga masani. Le tele o faʻataʻitaʻiga ua atiaʻe faʻatasi ma faʻasologa eseese ma foliga, faʻapea foʻi ma le tele o faʻasologa o le faʻaogaina o parakalafa e maua ai le faʻatinoga sili ona lelei.
I se fa'aaliga fa'apea, o suiga uma o fa'amaumauga ma fa'ata'ita'iga fa'agasologa o fa'agasologa e tatau ona mata'ituina ma fuaina ina ia iloa ai po'o le a le aoga ma le mea e le'i aoga. E taua foi le mafai ona toe foi i se lomiga talu ai ma vaavaai i taunuuga muamua.
Fa'atonu Fa'amatalaga Fa'amatalaga (DVC), lea e fesoasoani i le fa'afoeina o fa'amaumauga, o le fa'ata'ita'iga fa'avae, ma le fa'atinoina o taunu'uga e mafai ona toe fa'aleleia, o se tasi lea o tekonolosi e mafai ai ona tatou mata'ituina nei mea uma.
I lenei pou, o le a tatou vaʻavaʻai totoʻa ile Faʻatonuga Faʻamatalaga Faʻamatalaga, ma meafaigaluega sili ona lelei e faʻaoga. Tatou amata.
O le a le Fa'atonuga o Fa'amaumauga?
E mana'omia le fa'aliliuina mo faiga uma o le gaosiga. Ose nofoaga e tasi e maua ai fa'amatalaga sili ona lata mai. Soo se punaoa e masani ona suia, aemaise lava e le tele o tagata faʻaoga i le taimi e tasi, e manaʻomia le fausiaina o se suʻega auala e siaki ai suiga uma.
O le fa'atonuga o fa'amatalaga e nafa ma le fa'amautinoaina o lo'o i luga o le itulau e tasi tagata uma o le 'au. E fa'amaonia ai o lo'o galulue tagata uma i le 'au i le fa'asologa lata mai o le faila ma, e sili atu le taua, o lo'o galulue fa'atasi tagata uma i le galuega lava e tasi i le taimi.
Afai ei ai sau meafaigaluega talafeagai, e mafai ona e ausia lenei mea i se taumafaiga itiiti!
E iai au fa'amaumauga tumau ma se fa'amaumauga mae'ae'a o au su'esu'ega uma pe a e fa'aogaina se ta'iala fa'alagolago i fa'amaumauga o fa'amaumauga. Mea faigaluega fa'aliliuga fa'amaumauga e taua tele mo lau fa'agasolo galuega pe afai e te popole i le toe gaosia, su'esu'e, ma le tala fa'atusa o le ML.
Latou te fesoasoani ia te oe e maua se faʻamatalaga o se mea, e pei o se hash o se seti poʻo se faʻataʻitaʻiga, e mafai ona e faʻaogaina e iloa ma faʻatusatusa. O lenei fa'amatalaga fa'amatalaga e masani ona tu'u i totonu o lau fofo fa'afoega metadata e fa'amautinoa ai o lau a'oa'oga fa'ata'ita'iga o lo'o fa'aliliu ma toe fai.
Mea faigaluega Pule Sili Fa'amatalaga Fa'amatalaga
Ua o'o i le taimi e va'ava'ai ai i fa'amatalaga sili ona lelei fa'atonutonu fa'amatalaga o lo'o avanoa, lea e mafai ona e fa'aogaina e siaki ai vaega uma o lau code.
1. git-lfs
Ole poloketi Git LFS e leai se totogi e fa'aoga. I totonu o le Git, o faila tetele e pei o faʻataʻitaʻiga leo, vitiō, faʻamaumauga, ma ata e suitulaga i faʻamatalaga tusitusia, ma o mea o loʻo i totonu o faila o loʻo faʻasaoina i luga o se server mamao e pei o GitHub.com poʻo GitHub Enterprise.
E fa'atagaina oe e fa'aoga Git e fa'aliliu ai faila tetele-e o'o atu i le tele o GB i le lapopo'a-fa'afeiloa'i atili i au faleteuoloa Git e fa'aoga ai le teuina i fafo, ma fa'apipi'i ma toe maua vave faila faila. A o'o mai i le fa'afoega o fa'amaumauga, o se tali faigofie lea. Ina ia galulue faʻatasi ma Git, e te le manaʻomia ni faʻatonuga faaopoopo, faiga e teu ai, poʻo mea faigaluega.
E fa'atapula'aina le aofa'i o fa'amatalaga e te siiina mai. O lona uiga o le faʻapipiʻiina ma le toe maua mai o faila tetele mai fale teu oloa o le a vave. O faʻailoga e faia i se mea mama ma faʻasino i le LFS.
O se taunuuga, a e tuleia lau repo i totonu o le fale teu oloa, e vave faʻafouina ma faʻaitiitia avanoa.
tulaga e lelei
- Fa'afaigofie ona tu'ufa'atasia i le atina'eina o galuega a le tele o pisinisi.
- E leai se manaʻoga e faʻatautaia ai aia tatau aua e faʻaaogaina tutusa faʻatagaga e pei o le Git repository.
leaga
- Git LFS e manaʻomia le faʻaogaina o sapalai tuuto e teu ai au faʻamatalaga. O le i'uga, o le a loka au 'au fa'asaienisi fa'amatalaga, ma o le a si'itia lau galuega fa'ainisinia.
- Fa'apitoa fa'apitoa, ma e ono mana'omia le fa'aogaina o mea faigaluega eseese mo vaega mulimuli ane i le su'esu'ega fa'asaienisi fa'amaumauga.
tau
E leai se totogi e fa'aoga mo tagata uma.
2. VaitulotoFS
O le LakeFS o se faʻamatalaga faʻamatalaga faʻamatalaga tatala lea e teu ai faʻamatalaga i le S3 poʻo le GCS ma e iai se faʻasologa o le Git-pei ma le faʻatinoina o faʻataʻitaʻiga e fua i petabytes.
O lenei ta'iala fa'alafua e fa'amalieina ai lau vaituloto ACID e ala i le fa'atagaina o suiga e tutupu i lala ma'oti e mafai ona fau, tu'u fa'atasi, ma toe fa'afo'i fa'atotoma ma vave.
O le LakeFS e mafai ai e 'au ona fai fa'amatalaga vaituloto gaioiga e toe fa'afo'i, atomic, ma fa'aliliuga. O se tagata fou i le vaaiga, ae o se malosi e tatau ona mafaufau i ai.
E fa'aogaina ai le fa'aogaina o le fa'asologa o le Git-pei ma le fa'atonuga e fegalegaleai ai ma lau vaituloto fa'amatalaga, e mafai ona fa'ateleina i Petabytes o fa'amaumauga. I luga o se fua exabyte, e mafai ona e siaki mo le puleaina o faʻamatalaga.
tulaga e lelei
- Git-pei o gaioiga e aofia ai lala, tuʻuina, tuʻufaʻatasia, ma toe faʻafoʻi.
- E fa'aoga matau e muamua tu'u fa'atasi/fa'atasi mo fa'amaumauga CI/CD siaki.
- Tuuina atu uiga lavelave e pei ole ACID fefa'ataua'iga mo le teuina o ao faigofie e pei ole S3 ma le GCS, a'o tumau pea le fa'ailoga.
- Toe fa'afo'i suiga i fa'amaumauga i le taimi moni.
- Fua faigofie, faʻatagaina e faʻaogaina vaituloto tele faʻamaumauga. E mafai ona tu'uina atu le fa'atonuga mo le atina'e ma le gaosiga.
leaga
- O le LakeFS o se oloa fou, o le mea lea e mafai ai ona vave suia galuega ma faʻamaumauga nai lo fofo muamua.
- Talu ai o lo'o taula'i i le fa'aliliuina o fa'amaumauga, e mana'omia lou fa'aogaina o meafaigaluega fa'aopoopo eseese mo vaega eseese ole su'esu'ega fa'asaienisi fa'amatalaga.
tau
E leai se totogi e fa'aoga mo tagata uma.
3. DVC
Fa'atonu Fa'amatalaga Fa'amatalaga o se fofo fa'aliliuga fa'amaumauga e leai se totogi ua fuafuaina mo fa'amatalaga faasaienisi ma masini a'oa'oga. Ose polokalame e fa'ataga ai oe e fa'amatala lau paipa i so'o se gagana.
E ala i le puleaina o faila tetele, faʻamaumauga o faʻamaumauga, faʻataʻitaʻiga aʻoaʻoga masini, code, ma isi mea, o le meafaigaluega e mafai ai ona faʻasoa faʻataʻitaʻiga masini ma toe faʻaleleia. O le polokalame e mulimuli i le taʻitaʻiga a Git i le tuʻuina atu o se laina faʻatonu faigofie e mafai ona faʻatulagaina i ni nai laasaga.
E pei ona taʻu mai e lona igoa, DVC e le gata e uiga i faʻamatalaga faʻamaumauga. E fa'afaigofieina fo'i le fa'afoeina o paipa ma fa'ata'ita'iga a'oa'oga masini mo 'au.
Ma le mea mulimuli, DVC o le a fesoasoani i le faʻaleleia atili o le tutusa o faʻataʻitaʻiga a lau 'au ma le toe faʻaaogaina. Nai lo le faʻaogaina o suffix faila lavelave ma faʻamatalaga i le code, faʻaoga lelei lala Git e faataitai ai ni manatu fou. Ina ia femalagaa'i, fa'aaoga le metric-tracking otometi nai lo pepa ma penitala.
Ia fa'asalalau atu fusi fa'atasi o masini suʻesuʻe fa'ata'ita'iga, fa'amaumauga, ma fa'ailoga i le gaosiga, komipiuta mamao, po'o le laulau a se uo faigaluega, e mafai ona e fa'aogaina fa'atonuga tu'i/toso nai lo fa'amaumauga fa'apitoa.
tulaga e lelei
- E mama, tatala-puna, ma e galue i tulaga tetele ao uma ma ituaiga teuina.
- Faigofie, agnostic o faatulagaga ma auivi, ma faigofie ona faatino.
- O fa'ata'ita'iga uma a le ML e mafai ona toe maua i tua i lona fa'ailoga ma fa'amaumauga.
leaga
- Pulea paipa ma le DVC version control e feso'ota'i vavalalata. O le a iai le toe fa'aaogaina pe afai o lo'o fa'aogaina e lau 'au se isi oloa fa'amaumauga paipa.
- Talu ai e mama le DVC, atonu e mana'omia e lau 'au ona fa'ata'ita'iina ma le lima nisi vaega fa'aopoopo ina ia fa'afaigofie ai le fa'aoga.
tau
E leai se totogi e fa'aoga mo tagata uma.
4. DeltaLake
DeltaLake o se faʻamaumauga e teu ai punaoa e faʻaleleia ai le faʻatuatuaina o vaituloto. E lagolagoina e Delta Lake fefaʻatauaiga a le ACID ma faʻatautaia metadata faʻaopoopo e faʻaopoopo i le tafe ma le faʻasologa o faʻamaumauga.
E galue ma Apache Spark API ma nofo i luga o lau vaituloto faʻamatalaga o loʻo iai. O le Delta Sharing o le fa'asalalauga muamua lea a le lalolagi mo fefa'asoaa'i fa'amatalaga saogalemu i pisinisi, fa'afaigofie ona fa'afesuia'i fa'amatalaga ma isi pisinisi e tuto'atasi mai a latou komipiuta.
Delta Lakes e mafai ona faʻatautaia petabytes o faʻamaumauga ma le faigofie. Metadata o loʻo teuina i le auala lava e tasi e pei o faʻamaumauga, ma e mafai e tagata faʻaoga ona maua i le faʻaaogaina o le Describe Detail method. Delta Lakes ei ai se fausaga e tasi e mafai ona faitau uma faʻamaumauga ma faʻamaumauga.
Upserts e faigofie ona fai e faʻaaoga ai Delta. O nei upserts poʻo tuʻufaʻatasiga i totonu o le Delta laulau e faʻatusatusa i SQL Merges. E mafai ona e faʻaogaina e tuʻufaʻatasia ai faʻamatalaga mai se isi faʻamatalaga faʻapipiʻi i lau laulau ma faia faʻafouga, faʻaofi, ma tape.
tulaga e lelei
- Le tele o agava'a, e pei o fefa'ataua'iga ACID ma pulega malosi metadata, e mafai ona maua i lau fofo fa'amaumauga o lo'o iai nei.
- E mafai nei e Delta Lake ona fa'atautaia ma le faigofie laulau ma le faitau piliona o vaeluaga ma faila i luga o le petabyte-scale.
- Faʻaitiitia le manaʻoga mo le faʻatonutonuina o faʻamaumauga o faʻamaumauga ma isi faʻamatalaga faʻamatalaga, faʻatagaina le au atinaʻe e taulaʻi i le atinaʻeina o oloa i luga o latou vaituloto faʻamatalaga.
leaga
- E pei ona mamanuina e galulue ai ma Spark ma tele faʻamaumauga, Delta Lake e masani ona faʻamaeʻaina mo le tele o galuega.
- E manaʻomia le faʻaogaina o se faʻamaumauga tuʻufaʻatasia, lea e faʻatapulaʻaina ai lona fetuutuunai ma faʻafefe ai ma au pepa o iai nei.
tau
E leai se totogi e fa'aoga mo tagata uma.
5. Dolt
O le Dolt o se faʻamaumauga SQL e faia ai le tui, faʻapipiʻi, lala, tuʻufaʻatasia, tuleia, ma toso i le auala lava e tasi e pei o le git repository. Ina ia faʻaleleia le faʻaogaina o le faʻaogaina o se faʻamaumauga e pulea faʻamaumauga, Dolt faʻatagaina faʻamaumauga ma fausaga e sui i le sync.
Ose meafaigaluega sili mo oe ma au paaga faigaluega e galulue faʻatasi ai. E mafai ona e faʻafesoʻotaʻi i Dolt i le auala lava e tasi e te faia i soʻo se isi MySQL database ma faʻatautaia fesili pe fai suiga i faʻamatalaga e faʻaaoga ai tulafono SQL.
A o'o mai i fa'amaumauga fa'amaumauga, o Dolt e tasi-o-le-ituaiga. O le Dolt o se fa'amaumauga, e fa'afeagai ma nisi o fofo e na'o fa'amaumauga fa'amaumauga. E ui o loʻo i ai nei le polokalama i lona amataga, o loʻo i ai le faʻamoemoe e faʻaogaina atoatoa ma Git ma MySQL i se taimi lata mai.
O tulafono uma e te masani i le faʻaaogaina ma Git o le a aoga foi ma Dolt. Git versions files, Dolt versions tables Fa'aaogā le laina fa'atonuga, fa'aulufale mai faila CSV, fai au suiga, lolomi i se mamao, ma tu'u fa'atasi suiga a lau 'au.
tulaga e lelei
- Mamafa ma Avanoa tatala i se vaega.
- Pe a faʻatusatusa i filifiliga sili atu le manino, o loʻo i ai se faʻaoga SQL, faʻafaigofie ona maua e tagata suʻesuʻe faʻamaumauga.
leaga
- Pe a fa'atusatusa i isi fa'amatalaga fa'amaumauga, o lo'o avea pea le Dolt ma oloa fa'atupuina.
- Talu ai o Dolt o se faʻamaumauga, e tatau ona e tuʻuina atu au faʻamatalaga i totonu e maua ai faʻamanuiaga.
tau
E fa'afeiloa'i tagata uma e fa'aoga le sauniga fa'alenu'u. E le tu'uina atu e le fa'asalalauga tau fa'apitoa; nai lo lena, e tatau ona e fa'afeso'ota'i le kamupani.
6. Pachyderm
Pachyderm o se fa'amaumauga fa'asaienisi fa'amaumauga e leai se totogi ma le tele o foliga. Pachyderm Enterprise ose fa'amaumauga fa'asaienisi mamana ua fuafuaina mo le galulue fa'atasi i totonu o si'osi'omaga sili ona malupuipuia.
Pachyderm o se tasi o nai fa'amaumauga fa'asaienisi fa'amaumauga a le lisi. O le sini a Pachyderm o le tuʻuina atu lea o se faʻavae e pulea ai le taamilosaga atoa o faʻamaumauga ma faʻafaigofie ona faʻaluaina mea na maua o faʻataʻitaʻiga aʻoaʻoga masini. Pachyderm ua lauiloa o le "Docker of Data" i lenei tulaga. Pachyderm faʻapipiʻi lau siosiomaga faʻataunuʻu e faʻaaoga ai pusa Docker. Ole mea lea e fa'afaigofie ai le fa'aluaina o fa'ai'uga tutusa.
Saienitisi faʻamaumauga ma 'au DevOps e mafai ona faʻapipiʻi faʻataʻitaʻiga ma le mautinoa faʻafetai i le tuʻufaʻatasia o faʻamaumauga faʻamaumauga ma Docker. Fa'afetai i se faiga lelei e teu ai, petabytes o fa'amaumauga fa'atulagaina ma e le'i fa'atulagaina e mafai ona fa'atumauina a'o fa'atumauina tau e teu ai.
I vaega uma o le paipa, o le fa'avasegaina o faila e maua ai se fa'amaumauga su'etusi mae'ae'a mo fa'amaumauga uma ma mea taua, e aofia ai galuega fa'avaitaimi. O le tele o mea faigaluega o loʻo faʻamalosia e nei poutu, e fesoasoani i 'au e maua ai le tele o mea.
tulaga e lelei
- Fa'avae i luga o koneteina, o au siosiomaga fa'amatalaga o le a feavea'i ma faigofie ona fa'afeiloa'i i le va o kamupani e tu'uina atu ao.
- Malosi, fa'atasi ai ma le malosi e fua ai mai le la'ititi i faiga tetele.
leaga
- Talu ai e tele naua elemene feʻaveaʻi, e pei o le Kubernetes server e manaʻomia e faʻatautaia ai le lomiga saoloto a Pachyderm, o loʻo i ai se aʻoaʻoga maualuga atu.
- Pachyderm atonu e luʻitau le tuʻufaʻatasia i totonu o atinaʻe o loʻo i ai nei a le kamupani ona o le tele o ona vaega faʻatekonolosi.
tau
E mafai ona e amata faʻaogaina le faʻavae ma le faʻalapotopotoga faʻalapotopotoga ma mo le lomiga atinaʻe, e tatau ona e faʻafesoʻotaʻi le tagata faʻatau.
7. Neptune
Fa'ata'ita'iga-fausia metadata o lo'o pulea e le ML metadata store, o se itu taua o le MLOps stack. Mo so'o se fa'asologa o galuega a le MLOps, o Neptune o lo'o avea ma fa'amautu fa'amaumauga metadata.
E mafai ona e siaki, va'ai, ma fa'atusatusa le faitau afe o fa'ata'ita'iga a'oa'oga masini uma i le nofoaga e tasi. E aofia ai foliga e pei o le suʻega faʻataʻitaʻiga, faʻataʻitaʻiga resitala, ma faʻataʻitaʻiga mataʻituina, faʻapea foʻi ma se fesoʻotaʻiga faʻatasi. E aofia ai le silia ma le 25 meafaigaluega eseese ma faletusi ua tuʻufaʻatasia, e aofia ai le tele o aʻoaʻoga faʻataʻitaʻiga ma meafaigaluega faʻalogo hyperparameter.
E mafai ona e auai mo Neptune e aunoa ma le faʻaaogaina o lau kata fai aitalafu. O le a lava se tala Gmail i lona tulaga.
tulaga e lelei
- Faʻatasi ma soʻo se paipa, tafe, codebase, poʻo faʻavae e faigofie.
- O fa'aaliga va'aia, le API faigofie, ma le lagolago vave
- Faatasi ai ma Neptune, e mafai ona e faia se "backup" o faʻamaumauga uma o au suʻega i se nofoaga e tasi, lea e mafai ona e toe faʻaleleia mulimuli ane.
leaga
- E ui lava e le'o fa'amamafa atoa, o se fa'amatalaga ta'itasi e ono lava mo le fa'aoga tumaoti, e ui ina fa'atapula'aina lea avanoa ile masina e tasi.
- E i ai nai fa'aletonu mamanu laiti e maua.
tau
E mafai ona e amata faʻaogaina le faʻavae ma le fuafuaga a le tagata lava ia e saoloto e faʻaoga mo tagata uma. Ole vaega ole tau e amata ile $150/masina.
iʻuga
I lenei pou, na matou talanoaina ai meafaigaluega sili ona lelei mo faʻamaumauga. O meafaigaluega taʻitasi, e pei ona tatou vaʻaia, e iai ona lava seti o foliga. O nisi sa leai se totogi, a o isi sa manaʻomia se totogi. O nisi e fetaui lelei i le faʻataʻitaʻiga pisinisi laiti, aʻo isi e sili atu ona fetaui ma le faʻataʻitaʻiga pisinisi tele.
O se taunuuga, e tatau ona e filifilia le polokalama sili ona lelei mo ou faamoemoega pe a uma ona fuaina le lelei ma le le lelei. Matou te fa'amalosia e te fa'ata'ita'i le fa'ata'ita'iga fua fua a'o le'i fa'atau se oloa fa'apitoa.
Tuua se tali