Diversi setturi globali qed jibdew jinvestu b'mod aktar sostanzjali fit-tagħlim tal-magni (ML).
Il-mudelli ML jistgħu jiġu inizjalment imnedija u operati minn timijiet ta 'speċjalisti, iżda wieħed mill-akbar ostakli huwa t-trasferiment tal-għarfien miksub għall-mudell li jmiss sabiex il-proċessi jkunu jistgħu jiġu estiżi.
Biex jittejbu u jiġu standardizzati l-proċessi involuti fil-ġestjoni taċ-ċiklu tal-ħajja tal-mudelli, it-tekniki MLOps qed jintużaw dejjem aktar mit-timijiet li joħolqu mudelli ta 'tagħlim tal-magni.
Kompli aqra biex issir taf aktar dwar uħud mill-aqwa għodod u pjattaformi MLOps disponibbli llum u kif jistgħu jagħmlu t-tagħlim bil-magni aktar faċli mil-lat għodda, żviluppatur u proċedurali.
X'inhu MLOps?
Teknika għall-ħolqien ta’ politiki, normi, u l-aħjar prattiki għal mudelli ta’ tagħlim bil-magni hija magħrufa bħala “operazzjonijiet ta’ tagħlim bil-magni,” jew “MLOps”.
MLOps għandu l-għan li jiggarantixxi li ċ-ċiklu tal-ħajja kollu tal-iżvilupp tal-ML — mill-konċepiment sal-iskjerament — ikun iddokumentat u ġestit b'mod metikoluż għall-aħjar riżultati aktar milli jinvesti fih ħafna ħin u riżorsi mingħajr strateġija.
L-għan tal-MLOps huwa li jikkodifika l-aħjar prattiki b'tali mod li jagħmel l-iżvilupp tat-tagħlim tal-magni aktar skalabbli għall-operaturi u l-iżviluppaturi tal-ML, kif ukoll biex itejbu l-kwalità u s-sigurtà tal-mudelli tal-ML.
Xi wħud jirreferu għal MLOps bħala "DevOps għat-tagħlim tal-magni" peress li japplika b'suċċess il-prinċipji DevOps għal qasam aktar speċjalizzat ta 'żvilupp teknoloġiku.
Dan huwa mod utli biex wieħed jaħseb dwar MLOps għaliex, bħal DevOps, jenfasizza l-qsim tal-għarfien, il-kollaborazzjoni, u l-aħjar prattiki fost it-timijiet u l-għodod.
MLOps jipprovdi lill-iżviluppaturi, xjenzati tad-dejta, u timijiet tal-operazzjonijiet b'qafas biex jikkooperaw u, bħala riżultat, jipproduċu l-aktar mudelli ML b'saħħithom.
Għaliex Uża Għodod MLOps?
L-għodod tal-MLOps jistgħu jwettqu firxa wiesgħa ta' dmirijiet għal tim ML, madankollu, ħafna drabi huma maqsuma f'żewġ gruppi: amministrazzjoni tal-pjattaforma u ġestjoni tal-komponenti individwali.
Filwaqt li xi prodotti MLOps jiffokaw biss fuq funzjoni ewlenija waħda, bħall-ġestjoni tad-dejta jew tal-metadejta, għodod oħra jadottaw strateġija li tinkludi aktar kollox u jipprovdu pjattaforma MLOps biex tikkontrolla diversi aspetti taċ-ċiklu tal-ħajja tal-ML.
Fittex soluzzjonijiet MLOps li jgħinu lit-tim tiegħek fil-ġestjoni ta' dawn l-oqsma ta' żvilupp ML, kemm jekk qed tfittex speċjalista jew għodda aktar wiesgħa:
- Immaniġġjar tad-data
- Disinn u mmudellar
- Ġestjoni ta' proġetti u post tax-xogħol
- Skjerament tal-mudell ML u manutenzjoni kontinwa
- Ġestjoni taċ-ċiklu tal-ħajja mill-bidu sat-tmiem, li hija tipikament offruta minn pjattaformi MLOps b'servizz sħiħ.
Għodod MLOps
1. MLFlow
Iċ-ċiklu tal-ħajja tat-tagħlim tal-magni huwa kkontrollat mill-pjattaforma open-source MLflow u jinkludi reġistrazzjoni, skjerament u esperimentazzjoni tal-mudell ċentrali.
MLflow jista 'jintuża minn kull tim ta' daqs, kemm individwalment kif ukoll kollettivament. Il-libreriji m'għandhom l-ebda effett fuq l-għodda.
Kwalunkwe lingwa ta 'programmar u librerija tat-tagħlim tal-magni jistgħu jutilizzawha.
Biex tagħmilha aktar sempliċi biex jitħarrġu, jiġu skjerati u mmaniġġjati applikazzjonijiet ta' tagħlim bil-magni, MLFlow jinteraġixxi ma' għadd ta' oqfsa ta' tagħlim bil-magni, inklużi TensorFlow u Pytorch.
Barra minn hekk, MLflow jipprovdi APIs faċli biex jintużaw li jistgħu jiġu inklużi fi kwalunkwe programm jew librerija eżistenti ta’ tagħlim tal-magni.
MLflow għandu erba' karatteristiċi ewlenin li jiffaċilitaw esperimenti ta' traċċar u ppjanar:
- Traċċar MLflow - API u UI għall-illoggjar tal-parametri tal-kodiċi tat-tagħlim tal-magni, verżjonijiet, metriċi, u artifacts kif ukoll biex sussegwentement jintwerew u jikkuntrastaw ir-riżultati
- Proġetti MLflow - kodiċi tat-tagħlim tal-magni tal-ippakkjar f'format riproduċibbli u li jista' jerġa' jintuża għal trasferiment għall-produzzjoni jew qsim ma' xjenzati tad-dejta oħra
- Mudelli MLflow - iż-żamma u l-iskjerament ta' mudelli għal firxa ta' sistemi ta' servizz u inferenza tal-mudelli minn libreriji ML varji
- Reġistru tal-Mudell MLflow – maħżen ċentrali tal-mudelli li jippermetti ġestjoni kooperattiva tal-ħajja kollha ta' mudell MLflow, inklużi l-verżjoni tal-mudell, it-tranżizzjonijiet tal-istadji, u l-annotazzjonijiet.
2. KubeFlow
Il-kaxxa tal-għodda ML għal Kubernetes tissejjaħ Kubeflow. Ippakkjar u ġestjoni ta 'kontenituri Docker, għajnuniet fil-manutenzjoni ta' sistemi ta' tagħlim bil-magni.
Billi tissimplifika l-orkestrazzjoni tal-ġiri u l-iskjeramenti tal-flussi tax-xogħol tat-tagħlim tal-magni, tippromwovi l-iskalabbiltà tal-mudelli tat-tagħlim tal-magni.
Huwa proġett ta’ sors miftuħ li jinkludi grupp magħżul bir-reqqa ta’ għodod u oqfsa komplementari mfassla għall-ħtiġijiet differenti tal-ML.
Ħidmiet twal ta 'taħriġ ML, esperimentazzjoni manwali, ripetibbiltà, u sfidi DevOps jistgħu jiġu ttrattati b'Kubeflow Pipelines.
Għal diversi stadji ta 'tagħlim tal-magni, inkluż taħriġ, żvilupp ta' pipeline, u manutenzjoni ta ' notebooks jupyter, Kubeflow joffri servizzi speċjalizzati u integrazzjoni.
Jagħmilha sempliċi biex timmaniġġja u ssegwi l-ħajja tal-piżijiet tax-xogħol tal-AI tiegħek kif ukoll biex tuża mudelli ta’ tagħlim tal-magni (ML) u pipelines tad-dejta fir-raggruppamenti ta’ Kubernetes.
Dan joffri:
- Notebooks għall-użu tal-SDK biex jinteraġixxu mas-sistema
- interface għall-utent (UI) għall-kontroll u l-monitoraġġ tal-ġirjiet, l-impjiegi, u l-esperimenti
- Biex tfassal malajr soluzzjonijiet minn tarf sa tarf mingħajr ma jkollok bżonn tibni mill-ġdid kull darba, u tuża mill-ġdid komponenti u pipelines.
- Bħala komponent ewlieni ta 'Kubeflow jew bħala installazzjoni waħedha, Kubeflow Pipelines huwa offrut.
3. Kontroll tal-Verżjoni tad-Data
Soluzzjoni ta 'kontroll tal-verżjoni b'sors miftuħ għal proġetti ta' tagħlim tal-magni tissejjaħ DVC, jew Kontroll tal-Verżjoni tad-Data.
Tkun xi tkun il-lingwa li tagħżel, hija għodda sperimentali li tgħin fid-definizzjoni tal-pipeline.
DVC juża kodiċi, verżjoni tad-dejta, u riproduċibbiltà biex jgħinek tiffranka l-ħin meta tiskopri kwistjoni b'verżjoni preċedenti tal-mudell ML tiegħek.
Barra minn hekk, tista 'tuża pipelines DVC biex tħarreġ il-mudell tiegħek u tqassam lill-membri tat-tim tiegħek. L-organizzazzjoni u l-verżjoni tad-dejta kbira jistgħu jiġu mmaniġġjati minn DVC, u d-dejta tista 'tinħażen b'mod aċċessibbli faċilment.
Għalkemm jinkludi xi karatteristiċi ta 'traċċar ta' esperimenti (limitati), jiffoka l-aktar fuq il-verżjoni u l-ġestjoni tad-dejta u tal-pipeline.
Dan joffri:
- Huwa agnostiku tal-ħażna, għalhekk huwa possibbli li timpjega varjetà ta 'tipi ta' ħażna.
- Jipprovdi stats ta 'traċċar ukoll.
- mezz mibni minn qabel biex tgħaqqad l-istadji ML f'DAG u tmexxi l-pipeline kollu mill-bidu sat-tmiem
- L-iżvilupp kollu ta' kull mudell ML jista' jiġi segwit bl-użu tal-kodiċi kollu tiegħu u l-provenjenza tad-dejta.
- Riproduċibbiltà billi tippreserva fedelment il-konfigurazzjoni inizjali, id-dejta tal-input, u l-kodiċi tal-programm għal esperiment.
4. Pakiderma
Pachyderm huwa programm ta 'kontroll tal-verżjoni għat-tagħlim tal-magni u x-xjenza tad-dejta, simili għal DVC.
Barra minn hekk, minħabba li nħoloq bl-użu Docker u Kubernetes, jista 'jesegwixxi u juża applikazzjonijiet ta' Tagħlim tal-Machine fuq kwalunkwe pjattaforma tas-sħab.
Pachyderm jagħmel garanziji li kull biċċa ta 'dejta li tiġi kkunsmata f'mudell ta' tagħlim bil-magni tista 'tiġi traċċata lura u verżjoni.
Jintuża biex joħloq, jiddistribwixxi, jimmaniġġja u jżomm għajnejh fuq mudelli ta' tagħlim bil-magni. Reġistru mudell, sistema ta 'ġestjoni tal-mudell, u kaxxa tal-għodda CLI huma kollha inklużi.
L-iżviluppaturi jistgħu awtomatizzati u jespandu ċ-ċiklu tal-ħajja tat-tagħlim tal-magni tagħhom billi jużaw il-pedament tad-dejta ta 'Pachyderm, li jiżgura wkoll ir-ripetibbiltà.
Jappoġġja standards stretti ta’ governanza tad-dejta, inaqqas l-ispejjeż tal-ipproċessar u l-ħażna tad-dejta, u jgħin lin-negozji biex iġibu l-inizjattivi tax-xjenza tad-dejta tagħhom fis-suq aktar malajr.
5. Polyaxon
Bl-użu tal-pjattaforma Polyaxon, proġetti ta 'tagħlim bil-magni u applikazzjonijiet ta' tagħlim profond jistgħu jiġu replikati u ġestiti matul iċ-ċiklu tal-ħajja kollu tagħhom.
Polyaxon huwa kapaċi jospita u jamministra l-għodda, u jista 'jitqiegħed fi kwalunkwe ċentru tad-dejta jew fornitur tas-sħab. Bħal Torch, Tensorflow, u MXNet, li jappoġġjaw l-oqfsa ta’ tagħlim profond l-aktar popolari.
Fejn tidħol l-orkestrazzjoni, Polyaxon jippermettilek li tagħmel l-aħjar mill-cluster tiegħek billi tippjana kompiti u testijiet permezz tal-CLI, dashboard, SDKs jew REST API tagħhom.
Dan joffri:
- Tista' tuża l-verżjoni open-source issa, iżda tinkludi wkoll għażliet għall-korporazzjoni.
- Għalkemm ikopri ċ-ċiklu tal-ħajja sħiħ, inkluż l-orkestrazzjoni tal-ġiri, huwa kapaċi ħafna aktar.
- B'dokumenti ta 'referenza tekniċi, linji gwida għall-bidu, materjali ta' tagħlim, manwali, tutorials, changelogs, u aktar, hija pjattaforma dokumentata tajjeb ħafna.
- Bid-dashboard tal-għarfien tal-esperimenti, huwa possibbli li żżomm għajnejk fuq, issegwi, u tevalwa kull esperiment ta 'ottimizzazzjoni.
6. Comet
Comet hija pjattaforma għat-tagħlim meta magni li ssegwi, tikkuntrasta, tispjega, u ttejjeb l-esperimenti u l-mudelli.
L-esperimenti kollha tiegħek jistgħu jidhru u jitqabblu f'post wieħed.
Hija tiffunzjona għal kwalunkwe kompitu ta 'tagħlim bil-magni, kullimkien jitwettaq il-kodiċi tiegħek, u ma' kwalunkwe librerija tat-tagħlim bil-magni.
Comet huwa xieraq għal gruppi, individwi, istituzzjonijiet akkademiċi, negozji, u xi ħadd ieħor li jixtieq jivviżwalizza malajr esperimenti, jissimplifika x-xogħol, u jwettaq esperimenti.
Ix-xjentisti u t-timijiet tad-dejta jistgħu jsegwu, jiċċaraw, itejbu u jqabblu esperimenti u mudelli bl-użu tal-pjattaforma ta' tagħlim tal-meta-magna Comet self-hosted u bbażata fuq il-cloud.
Dan joffri:
- Jeżistu ħafna kapaċitajiet għall-membri tat-tim biex jaqsmu l-kompiti.
- Għandu diversi integrazzjonijiet li jagħmluha sempliċi biex torbotha ma 'teknoloġiji oħra
- Taħdem tajjeb mal-libreriji ML attwali
- Jieħu ħsieb il-ġestjoni tal-utenti
- It-tqabbil tal-esperimenti huwa attivat, inkluż paragun tal-kodiċi, iperparametri, metriċi, tbassir, dipendenzi, u metriċi tas-sistema.
- Jipprovdi moduli distinti għall-viżjoni, awdjo, test, u data tabulari li jħalluk Ħares kampjuni.
7. Optuna
Optuna hija sistema għall-ottimizzazzjoni awtonoma tal-iperparametri li tista 'tiġi applikata kemm għat-tagħlim tal-magni kif ukoll għat-tagħlim profond kif ukoll għal oqsma oħra.
Fiha varjetà ta 'algoritmi avvanzati li minnhom tista' tagħżel (jew torbot), jagħmilha sempliċi ħafna li tqassam it-taħriġ fuq bosta kompjuters, u toffri viżwalizzazzjoni ta 'riżultati attraenti.
Libreriji popolari tat-tagħlim tal-magni bħal PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM, u XGBoost huma kollha integrati magħha.
Jipprovdi algoritmi avvanzati li jippermettu lill-klijenti jiksbu riżultati aktar malajr billi jnaqqsu malajr il-kampjuni li ma jidhrux promettenti.
Bl-użu ta' algoritmi bbażati fuq Python, awtomatikament ifittex l-iperparametri ideali. Optuna tinkoraġġixxi tfittxijiet iperparametri paralleli f'ħafna ħjut mingħajr ma tbiddel il-kodiċi oriġinali.
Dan joffri:
- Jappoġġja taħriġ imqassam fuq cluster kif ukoll kompjuter wieħed (multi-proċess) (multi-node)
- Jappoġġja diversi tekniki ta’ tirqim biex tħaffef il-konverġenza (u tuża inqas komputazzjoni)
- Għandu varjetà ta 'viżwalizzazzjonijiet qawwija, bħal plot slice, plot tal-kontorn, u koordinati paralleli.
8. Kedro
Kedro huwa qafas Python b'xejn għall-kitba tal-kodiċi li jista 'jiġi aġġornat u miżmum għal proġetti tax-xjenza tad-dejta.
Iġib ideat mill-aħjar prattiki fl-inġinerija tas-softwer għall-kodiċi tat-tagħlim tal-magni. Python huwa l-pedament ta 'din l-għodda ta' orkestrazzjoni tal-fluss tax-xogħol.
Biex tagħmel il-proċessi ML tiegħek aktar sempliċi u preċiżi, tista 'tiżviluppa flussi tax-xogħol riproduċibbli, li jistgħu jinżammu u modulari.
Kedro jinkorpora prinċipji ta 'inġinerija tas-softwer bħall-modularità, is-separazzjoni tar-responsabbiltajiet, u l-verżjoni f'ambjent ta' tagħlim tal-magni.
Fuq il-bażi ta' Cookiecutter Data Science, jipprovdi qafas ta' proġett komuni u adattabbli.
Numru ta 'konnetturi tad-dejta sempliċi użati biex jaħżnu u jgħabbu d-dejta f'diversi sistemi ta' fajls u formati ta 'fajls, huma ġestiti mill-katalgu tad-dejta. Jagħmel il-proġetti tat-tagħlim tal-magni aktar effettivi u jagħmilha aktar sempliċi biex jinbena pipeline tad-dejta.
Dan joffri:
- Kedro jippermetti l-iskjerament tal-magni jew imxerrda jew solitarju.
- Tista' awtomat id-dipendenzi bejn il-kodiċi Python u l-viżwalizzazzjoni tal-fluss tax-xogħol billi tuża l-estrazzjoni tal-pipeline.
- Permezz tal-użu ta 'kodiċi modulari u li jista' jerġa 'jintuża, din it-teknoloġija tiffaċilita l-kollaborazzjoni tat-tim fuq varjetà ta' livelli u ttejjeb il-produttività fl-ambjent tal-kodifikazzjoni.
- L-għan primarju huwa li jingħelbu l-iżvantaġġi tan-notebooks Jupyter, skripts ta 'darba, u glue-code billi tikteb programmar tax-xjenza tad-dejta li jista' jinżamm.
9. BentoML
Il-bini ta' endpoints tal-API tat-tagħlim tal-magni jsir aktar faċli b'BentoML.
Tipprovdi infrastruttura tipika iżda kkondensata biex tmexxi mudelli ta' tagħlim tal-magni mgħallma fil-produzzjoni.
Jippermettilek tippakkja mudelli mgħallma għall-użu f'ambjent ta 'produzzjoni, tinterpretahom billi tuża kwalunkwe qafas ML. Kemm is-servizz tal-lott offline kif ukoll is-servizz tal-API onlajn huma appoġġjati.
Server mudell ta 'prestazzjoni għolja u fluss tax-xogħol flessibbli huma karatteristiċi ta' BentoML.
Barra minn hekk, is-server joffri mikro-batching adattiv. Approċċ unifikat għall-organizzazzjoni tal-mudelli u ż-żamma ta' rekord tal-proċeduri ta' skjerament huwa pprovdut mid-dashboard tal-UI.
Mhux se jkun hemm ħin ta' waqfien tas-server minħabba li l-mekkaniżmu operattiv huwa modulari u l-konfigurazzjoni tista 'terġa' tintuża. Hija pjattaforma flessibbli għall-provvista, l-organizzazzjoni u l-iskjerament ta' mudelli ML.
Dan joffri:
- Għandu disinn modulari li huwa adattabbli.
- Jippermetti l-iskjerament fuq diversi pjattaformi.
- Ma jistax jimmaniġġja awtomatikament skalar orizzontali.
- Jippermetti format ta' mudell wieħed, ġestjoni tal-mudelli, ippakkjar tal-mudelli, u servizz ta 'mudell ta' prestazzjoni għolja.
10. Seldon
Ix-xjentisti tad-dejta jistgħu joħolqu, jużaw, u jimmaniġġjaw mudelli u esperimenti ta’ tagħlim tal-magni fuq skala fuq Kubernetes billi jużaw il-qafas Seldon Core open-source.
TensorFlow, sci-kit-learn, Spark, R, Java, u H2O huma biss ftit mis-settijiet ta 'għodda li huma appoġġjati minnha.
Hija wkoll interfaces ma 'Kubeflow u RedHat's OpenShift. Il-qalba Seldon tittrasforma mudelli ta 'tagħlim tal-magni (mudelli ML) jew tgeżwir tal-lingwa (lingwi bħal Python, Java, eċċ.) F'mikroservizzi REST/GRPC ta' produzzjoni.
Waħda mill-aqwa għodod MLOps għat-titjib tal-proċessi tat-tagħlim tal-magni hija din.
Huwa sempliċi li kontenituri mudelli ML u tittestja għall-użabilità u s-sigurtà billi tuża Seldon Core.
Dan joffri:
- L-iskjerament tal-mudelli jista' jsir aktar sempliċi b'diversi alternattivi, bħall-iskjerament tal-kanarji.
- Biex tifhem għaliex saru previżjonijiet speċifiċi, uża spjegaturi tal-mudell.
- Meta jinqalgħu kwistjonijiet, żomm għajnejk fuq il-mudelli ta 'produzzjoni billi tuża s-sistema ta' twissija.
konklużjoni
L-MLOps jistgħu jgħinu biex l-operazzjonijiet tat-tagħlim tal-magni jkunu aħjar. L-MLOps jistgħu jħaffu l-iskjerament, jagħmlu l-ġbir tad-dejta u d-debugging aktar sempliċi, u jtejbu l-kollaborazzjoni bejn l-inġiniera u x-xjenzati tad-dejta.
Sabiex inti tagħżel l-għodda MLOps li taqbel l-aħjar għall-bżonnijiet tiegħek, din il-kariga eżaminat 10 soluzzjonijiet MLOps popolari, li ħafna minnhom huma open-source.
Ħalli Irrispondi