Le tele o vaega o le lalolagi ua amata ona faʻatupeina sili atu i masini aʻoaʻoga (ML).
O faʻataʻitaʻiga ML e mafai ona faʻalauiloa muamua ma faʻatautaia e 'au a tagata tomai faapitoa, ae o se tasi o faʻalavelave sili o le tuʻuina atu lea o le malamalama na maua i le isi faʻataʻitaʻiga ina ia mafai ai ona faʻalauteleina faiga.
Ina ia faʻaleleia ma faʻataʻatia le faʻagasologa o loʻo aʻafia i le faʻataʻitaʻiga o le faʻataʻitaʻiga o le faʻataʻitaʻiga o le olaga, o loʻo faʻaaogaina auala MLOps e 'au e fatuina faʻataʻitaʻiga aʻoaʻoga masini.
Fa'aauau le faitau e saili atili e uiga i nisi o meafaigaluega MLOps sili ona lelei ma faʻavae o loʻo avanoa i aso nei ma pe faʻafefea ona latou faʻafaigofieina le aʻoaʻoina o masini mai se meafaigaluega, atinaʻe, ma faʻataʻitaʻiga tulaga.
O le a le MLOps?
O se metotia mo le fatuina o faiga faʻavae, masani, ma faiga sili ona lelei mo faʻataʻitaʻiga aʻoaʻoga masini e taʻua o le "faʻaogaina o masini," poʻo "MLOps."
O lo'o fa'amoemoe le MLOps e fa'amautinoa le ola atoa o le atina'e o le ML - mai le ma'itaga i le fa'atinoina - o lo'o fa'amaumauina lelei ma fa'atonutonuina mo fa'ai'uga sili nai lo le fa'aaluina o le tele o taimi ma punaoa i totonu e aunoa ma se fuafuaga.
O le sini o le MLOps o le fa'avasegaina o faiga sili ona lelei i se auala e fa'afaigofieina ai le atina'eina o masini a'oa'oga mo fa'alapotopotoga ma tagata atia'e ML, fa'apea fo'i ma le fa'aleleia atili o le lelei ma le saogalemu o fa'ata'ita'iga ML.
O nisi e taʻua MLOps o le "DevOps mo le aʻoaʻoina o masini" talu ai o loʻo faʻaaogaina ma le manuia ia taʻiala DevOps i se matata faʻapitoa o atinaʻe faatekinolosi.
Ole auala aoga lea e mafaufau ai ile MLOps aua, pei ole DevOps, e fa'amamafa ai le fa'asoaina o le malamalama, galulue fa'atasi, ma faiga sili i 'au ma meafaigaluega.
O lo'o tu'uina atu e le MLOps i tagata atia'e, saienitisi fa'amaumauga, ma 'au fa'agaioiga ma se auivi mo le felagolagoma'i ma, o se taunuuga, e gaosia ai fa'ata'ita'iga ML sili ona malolosi.
Aisea e Fa'aaoga ai Meafaigaluega MLOps?
E mafai e meafaigaluega a le MLOps ona fa'atino le tele o tiute mo se 'au ML, peita'i, e masani ona vaevaeina i ni vaega se lua: pulega fa'avae ma pulega vaega ta'ito'atasi.
E ui o nisi o oloa MLOps e taulaʻi naʻo se galuega autu e tasi, e pei o faʻamaumauga poʻo metadata pulega, o isi meafaigaluega e faʻaaogaina se taʻiala sili atu ona aofia uma ma tuʻuina atu se faʻavae MLOps e pulea ai le tele o vaega o le olaga ML.
Va'ai mo MLOps fofo e fesoasoani i lau 'au ile puleaina o nei vaega ole atina'e ML, pe oe su'e se poto faapitoa po'o se meafaigaluega e sili atu le lautele:
- Taulimaina o fa'amaumauga
- Fuafuaga ma faʻataʻitaʻiga
- Puleaina o poloketi ma fale faigaluega
- Fa'ata'ita'iga fa'ata'ita'iga ML ma fa'aauau le tausiga
- Fa'atonuga o le olaga mai le amataga e o'o i le fa'ai'uga, lea e masani ona ofoina mai e fa'avae MLOps tautua atoatoa.
MLOps Meafaigaluega
1. MLFlow
Ole ta'amilosaga ola ole a'oa'oga ole masini e fa'atonutonuina e le MLflow fa'asalalauga matala ma e aofia ai se fa'ata'ita'iga tutotonu resitalaina, fa'aogaina, ma fa'ata'ita'iga.
MLflow e mafai ona faʻaogaina e soʻo se vaega tele, e le gata i le taʻitoʻatasi ma le faʻatasi. E leai se aoga o faletusi i le meafaigaluega.
So'o se gagana fa'apolokalame ma faletusi a'oa'oga masini e mafai ona fa'aogaina.
Ina ia faʻafaigofie le toleniina, faʻapipiʻi, ma faʻatautaia polokalame aʻoaʻoga masini, MLFlow fegalegaleai ma le tele o auivi aʻoaʻoga masini, e aofia ai TensorFlow ma Pytorch.
E le gata i lea, o le MLflow e tuʻuina atu API faigofie e mafai ona aofia i soʻo se polokalame aʻoaʻoga masini poʻo faletusi.
O le MLflow e fa vaega taua e faafaigofie ai le siakiina ma le fuafuaina o suʻega:
- MLflow Tracking - o se API ma le UI mo le faʻapipiʻiina o faʻasologa o tulafono a le masini e aʻoaʻo ai, faʻaliliuga, metrics, ma mea faʻapitoa faʻapea foʻi ma le faʻaalia ma le faʻatusatusaina o taunuuga.
- Poloketi MLflow - faʻapipiʻiina masini aʻoaʻoga code i se toe faʻaaogaina, toe faʻaaogaina mo le fesiitaiga i le gaosiga poʻo le fefaʻasoaaʻi ma isi saienitisi faʻamatalaga
- Fa'ata'ita'iga MLflow - fa'atumauina ma fa'apipi'i fa'ata'ita'iga i le tele o fa'ata'ita'iga fa'ata'ita'iga ma faiga fa'ai'uga mai faletusi ML eseese.
- MLflow Model Registry – o se faleoloa fa'ata'ita'i totonugalemu e mafai ai ona fa'atautaia le galulue fa'atasi o se fa'ata'ita'iga MLflow atoa le umi, e aofia ai fa'ata'ita'iga fa'ata'ita'iga, suiga o tulaga, ma fa'amatalaga.
2. KubeFlow
O le pusa meafaigaluega ML mo Kubernetes e taʻua o Kubeflow. O le teuina ma le puleaina o pusa Docker, fesoasoani i le tausiga o faiga a'oa'oga masini.
E ala i le fa'afaigofieina o le fa'asologa o le ta'avale ma le fa'atinoina o le fa'aogaina o masini a'oa'oga, e fa'alauiloa ai le fa'alauteleina o fa'ata'ita'iga a'oa'oga masini.
Ose galuega fa'asoa fa'alaua'itele e aofia ai se vaega filifilia ma le toto'a o meafaigaluega fa'aopoopo ma fa'ava'a e fa'atatau i mana'oga ML eseese.
O galuega a'oa'oga umi a le ML, fa'ata'ita'iga tusita'i, toe fa'afo'i, ma lu'itau a le DevOps e mafai ona fa'atautaia ile Kubeflow Pipelines.
Mo le tele o laʻasaga o le aʻoaʻoina o masini, e aofia ai aʻoaʻoga, atinaʻeina o paipa, ma le tausiga o Jupyter api, Kubeflow ofo atu auaunaga faʻapitoa ma tuʻufaʻatasia.
E fa'afaigofie ai ona pulea ma siaki le olaga atoa o au galuega AI fa'apea fo'i le fa'apipi'iina o fa'ata'ita'iga a'oa'oga masini (ML) ma laina paipa fa'amaumauga i fuifui Kubernetes.
E ofaina:
- Notebooks mo le fa'aogaina o le SDK e fegalegaleai ai ma le faiga
- se faʻaoga faʻaoga (UI) mo le faʻatonutonuina ma le mataʻituina o taʻavale, galuega, ma suʻega
- Ia vave ona mamanuina fofo pito i tua e aunoa ma le toe fausia i taimi uma, ma toe faʻaaoga vaega ma paipa.
- I le avea ai o se vaega autu o Kubeflow poʻo se faʻapipiʻi tutoʻatasi, ua ofoina atu Kubeflow Pipelines.
3. Fa'amaumauga Fa'amatalaga Pulea
O se vaifofo fa'atonutonu fa'amatalaga matala mo galuega a'oa'oga masini e ta'ua o le DVC, po'o le Fa'atonu Fa'amatalaga Fa'amatalaga.
Po'o le a lava le gagana e te filifilia, ose meafaigaluega fa'ata'ita'i e fesoasoani ile fa'auigaina ole paipa.
E fa'aogaina e le DVC le fa'ailoga, fa'aliliuga fa'amaumauga, ma le toe gaosia e fesoasoani ia te oe e fa'asaoina le taimi pe a e mauaina se fa'afitauli i se fa'asologa muamua o lau fa'ata'ita'iga ML.
E le gata i lea, e mafai ona e faʻaogaina paipa DVC e toleni ai lau faʻataʻitaʻiga ma tufatufa atu i tagata o lau 'au. O fa'amaumauga tetele ma fa'aliliuga e mafai ona fa'atautaia e le DVC, ma e mafai ona teuina fa'amaumauga i se auala faigofie ona maua.
E ui lava o lo'o aofia ai nisi (fa'atapula'a) fa'ata'ita'iga fa'ata'ita'iga fa'ata'ita'iga, e tele lava le taula'i i fa'amaumauga ma fa'asologa o paipa ma pulega.
E ofaina:
- O le teuina agnostic, o lea e mafai ai ona faʻaaogaina ituaiga eseese o teuina.
- O lo'o tu'uina atu ai fo'i fa'amaumauga o su'esu'ega.
- o se auala na muai fausia e faʻapipiʻi ai vaega ML i se DAG ma faʻatautaia le paipa atoa mai le amataga seia maeʻa
- O fa'ata'ita'iga uma a le ML e mafai ona mulimulita'ia i le fa'aogaina o lona fa'ailoga atoa ma fa'amaumauga fa'amaumauga.
- Toe fa'aleleia e ala i le fa'asaoina ma le fa'amaoni o le fa'atonuga muamua, fa'amatalaga tu'uina, ma le fa'ailoga o le polokalame mo se fa'ata'ita'iga.
4. Pachyderm
Pachyderm ose polokalame fa'atonutonu mo masini a'oa'oga ma fa'amaumauga fa'asaienisi, tutusa ma le DVC.
E le gata i lea, ona na faia e faʻaaoga Docker ma Kubernetes, e mafai ona faʻatino ma faʻapipiʻi masini Aʻoaʻoga i luga o soʻo se faʻavae ao.
Pachyderm faia fa'amautinoaga o vaega ta'itasi o fa'amaumauga o lo'o fa'aaogaina i se fa'ata'ita'iga a'oa'oga masini e mafai ona toe siaki ma fa'aliliu.
E fa'aaogaina e fatu ai, tufatufaina, pulea, ma mata'ituina fa'ata'ita'iga a'oa'oga masini. O se resitala faʻataʻitaʻiga, se faiga faʻataʻitaʻiga faʻataʻitaʻiga, ma se pusa meafaigaluega CLI o loʻo aofia uma.
E mafai e le au atiaʻe ona faʻaogaina ma faʻalauteleina a latou masini aʻoaʻoina o le olaga e faʻaaoga ai le faavae o faʻamaumauga a Pachyderm, lea e faʻamautinoa ai le toe faia.
E lagolagoina fa'atonuga fa'atonutonu fa'amaumauga, fa'aitiitia tau fa'agaioiga ma le teuina o fa'amaumauga, ma fesoasoani ai i pisinisi i le aumaia o a latou fa'amatalaga fa'asaienisi i le maketi vave.
5. Polyaxon
O le fa'aogaina o le Polyaxon platform, masini a'oa'oga poloketi ma fa'aoga loloto a'oa'oga e mafai ona toe fa'atusaina ma fa'afoeina i lo latou olaga atoa.
Polyaxon e mafai ona faʻafeiloaʻi ma faʻatautaia le meafaigaluega, ma e mafai ona tuʻuina i totonu o soʻo se nofoaga autu o faʻamatalaga poʻo le tuʻuina atu o ao. E pei o le Torch, Tensorflow, ma le MXNet, lea e lagolagoina uma faiga sili ona lauiloa loloto aʻoaʻoga.
A o'o mai i le tu'ufa'atasiga, Polyaxon e mafai ai ona e faia le tele o lau fuifui e ala i le fa'atulagaina o galuega ma su'ega e ala ia latou CLI, dashboard, SDKs, po'o REST API.
E ofaina:
- E mafai ona e faʻaogaina le faʻamatalaga tatala i le taimi nei, ae e aofia ai foi filifiliga mo le kamupani.
- E ui lava e aofia ai le taamilosaga atoa o le olaga, e aofia ai le taʻavale, e mafai ona sili atu.
- Faatasi ai ma pepa faʻamatalaga faʻapitoa, taʻiala amata, mea e aʻoaʻo ai, tusi lesona, aʻoaʻoga, changelogs, ma isi mea, o se faʻamaumauga sili ona lelei.
- Faatasi ai ma le faʻataʻitaʻiga faʻamatalaga dashboard, e mafai ona mataʻituina, siaki, ma iloilo suʻega suʻesuʻega taʻitasi.
6. pusaloa
Comet o se faʻavae mo aʻoaʻoga masini meta e siaki, faʻatusatusa, faʻamatala, ma faʻaleleia suʻega ma faʻataʻitaʻiga.
O au su'ega uma e mafai ona va'aia ma fa'atusatusa i se nofoaga e tasi.
E aoga mo soʻo se galuega aʻoaʻoga masini, soʻo se mea e faʻatino ai lau code, ma soʻo se faletusi aʻoaʻoga masini.
Kometa e talafeagai mo vaega, tagata taʻitoʻatasi, faʻalapotopotoga faʻaleaʻoaʻoga, pisinisi, ma soʻo se isi lava e manaʻo e vave vaʻaia faʻataʻitaʻiga, faʻafaigofie galuega, ma faʻatautaia suʻega.
E mafai e saienitisi faʻamatalaga ma 'au ona siaki, faʻamalamalama, faʻaleleia, ma faʻatusatusa faʻataʻitaʻiga ma faʻataʻitaʻiga e faʻaaoga ai le faʻaogaina o le tagata lava ia ma le faʻaogaina o le meta-machine platform Comet.
E ofaina:
- E tele avanoa o lo'o iai mo tagata o le 'au e fefa'asoaa'i galuega.
- O lo'o i ai le tele o tu'ufa'atasiga e fa'afaigofie ai ona fa'afeso'ota'i i isi tekonolosi
- Fa'atino lelei ma faletusi ML o iai nei
- Fa'afoe le pulega fa'aoga
- Fa'atusatusaga o fa'ata'ita'iga e mafai, e aofia ai se fa'atusatusaga o fa'ailoga, hyperparameters, metrics, va'aiga, fa'alagolago, ma metrics system.
- E tu'uina atu fa'amatalaga ma'oti mo le va'ai, leo, tusitusiga, ma fa'amaumauga fa'asologa e mafai ai ona e va'ava'ai i fa'ata'ita'iga.
7. Otuna
O le Optuna o se faiga mo le autonomous hyperparameter optimization e mafai ona faʻaoga i masini aʻoaʻoga ma aʻoaʻoga loloto faʻapea foʻi ma isi matāʻupu.
O lo'o i ai le tele o fa'ata'ita'iga algorithms e mafai ona e filifili mai ai (po'o feso'ota'iga), fa'afaigofie tele le tufatufaina atu o a'oa'oga i luga o le tele o komepiuta, ma ofoina atu fa'aaliga matagofie i'uga.
O faletusi taʻutaʻua aʻoaʻoga masini e pei o PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM, ma XGBoost ua tuʻufaʻatasia uma i ai.
E maua ai fa'ata'ita'iga algorithms e mafai ai e tagata fa'atau ona maua fa'ai'uga vave e ala i le fa'aitiitia vave o fa'ata'ita'iga e le foliga manuia.
I le fa'aogaina o le Python-based algorithms, e otometi lava ona su'e le hyperparameters lelei. Otuna fa'amalosia su'esu'ega hyperparameter tutusa i le tele o filo e aunoa ma le suia o le ulua'i code.
E ofaina:
- E lagolagoina aʻoaʻoga tufatufaina i luga o se fuifui faʻapea foʻi ma se komepiuta e tasi (multi-process) (multi-node)
- E lagolagoina le tele o auala tipi e faatelevave ai le faʻatasi (ma faʻaoga faʻaitiitia le faʻaogaina)
- O lo'o i ai le tele o fa'aaliga mamana, e pei o le fasi fasi fanua, fa'asologa o ata, ma fa'amaopoopo tutusa.
8. Kedro
O le Kedro o se fa'avae Python e leai se totogi mo le tusiaina o tulafono e mafai ona fa'afouina ma tausia mo galuega fa'asaienisi fa'amatalaga.
E aumaia ai manatu mai fa'ata'ita'iga sili i fa'ainisinia faakomepiuta i fa'ailoga a'oa'oga masini. O le Python o le fa'avae lea o lenei meafaigaluega fa'asologa o galuega.
Ina ia fa'afaigofie ma sa'o lelei au faiga ML, e mafai ona e fa'atupuina le toe fa'aleleia, fa'atumauina, ma fa'ata'ita'i fa'agasolo galuega.
O lo'o tu'ufa'atasia e Kedro ia mataupu fa'ainisinia fa'akomepiuta e pei o le fa'avasegaina, tu'u'ese'ese o tiute, ma le fa'aliliuina i totonu o se si'osi'omaga a'oa'oga masini.
I luga o le faavae ole Cookiecutter Data Science, o loʻo tuʻuina atu ai se faʻavae masani, fetuutuunai galuega faatino.
O le tele o feso'ota'iga fa'amatalaga faigofie e fa'aoga e teu ma utaina fa'amaumauga i luga o le tele o faila faila ma faila faila, o lo'o pulea e le fa'amaumauga fa'amaumauga. E fa'afaigofie ai galuega a'oa'oga masini ma fa'afaigofie ai ona fausia se laina fa'amaumauga.
E ofaina:
- Kedro fa'atagaina mo le fa'asalalauina po'o le tu'ufua masini fa'apipi'i.
- E mafai ona e otometi le faʻalagolago i le va o le Python code ma le vaʻaia o galuega e faʻaaoga ai le paipa.
- E ala i le fa'aogaina o le code modular, toe fa'aaogaina, o lenei tekinolosi e fa'afaigofie ai le galulue fa'atasi o 'au i tulaga 'ese'ese ma fa'aleleia atili le gaosiga i le si'osi'omaga coding.
- O le sini autu o le faʻatoʻilaloina o faʻaletonu o api a Jupyter, faʻamaumauga e tasi, ma kelu-code e ala i le tusiaina o polokalame faʻasaienisi faʻatumauina.
9. BentoML
Fausiaina o mea e aʻoaʻoina ai masini API ua faafaigofieina ile BentoML.
O lo'o tu'uina mai ai se fa'ata'ita'iga masani ae fa'atumauina e fa'agasolo ai fa'ata'ita'iga a'oa'oga masini i le gaosiga.
E mafai ai e oe ona fa'apipi'i fa'ata'ita'iga a'oa'oina mo le fa'aoga i se fa'atulagaina o gaosiga, fa'aliliuina i latou e fa'aaoga so'o se fa'avae ML. O lo'o lagolagoina uma le tautua tu'ufa'atasia ma le tautua API i luga ole laiga.
O se fa'ata'ita'iga fa'ata'ita'iga maualuga ma se su'esu'ega fe'avea'i o vaega ia o le BentoML.
E le gata i lea, o le 'auʻaunaga e ofoina atu micro-batching adaptive. O se auala faʻatasi mo le faʻatulagaina o faʻataʻitaʻiga ma le siakiina o faiga faʻapipiʻiina o loʻo tuʻuina atu e le UI dashboard.
O le a leai se taimi e malolo ai le server ona o le masini faʻaogaina e faʻaogaina ma e mafai ona toe faʻaogaina le faʻaogaina. O se fa'avae fetu'una'i mo le tu'uina atu, fa'atulagaina, ma le fa'aogaina o fa'ata'ita'iga ML.
E ofaina:
- O lo'o i ai se mamanu fa'apitoa e mafai ona fa'afetaui.
- E mafai ai ona faʻapipiʻi i luga o le tele o tulaga.
- E le mafai ona otometi ona taulimaina fa'alava fa'alava.
- E mafai ai e se tasi faʻataʻitaʻiga faʻataʻitaʻiga, faʻataʻitaʻiga faʻataʻitaʻiga, faʻapipiʻi faʻataʻitaʻiga, ma faʻataʻitaʻiga maualuga le tautua.
10. seasea
E mafai e saienitisi fa'amaumauga ona fatuina, fa'apipi'i, ma fa'atautaia fa'ata'ita'iga a'oa'oga masini ma fa'ata'ita'iga ile fua ile Kubernetes e fa'aaoga ai le fa'ava'a ole Seldon Core.
TensorFlow, sci-kit-learn, Spark, R, Java, ma H2O o ni nai mea faigaluega o loʻo lagolagoina e ia.
E fesoʻotaʻi foʻi ma Kubeflow ma RedHat's OpenShift. O le Seldon autu e fa'aliliuina fa'ata'ita'iga a'oa'oga masini (fa'ata'ita'iga ML) po'o afifi gagana (gagana e pei o le Python, Java, ma isi) i le gaosiga REST/GRPC microservices.
O se tasi o meafaigaluega sili MLOps mo le faʻaleleia o masini aʻoaʻoga o le tasi lea.
E faigofie le fa'aogaina o fa'ata'ita'iga ML ma fa'ata'ita'i mo le fa'aogaina ma le saogalemu e fa'aaoga ai Seldon Core.
E ofaina:
- Fa'ata'ita'iga fa'ata'ita'iga e mafai ona fa'afaigofieina i le tele o isi auala, e pei o le fa'aogaina o canary.
- Ina ia malamalama pe aisea na faia ai ni valoʻaga maʻoti, faʻaaoga faʻamatalaga faʻataʻitaʻiga.
- Pe a tulaʻi mai faʻafitauli, vaʻavaʻai i faʻataʻitaʻiga o gaosiga e faʻaaoga ai le faʻasalalauga.
iʻuga
E mafai e MLOps ona fesoasoani e fa'aleleia atili le fa'aogaina o masini. E mafai e MLOps ona fa'avavevave le fa'atinoina, fa'afaigofie le aoina o fa'amaumauga ma le fa'asa'oina, ma fa'aleleia atili le galulue fa'atasi i le va o inisinia ma saienitisi fa'amaumauga.
Ina ia mafai ona e filifilia le meafaigaluega MLOps e sili ona fetaui ma ou manaʻoga, o lenei pou na suʻesuʻeina 10 lauiloa MLOps fofo, o le tele o ia mea e tatala-puna.
Tuua se tali