Sehatra eran-tany maro no manomboka mampiasa vola betsaka kokoa amin'ny fianarana milina (ML).
Ny maodely ML dia azo atomboka sy tanterahin'ny ekipan'ny manam-pahaizana manokana, fa ny iray amin'ireo sakana lehibe indrindra dia ny famindrana ny fahalalana azo amin'ny maodely manaraka mba hahafahan'ireo dingana manitatra.
Mba hanatsarana sy hanara-penitra ireo dingana tafiditra amin'ny fitantanana ny tsingerin'ny fiainana maodely, ny teknikan'ny MLOps dia ampiasain'ny ekipa mamorona maodely fianarana milina.
Tohizo ny famakiana raha te hahalala bebe kokoa momba ny sasany amin'ireo fitaovana sy sehatra MLOps tsara indrindra misy ankehitriny sy ny fomba ahafahan'izy ireo manamora ny fianarana milina avy amin'ny fitaovana, mpamorona ary fomba fijery.
Inona no atao hoe MLOps?
Ny teknika hamoronana politika, fitsipika, ary fomba fanao tsara indrindra ho an'ny maodely fianarana milina dia fantatra amin'ny anarana hoe "asa fianarana milina", na "MLOps."
Ny MLOps dia mikendry ny hiantohana ny tsingerin'ny fiainan'ny fivoaran'ny ML — manomboka amin'ny fotony ka hatramin'ny fametrahana — dia voarakitra an-tsoratra sy tantana tsara mba hahazoana vokatra tsara indrindra fa tsy mandany fotoana sy loharano maro ao anatin'izany tsy misy paikady.
Ny tanjon'ny MLOps dia ny mandika ny fomba fanao tsara indrindra amin'ny fomba izay mahatonga ny fivoaran'ny fianarana milina ho azo ekena kokoa ho an'ny mpandraharaha sy ny mpamorona ML, ary koa ny fanatsarana ny kalitao sy ny fiarovana ny maodely ML.
Ny sasany dia miantso ny MLOps ho "DevOps ho an'ny fianarana milina" satria mahomby amin'ny fampiharana ny fitsipiky ny DevOps amin'ny sehatry ny fampandrosoana ara-teknolojia manokana.
Ity dia fomba mahasoa hieritreretana momba ny MLOps satria, toa an'i DevOps, dia manantitrantitra ny fifampizaràna fahalalana, ny fiaraha-miasa ary ny fanao tsara indrindra eo amin'ny ekipa sy ny fitaovana.
Ny MLOps dia manome rafitra ho an'ny mpamorona, mpahay siansa momba ny angona, ary ekipa miasa amin'ny fiaraha-miasa ary, vokatr'izany, mamokatra modely ML matanjaka indrindra.
Nahoana no mampiasa MLOps Tools?
Ny fitaovana MLOps dia afaka manatanteraka asa maro isan-karazany ho an'ny ekipa ML, saingy matetika no mizara roa izy ireo: fitantanana ny sehatra sy ny fitantanana ny singa tsirairay.
Raha tsy mifantoka afa-tsy amin'ny asa fototra tokana ny vokatra MLOps sasany, toy ny fitantanana angon-drakitra na metadata, ny fitaovana hafa kosa dia mampiasa paikady mahafaoka ny rehetra ary manome sehatra MLOps hifehezana ny lafiny maro amin'ny tsingerin'ny fiainana ML.
Mitadiava vahaolana MLOps izay manampy ny ekipanao amin'ny fitantanana ireo sehatra fampandrosoana ML ireo, na mitady manampahaizana manokana ianao na fitaovana midadasika kokoa:
- Fikarakarana ny angona
- Famolavolana sy modely
- Fitantanana ny tetikasa sy ny toeram-piasana
- Fametrahana modely ML sy fikarakarana tsy tapaka
- Fitantanana ny tsingerin'ny fiainana manomboka amin'ny voalohany ka hatramin'ny farany, izay atolotry ny sehatra MLOps feno serivisy.
MLOps Tools
1. MLFlow
Ny tsingerin'ny fianarana milina dia fehezin'ny sehatra open-source MLflow ary misy fisoratana anarana modely afovoany, fametrahana ary andrana.
Ny MLflow dia azo ampiasaina amin'ny ekipan'ny habe rehetra, na tsirairay na miaraka. Tsy misy fiantraikany amin'ny fitaovana ny tranomboky.
Ny fiteny fandaharana sy ny tranomboky fianarana milina dia afaka mampiasa azy io.
Mba hanamora kokoa ny fanofanana, fametrahana ary fitantanana ny fampiharana fianarana milina, MLFlow dia mifandray amin'ny rafitra fianarana milina maromaro, ao anatin'izany TensorFlow ary Pytorch.
Fanampin'izany, ny MLflow dia manome API mora ampiasaina izay azo ampidirina amin'ny programa fianarana milina misy na tranomboky.
Ny MLflow dia manana endri-javatra efatra manan-danja izay manamora ny fanaraha-maso sy ny fandrafetana andrana:
- Fanaraha-maso MLflow - API sy UI ho an'ny masontsivana kaody fianarana milina fanoratana, dikan-teny, metrika, ary artifact ary koa amin'ny fampisehoana sy fampifanoherana ny vokatra.
- Tetikasa MLflow - kaody fianarana milina famonosana amin'ny endrika azo averina azo averina mba hamindrana amin'ny famokarana na fizarana amin'ny mpahay siansa data hafa
- Modely MLflow - fikojakojana sy fametrahana modely amin'ny karazana serivisy serivisy sy rafitra fanatsoahan-kevitra avy amin'ny tranomboky ML isan-karazany
- MLflow Model Registry - fivarotana modely afovoany izay ahafahan'ny fitantanana fiaraha-miasa amin'ny androm-piainan'ny modely MLflow iray manontolo, ao anatin'izany ny famoahana maodely, ny fiovan'ny sehatra ary ny fanamarihana.
2. KubeFlow
Ny boaty fitaovana ML ho an'ny Kubernetes dia antsoina hoe Kubeflow. Famonoana sy fitantanana ireo kaontenera Docker, manampy amin'ny fikojakojana ny rafitra fianarana milina.
Amin'ny alàlan'ny fanamorana ny fandrindrana ny fampandehanana sy ny fametrahana ny rindranasan'ny fianarana milina, dia mampiroborobo ny fampitomboana ny maodely fianarana milina izany.
Izy io dia tetikasa open-source izay ahitana vondrona voafantina tsara amin'ny fitaovana sy rafitra mifameno mifanaraka amin'ny filana ML samihafa.
Ny asa fanofanana lava ML, ny andrana amin'ny tanana, ny fiverimberenana ary ny fanamby DevOps dia azo zakaina miaraka amin'ny Kubeflow Pipelines.
Ho an'ny dingana maromaro amin'ny fianarana milina, ao anatin'izany ny fiofanana, ny fampandrosoana ny fantsona ary ny fikojakojana ny kahie Jupyter, Kubeflow dia manolotra tolotra manokana sy fampidirana.
Manamora ny fitantanana sy ny fanaraha-maso ny androm-piainan'ny enta-mavesatry ny AI-nao ary koa ny fametrahana ny maodely fianarana milina (ML) sy ny fantsona angon-drakitra amin'ny cluster Kubernetes.
Manolotra:
- Notebooks hampiasana ny SDK hifaneraserana amin'ny rafitra
- interface tsara (UI) ho an'ny fanaraha-maso sy fanaraha-maso ny fandehanana, ny asa ary ny andrana
- Mamolavola haingana ny vahaolana amin'ny farany tsy mila manangana indray mandeha, ary mampiasa indray ny singa sy ny fantsona.
- Amin'ny maha singa manan-danja amin'ny Kubeflow na amin'ny fametrahana azy irery, dia atolotra ny Kubeflow Pipelines.
3. Data Version Control
Vahaolana fanaraha-maso dikan-teny misokatra ho an'ny tetikasa fianarana milina dia antsoina hoe DVC, na Data Version Control.
Na inona na inona fiteny fidinao, dia fitaovana andrana manampy amin'ny famaritana fantsona.
DVC dia mampiasa kaody, famoahana angon-drakitra, ary reproducibility mba hanampiana anao hitsitsy fotoana rehefa mahita olana amin'ny dikan-teny taloha amin'ny maodely ML-nao.
Ho fanampin'izany, azonao atao ny mampiasa fantsona DVC hanofanana ny modelyo ary hizara izany amin'ny mpikambana ao amin'ny ekipanao. Ny fandaminana angon-drakitra lehibe sy ny famoahana dia azo fehezin'ny DVC, ary azo tehirizina amin'ny fomba mora azo ny angon-drakitra.
Na dia misy endri-panaraha-maso andrana sasany (voafetra) aza izy io, dia mifantoka indrindra amin'ny famoahana angona sy fantsona ary fitantanana.
Manolotra:
- Izy io dia agnostika fitahirizana, noho izany dia azo atao ny mampiasa karazana fitahirizana isan-karazany.
- Izy io koa dia manome statistika fanaraha-maso.
- fomba efa vita mialoha ny fampidirana ny dingana ML ao amin'ny DAG ary ny fampandehanana ny fantsona manontolo manomboka amin'ny voalohany ka hatramin'ny farany
- Ny fivoaran'ny modely ML tsirairay dia azo arahina amin'ny alàlan'ny kaody sy ny mombamomba azy manontolo.
- Famerenana amin'ny alàlan'ny fitehirizana am-pahatokiana ny fanitsiana voalohany, ny angona fampidirana ary ny kaody fandaharana ho an'ny fanandramana.
4. Pachyderm
Pachyderm dia programa fanaraha-maso dikan-teny ho an'ny fianarana milina sy siansa momba ny angona, mitovy amin'ny DVC.
Ankoatra izany, satria noforonina tamin'ny fampiasana Docker sy Kubernetes, dia afaka manatanteraka sy mametraka fampiharana Machine Learning amin'ny sehatra rahona rehetra.
Ny Pachyderm dia manome antoka fa ny angon-drakitra tsirairay ampiasaina amin'ny maodely fianarana milina dia azo averina sy averina.
Ampiasaina hamoronana, hizarana, hitantana ary hanaraha-maso ireo maodely fianarana milina izy io. Rejistra modely, rafitra fitantanana modely, ary boaty fitaovana CLI dia tafiditra avokoa.
Ny mpamorona dia afaka manao automatique sy manitatra ny tsingerin-taonan'ny fianarana milina amin'ny alàlan'ny fototra angon-drakitra an'i Pachyderm, izay miantoka ihany koa ny famerenana.
Manohana fenitry ny fitantanana angon-drakitra henjana izy io, mampihena ny vidin'ny fanodinana angon-drakitra sy ny fitahirizana, ary manampy ny orinasa amin'ny fitondrana ny hetsika siantifika momba ny angona ho any an-tsena haingana kokoa.
5. Polyaxon
Amin'ny fampiasana ny sehatra Polyaxon, ny tetikasa fianarana milina sy ny fampiharana fianarana lalina dia azo averina sy tantana mandritra ny tsingerin'ny fiainany manontolo.
Ny Polyaxon dia afaka mampiantrano sy mitantana ny fitaovana, ary azo apetraka amin'ny foibe data na mpamatsy rahona. Toy ny Torch, Tensorflow, ary MXNet, izay manohana ireo rafitra fianarana lalina malaza rehetra.
Raha ny momba ny orkestra, ny Polyaxon dia mamela anao hanararaotra ny cluster anao amin'ny alàlan'ny fandaharam-potoana asa sy fitsapana amin'ny alàlan'ny CLI, dashboard, SDK, na REST API.
Manolotra:
- Azonao atao ny mampiasa ny dikan-teny misokatra amin'izao fotoana izao, fa misy safidy ho an'ny orinasa ihany koa.
- Na dia mandrakotra ny tsingerin'ny fiainana manontolo aza izy io, anisan'izany ny orkestra hazakazaka, dia mahavita zavatra betsaka kokoa.
- Miaraka amin'ny antontan-taratasy momba ny teknika, torolàlana fanombohana, fitaovana fianarana, boky torolalana, fampianarana, changelogs, sy ny maro hafa, dia sehatra voarakitra tsara.
- Miaraka amin'ny dashboard momba ny fanandramana, azo atao ny manara-maso, manara-maso ary manombatombana ny andrana fanatsarana tsirairay.
6. Comet
Comet dia sehatra iray ho an'ny fianarana milina meta izay manara-maso, mampifanohitra, manazava ary manatsara ny andrana sy ny maodely.
Ny fanandramanao rehetra dia azo jerena sy ampitahaina amin'ny toerana iray.
Izy io dia miasa amin'ny asa fianarana milina rehetra, na aiza na aiza anaovanao ny codeo, ary miaraka amin'ny tranomboky fianarana milina.
Ny Comet dia mety ho an'ny vondrona, olon-tsotra, andrim-pampianarana, orinasa, ary olon-kafa maniry hijery haingana ny andrana, hanamafisana ny asa ary hanao andrana.
Ny mpahay siansa sy ny ekipa dia afaka manara-maso, manazava, manatsara ary mampitaha ny andrana sy ny maodely amin'ny fampiasana ny sehatra fianarana meta-machine ho an'ny tena manokana sy rahona Comet.
Manolotra:
- Misy fahaiza-manao maro ho an'ny mpikambana ao amin'ny ekipa hizara asa.
- Izy io dia manana fampidirana maromaro izay manamora ny fampifandraisana azy amin'ny teknolojia hafa
- Miasa tsara amin'ny tranomboky ML ankehitriny
- Mikarakara ny fitantanana ny mpampiasa
- Mandeha ny fampitahana andrana, ao anatin'izany ny fampitahana ny kaody, ny hyperparameter, ny metrika, ny vinavina, ny fiankinan-doha, ary ny metrika rafitra.
- Manome maody miavaka ho an'ny angona fahitana, feo, lahatsoratra ary tabilao izay ahafahanao mijery santionany.
7. Optuna
Ny Optuna dia rafitra ho an'ny fanatsarana hyperparameter autonomous izay azo ampiharina amin'ny fianarana milina sy fianarana lalina ary koa amin'ny sehatra hafa.
Izy io dia misy karazana algorithm manara-penitra izay azonao isafidianana (na rohy), manamora ny fizarana fiofanana amin'ny ordinatera maro, ary manolotra sary mahafinaritra.
Ny tranomboky fianarana milina malaza toa an'i PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM, ary XGBoost dia tafiditra ao avokoa.
Manome algorithm manara-penitra izay ahafahan'ny mpanjifa mahazo vokatra haingana kokoa amin'ny alàlan'ny fampihenana haingana ireo santionany izay toa tsy mampanantena.
Amin'ny alàlan'ny algorithm mifototra amin'ny Python, dia mikaroka ho azy ireo hyperparameter mety tsara. Optuna dia mamporisika ny fikarohana hyperparameter mifanitsy amin'ny kofehy maro nefa tsy manova ny kaody tany am-boalohany.
Manolotra:
- Izy io dia manohana fiofanana mizara amin'ny cluster ary koa solosaina tokana (multi-process) (multi-node)
- Manohana teknika trimming maromaro izy io mba hanafainganana ny convergence (ary mampiasa kajy kely kokoa)
- Izy io dia manana endrika fijery mahery vaika isan-karazany, toy ny planina slice, plot contour, ary coordinates parallèle.
8. Kedro
Kedro dia rafitra Python maimaim-poana amin'ny fanoratana kaody azo havaozina sy tazomina ho an'ny tetikasa siantifika data.
Mitondra hevitra avy amin'ny fanao tsara indrindra amin'ny injeniera rindrambaiko mankany amin'ny kaody fianarana milina. Python no fototra iorenan'ity fitaovana orkestra amin'ny workflow ity.
Mba hahatonga ny fizotran'ny ML ho tsotra sy mazava kokoa dia azonao atao ny mamolavola rindranasa azo averina, azo tazomina ary maody.
Kedro dia mampiditra ny fitsipiky ny injeniera lozisialy toy ny modularity, fanasarahana ny andraikitra, ary ny famoahana azy ho tontolo fianarana milina.
Miorina amin'ny Cookiecutter Data Science, manome rafitra tetikasa mahazatra sy azo ampifanarahana.
Ny mpampitohy data tsotra maromaro ampiasaina hitahiry sy hampidirana angon-drakitra amin'ny rafitra fisie sy lamina maromaro, dia tantanan'ny katalaogin'ny angona. Mahatonga ny tetikasa fianarana milina mahomby kokoa izany ary manamora kokoa ny fananganana fantsona data.
Manolotra:
- Kedro dia mamela ny fametrahana milina miparitaka na irery.
- Azonao atao ny manamboatra automatique ny fiankinan-doha eo amin'ny kaody Python sy ny fijerena ny workflow amin'ny alàlan'ny abstraction pipeline.
- Amin'ny alàlan'ny fampiasana code modular, azo ampiasaina indray, ity teknolojia ity dia manamora ny fiaraha-miasa amin'ny ekipa amin'ny ambaratonga isan-karazany ary manatsara ny vokatra ao amin'ny tontolo coding.
- Ny tanjona voalohany dia ny handresy ny tsy fahampian'ny kahie Jupyter, sora-baventy tokana ary kaody lakaoly amin'ny alàlan'ny fanoratana fandaharana momba ny siansa angon-drakitra azo tazonina.
9. BentoML
Mora kokoa amin'ny BentoML ny fananganana teboka faran'ny API fianarana milina.
Izy io dia manome fotodrafitrasa mahazatra nefa miempo mba hamindra ireo maodely fianarana milina fianarana ho amin'ny famokarana.
Izany dia ahafahanao mametaka ireo maodely nianarana mba hampiasaina amin'ny sehatra famokarana, mandika azy ireo amin'ny alàlan'ny rafitra ML rehetra. Samy manohana ny serivisy andiany ivelan'ny aterineto sy ny serivisy API an-tserasera.
Ny serivera maodely manara-penitra sy ny fizotry ny asa mora miovaova dia endri-javatra amin'ny BentoML.
Ankoatr'izay, ny mpizara dia manolotra micro-batching adaptive. Fomba iray iraisan'ny fandaminana ny maodely sy ny fanaraha-maso ny fomba fametrahana dia omen'ny dashboard UI.
Tsy hisy ny fiatoana amin'ny mpizara satria modular ny mekanika miasa ary azo ampiasaina indray ny fanamboarana. Izy io dia sehatra miovaova amin'ny fanomezana, fandaminana ary fametrahana ny maodely ML.
Manolotra:
- Izy io dia manana endrika modular izay azo ampifanarahana.
- Izy io dia mamela ny fametrahana amin'ny sehatra maro.
- Tsy afaka mandeha ho azy ny fanamafisam-peo marindrano.
- Izy io dia manome endrika modely tokana, fitantanana maodely, fonosana modely, ary serivisy modely mahomby.
10. Seldon
Ny mpahay siansa momba ny angona dia afaka mamorona, mametraka ary mitantana modely fianarana milina sy andrana amin'ny ambaratonga lehibe amin'ny Kubernetes amin'ny fampiasana ny rafitra Seldon Core open source.
TensorFlow, sci-kit-learn, Spark, R, Java, ary H2O dia vitsivitsy amin'ireo fitaovana tohanan'izy io.
Izy io koa dia mifandray amin'ny Kubeflow sy RedHat's OpenShift. Ny fototry ny Seldon dia manova ny maodely fianarana milina (modely ML) na fonosin'ny fiteny (fiteny toa an'i Python, Java, sns.) ho lasa microservice REST/GRPC famokarana.
Ny iray amin'ireo fitaovana MLOps tsara indrindra amin'ny fanatsarana ny fizotran'ny fianarana milina dia ity iray ity.
Tsotra ny mametraka ny maodely ML ary mitsapa ny fampiasana sy fiarovana amin'ny fampiasana Seldon Core.
Manolotra:
- Ny fametrahana modely dia azo atao tsotra kokoa miaraka amin'ny safidy maro, toy ny fametrahana canary.
- Mba hahatakarana ny antony nanaovana faminaniana manokana, dia ampiasao mpanazava modely.
- Rehefa mipoitra ny olana dia tandremo tsara ireo modely famokarana mampiasa ny rafitra fanairana.
Famaranana
Ny MLOps dia afaka manampy amin'ny fanatsarana ny fiasan'ny fianarana milina. MLOps dia afaka manafaingana ny fametrahana, manamora ny fanangonana angona sy ny debugging, ary manatsara ny fiaraha-miasa eo amin'ny injeniera sy ny mpahay siansa momba ny data.
Mba hahafahanao misafidy ny fitaovana MLOps izay mifanaraka amin'ny filanao, ity lahatsoratra ity dia nandinika vahaolana MLOps malaza 10, ny ankamaroany dia loharano misokatra.
Leave a Reply