Ọtụtụ ngalaba zuru ụwa ọnụ na-amalite itinye ego karịa na mmụta igwe (ML).
Enwere ike ịmalite ụdị ML ma rụọ ọrụ site na otu ndị ọkachamara, mana otu n'ime ihe mgbochi kachasị bụ ịnyefe ihe ọmụma enwetara na ihe nlereanya ọzọ ka usoro nwere ike gbasaa.
Iji kwalite na ịhazi usoro ndị metụtara njikwa okirikiri ndụ ihe atụ, ndị otu na-emepụta ụdị mmụta igwe na-eji usoro MLOps.
Gaa n'ihu na-agụ ka ịmatakwu banyere ụfọdụ ngwaọrụ na nyiwe MLOps kacha mma dị taa yana otu ha ga-esi mee ka mmụta igwe dị mfe site na ngwa, onye nrụpụta na usoro usoro.
Kedu ihe bụ MLOps?
Usoro maka ịmepụta atumatu, ụkpụrụ, na omume kacha mma maka ụdị mmụta igwe bụ nke a maara dị ka "ọrụ mmụta igwe," ma ọ bụ "MLOps."
MLOps bu n'obi ikwe nkwa usoro ndụ niile nke mmepe ML - site n'echiche ruo n'ibunye - ka edekọtara nke ọma ma jikwaa ya maka nsonaazụ kacha mma kama itinye nnukwu oge na akụrụngwa na ya na-enweghị atụmatụ.
Ebumnuche MLOps bụ ịhazi usoro kachasị mma n'ụzọ ga-eme ka mmepe mmụta igwe dịkwuo elu maka ndị ọrụ ML na ndị mmepe, yana ịkwalite ogo na nchekwa nke ụdị ML.
Ụfọdụ na-ezo aka na MLOps dị ka "DevOps maka mmụta igwe" ebe ọ na-etinye ụkpụrụ DevOps n'ọrụ nke ọma na ngalaba mmepe teknụzụ pụrụ iche.
Nke a bụ ụzọ bara uru iche echiche banyere MLOps n'ihi na, dị ka DevOps, ọ na-emesi ikekọrịta ihe ọmụma, imekọ ihe ọnụ, na omume kachasị mma n'etiti otu na ngwaọrụ.
MLOps na-enye ndị mmepe, ndị sayensị sayensị data, na ndị otu ọrụ usoro maka imekọ ihe ọnụ yana, n'ihi ya, na-emepụta ụdị ML kachasị ike.
Kedu ihe kpatara eji eji Ngwa MLOps?
Ngwa MLOps nwere ike ịrụ ọrụ dị iche iche maka otu ML, agbanyeghị, a na-ekewakarị ha ụzọ abụọ: nchịkwa ikpo okwu na njikwa akụrụngwa nke onye ọ bụla.
Ọ bụ ezie na ụfọdụ ngwaahịa MLOps na-elekwasị anya naanị n'otu isi ọrụ, dị ka data ma ọ bụ njikwa metadata, ngwaọrụ ndị ọzọ na-agbaso atụmatụ na-agụnye ihe niile ma na-enye usoro MLOps iji jikwaa ọtụtụ akụkụ nke usoro ndụ ML.
Chọọ ngwọta MLOps nke na-enyere ndị otu gị aka ijikwa mpaghara mmepe ML ndị a, ma ị na-achọ ọkachamara ma ọ bụ ngwá ọrụ sara mbara karị:
- Ijikwa data
- Nhazi na ime ihe ngosi
- Njikwa ọrụ na ebe ọrụ
- Nbunye ụdị ML na idobe ya na-aga n'ihu
- Nlekọta usoro ndụ site na mmalite ruo ọgwụgwụ, nke a na-enyekarị site na nyiwe MLOps zuru oke.
Ngwa MLOps
1. MLFlow
Igwe na-amụ usoro ndụ ndụ igwe na-achịkwa site na ikpo okwu mepere emepe MLflow ma gụnye ndebanye aha etiti etiti, ntinye, na nnwale.
Enwere ike iji MLflow site n'aka ndị otu ọ bụla, ma n'otu n'otu na mkpokọta. Ọbá akwụkwọ enweghị ihe jikọrọ ya na ngwá ọrụ ahụ.
Asụsụ mmemme ọ bụla na ọba akwụkwọ mmụta igwe nwere ike iji ya.
Iji mee ka ọ dị mfe ịzụ, ibuga na jikwaa ngwa mmụta igwe, MLFlow na-emekọrịta ihe na ọtụtụ usoro mmụta igwe, gụnyere TensorFlow na Pytorch.
Na mgbakwunye, MLflow na-enye API dị mfe iji nke enwere ike itinye na mmemme mmụta igwe ọ bụla dị adị ma ọ bụ ọba akwụkwọ.
MLflow nwere atụmatụ isi anọ na-eme ka nyocha na nhazi atụmatụ:
- MLflow Tracking – API na UI maka itinye akara mmụta koodu igwe, ụdị, metrik, na artifact yana maka igosipụta na ichepụta nsonaazụ ya.
- Ọrụ MLflow – koodu mmụta igwe nkwakọ ngwaahịa n'ụdị reusable, reproducible maka ịnyefe na mmepụta ma ọ bụ ịkekọrịta ya na ndị sayensị data ndị ọzọ.
- Ụdị MLflow - na-edobe ma na-ebuga ụdị n'ụdị dị iche iche na-eje ozi na usoro ntinye sitere na ọba akwụkwọ ML dị iche iche.
- MLflow Model Registry – ụlọ ahịa ihe nlere etiti nke na-enyere aka njikwa nkwado nke ụdị ndụ MLflow dum, gụnyere ụdị ụdị, ntụgharị ọkwa, na nkọwapụta.
2. KubeFlow
A na-akpọ igbe igbe ML maka Kubernetes Kubeflow. Nkwakọ ngwaahịa na ijikwa arịa Docker, na-enyere aka na mmezi nke igwe mmụta usoro.
Site n'ime ka ọ dị mfe orchestration na-agba ọsọ na ntinye nke usoro mmụta igwe, ọ na-akwalite scalability nke ụdị mmụta igwe.
Ọ bụ ọrụ mepere emepe nke na-agụnye ngwa ọrụ agbakwunyere nke ọma ahọpụtara nke ọma na usoro ahaziri maka mkpa ML dị iche iche.
Enwere ike iji Kubeflow Pipeline rụọ ọrụ ọzụzụ ML ogologo, nyocha akwụkwọ ntuziaka, nkwughachi, na ihe ịma aka DevOps.
Maka ọtụtụ usoro mmụta igwe, gụnyere ọzụzụ, mmepe pipeline, na mmezi nke Akwụkwọ ndetu Jupyter, Kubeflow na-enye ọrụ pụrụ iche na ntinye aka.
Ọ na-eme ka ọ dị mfe ijikwa na soro oge ndụ nke ọrụ AI gị yana ibuga ụdị mmụta igwe (ML) na pipeline data na ụyọkọ Kubernetes.
Ọ na-enye:
- Akwụkwọ ndetu maka iji SDK na-emekọrịta ihe na sistemụ
- interface onye ọrụ (UI) maka njikwa na nlekota oru, ọrụ na nnwale
- Iji mee ngwa ngwa chepụta ngwọta njedebe na njedebe na-enweghị iwughachi oge ọ bụla, ma jirikwa ihe na pipeline mee ihe.
- Dị ka akụkụ bụ isi nke Kubeflow ma ọ bụ dị ka nrụnye kwụ ọtọ, a na-enye Kubeflow Pipelines.
3. Njikwa Ụdị Data
Ngwọta njikwa ụdị mepere emepe maka ọrụ mmụta igwe ka a na-akpọ DVC, ma ọ bụ njikwa ụdị data.
Asụsụ ọ bụla ị họọrọ, ọ bụ ngwa nnwale na-enyere aka na nkọwapụta pipeline.
DVC na-eji koodu, mbipute data, na mmeghari iji nyere gị aka ichekwa oge mgbe ịchọtara esemokwu na ụdị mbụ nke ụdị ML gị.
Na mgbakwunye, ịnwere ike iji pipeline DVC zụọ ụdị gị wee kesaa ya ndị otu gị. Enwere ike ijikwa nnukwu nhazi data na nsụgharị site na DVC, enwere ike ịchekwa data ahụ n'ụzọ dị mfe ịnweta.
Ọ bụ ezie na ọ gụnyere ụfọdụ njirimara nsochi nnwale (oke), ọ na-elekwasị anya na data na nsụgharị pipeline na njikwa.
Ọ na-enye:
- Ọ bụ nchekwa agnostic, ya mere ọ ga-ekwe omume iji ụdị nchekwa dị iche iche.
- Ọ na-enyekwa stats nsochi.
- Ụzọ e wuru tupu ya abanye n'usoro ML n'ime DAG ma na-agba ọsọ pipeline site na mmalite ruo n'isi.
- Enwere ike ịgbaso usoro mmepe ML nke ọ bụla site na iji koodu ya na njirimara data ya niile.
- Mmeghari site n'ikwesị ntụkwasị obi na-echekwa nhazi mbụ, data ntinye, na koodu mmemme maka nnwale.
4. Pachyderm
Pachyderm bụ mmemme njikwa ụdị maka mmụta igwe na sayensị data, dịka DVC.
Ọzọkwa, n'ihi na ejiri ya mee ya Docker na Kubernetes, ọ nwere ike ime ma tinye ngwa mmụta Machine na igwe ojii ọ bụla.
Pachyderm na-ekwe nkwa na mpempe data nke ọ bụla a na-eri n'ime igwe mmụta nwere ike ịchọta azụ na mbipute ya.
A na-eji ya mepụta, kesaa, jikwaa, na ilekwasị anya n'ụdị mmụta igwe. Ndebanye aha ụdị, usoro njikwa ihe nlereanya, na igbe ọrụ CLI niile gụnyere.
Ndị mmepe nwere ike megharịa ma gbasaa usoro mmụta igwe ha site na iji ntọala data Pachyderm, nke na-ahụkwa na enwere ike ikwugharị.
Ọ na-akwado ụkpụrụ nchịkwa data siri ike, na-ebelata ọnụ ahịa nhazi data na nchekwa, ma na-enyere ndị azụmaahịa aka iweta atụmatụ sayensị data ha n'ahịa ngwa ngwa.
5. Polyaxon
N'iji ikpo okwu Polyaxon, ọrụ mmụta igwe na ngwa mmụta miri emi nwere ike ịmegharị ma jikwaa usoro ndụ ha niile.
Polyaxon nwere ike ịnabata ma na-elekọta ngwá ọrụ ahụ, enwere ike itinye ya na ebe data ọ bụla ma ọ bụ onye na-eweta igwe ojii. Dị ka Torch, Tensorflow, na MXNet, nke na-akwado usoro mmụta miri emi kachasị ewu ewu.
A bịa n'ihe gbasara orchestration, Polyaxon na-enyere gị aka ime ọtụtụ n'ime ụyọkọ gị site na ịhazi ọrụ na ule site na CLI, dashboard, SDKs, ma ọ bụ REST API.
Ọ na-enye:
- Ị nwere ike iji ụdị mepere emepe ugbu a, mana ọ gụnyekwara nhọrọ maka ụlọ ọrụ.
- Ọ bụ ezie na ọ na-ekpuchi okirikiri ndụ zuru oke, gụnyere ịgba egwu egwu, ọ nwere ike ime ọtụtụ ihe.
- Site na akwụkwọ ntụaka teknụzụ, ntuziaka mmalite, ihe mmụta, akwụkwọ ntuziaka, nkuzi, ndekọ mgbanwe, na ndị ọzọ, ọ bụ ikpo okwu edekọtara nke ọma.
- Site na dashboard nghọta nnwale, ọ ga-ekwe omume idobe anya, soro, ma nyochaa nnwale nkwalite ọ bụla.
6. Comet
Comet bụ ikpo okwu maka mmụta igwe meta nke na-egwu, na-akọwapụta, ma na-akwalite nnwale na ụdị.
Enwere ike ịhụ ma atụnyere nnwale gị niile n'otu ebe.
Ọ na-arụ ọrụ maka ọrụ mmụta igwe ọ bụla, ebe ọ bụla emere koodu gị yana ọbá akwụkwọ mmụta igwe ọ bụla.
Comet dabara adaba maka ndị otu, ndị mmadụ n'otu n'otu, ụlọ ọrụ agụmakwụkwọ, azụmaahịa, na onye ọ bụla ọzọ chọrọ iji anya nke uche hụ nnwale ngwa ngwa, hazie ọrụ, yana mee nnwale.
Ndị ọkà mmụta sayensị data na ndị otu nwere ike soro, dokwuo anya, melite ma tulee nnwale na ụdị site na iji usoro mmụta meta-igwe dabere na igwe ojii.
Ọ na-enye:
- Ọtụtụ ikike dị maka ndị otu otu ịkekọrịta ọrụ.
- Ọ nwere ọtụtụ njikọta na-eme ka ọ dị mfe ijikọ ya na teknụzụ ndị ọzọ
- Ọ na-arụ ọrụ nke ọma na ọba akwụkwọ ML dị ugbu a
- Na-elekọta njikwa onye ọrụ
- Agbanyere nnwale, gụnyere ntụnyere koodu, hyperparameters, metrics, amụma, ndabere, na metric sistem.
- Na-enye modul dị iche iche maka ọhụụ, ọdịyo, ederede na data tabular na-ahapụ gị ka ị were anya nke uche.
7. Ngwa
Optuna bụ usoro maka njikarịcha hyperparameter kwụụrụ onwe nke enwere ike itinye na mmụta igwe yana mmụta miri emi yana mpaghara ndị ọzọ.
Ọ nwere ụdị algọridim dị iche iche nke ị nwere ike họrọ (ma ọ bụ jikọta), na-eme ka ọ dị mfe ikesa ọzụzụ n'ọtụtụ kọmputa, ma na-enye nleba anya nsonaazụ mara mma.
Ọbá akwụkwọ mmụta igwe ama ama dị ka PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM na XGBoost jikọtara ya na ya.
Ọ na-enye algọridim dị egwu nke na-enyere ndị ahịa aka inweta nsonaazụ ngwa ngwa site na ibelata ihe nlele na-adịghị ele anya.
N'iji algọridim dabere na Python, ọ na-achọ ozugbo maka hyperparameters dị mma. Optuna na-akwado nchọta hyperparameter ejikọta ya na ọtụtụ eri na-agbanweghị koodu mbụ ahụ.
Ọ na-enye:
- Ọ na-akwado ọzụzụ ekesa na ụyọkọ yana otu kọmputa (multi-process) (multi-node)
- Ọ na-akwado ọtụtụ usoro trimming iji mee ka njikọta dị ngwa (ma jiri obere mgbako)
- Ọ nwere nhụta anya dị iche iche dị ike, dị ka ibé iberi, atụmatụ contour, na nhazi ndị yiri ya.
8. Kedro
Kedro bụ usoro Python efu maka ide koodu nke enwere ike imelite na idobe maka ọrụ sayensị data.
Ọ na-ebute echiche sitere na omume kachasị mma na injinịa ngwanrọ gaa na koodu mmụta igwe. Python bụ ntọala nke ngwá ọrụ orchestration ọrụ a.
Iji mee ka usoro ML gị dịkwuo mfe na nke ziri ezi karị, ị nwere ike ịmepụta usoro ọrụ nwere ike imepụtagharị, na-edozi na modular.
Kedro na-etinye ụkpụrụ injinia sọftụwia dị ka modularity, nkewa ọrụ, na mbipụta n'ime ebe mmụta igwe.
Na ndabere nke Cookiecutter Data Science, ọ na-enye usoro ọrụ a na-ahụkarị, nke nwere ike ime mgbanwe.
Ọnụ ọgụgụ nke njikọ data dị mfe eji echekwa ma buo data gafee ọtụtụ sistemụ faịlụ na ụdị faịlụ, katalọgụ data na-ejikwa. Ọ na-eme ka ọrụ mmụta igwe dị irè ma na-eme ka ọ dị mfe ịmepụta pipeline data.
Ọ na-enye:
- Kedro na-enye ohere maka ibugharị igwe gbasasịrị ma ọ bụ naanị ya.
- Ị nwere ike megharịa ndabere n'etiti koodu Eke Ọgba na nhụta usoro ọrụ site na iji abstraction pipeline.
- Site n'iji koodu modular, reusable code, teknụzụ a na-eme ka ndị otu na-arụkọ ọrụ ọnụ na ọkwa dị iche iche ma na-eme ka nrụpụta dị na gburugburu koodu.
- Ebumnuche bụ isi bụ imeri ihe ndọghachi azụ nke akwụkwọ ndetu Jupyter, scripts otu-apụ, na koodu gluu site na ide mmemme sayensị data a na-echekwa.
9. BentoML
A na-eji BentoML mee ka njedebe API mmụta igwe igwe dị mfe.
Ọ na-enye akụrụngwa a na-ahụkarị ma dị mgbagwoju anya iji bugharịa ụdị mmụta igwe mmụta n'ime mmepụta.
Ọ na-enyere gị aka ịchịkọta ụdị mmụta maka ojiji na ntọala mmepụta, na-atụgharị ha site na iji usoro ML ọ bụla. A na-akwado ma ozi ogbe na-anọghị n'ịntanetị yana ozi API ọnlaịnụ.
Ihe nkesa ihe ngosi dị elu yana usoro ọrụ na-agbanwe agbanwe bụ atụmatụ BentoML.
Na mgbakwunye, ihe nkesa na-enye micro-batching na-agbanwe agbanwe. Ụzọ ejikọtara ọnụ maka ịhazi ụdị na idobe usoro mbugharị bụ nke UI dashboard na-enye.
Agaghị enwe oge nkwụsị nke ihe nkesa n'ihi na usoro arụ ọrụ bụ modular na nhazi ahụ nwere ike iji ya mee ihe ọzọ. Ọ bụ ikpo okwu na-agbanwe agbanwe maka ịnye, ịhazi na ibuga ụdị ML.
Ọ na-enye:
- O nwere nhazi modular nke nwere ike imeghari.
- Ọ na-enyere ike ibuga n'ofe ọtụtụ nyiwe.
- Ọ nweghị ike ijikwa nha nha kwụ ọtọ na-akpaghị aka.
- Ọ na-enyere otu ụdị usoro, njikwa ihe nlereanya, nkwakọ ngwaahịa, na ihe ngosi dị elu na-eje ozi.
10. Seldon
Ndị ọkà mmụta sayensị data nwere ike ịmepụta, ibuga, na jikwaa ụdị mmụta igwe na nnwale n'ogo na Kubernetes site na iji isi mmalite Seldon Core framework.
TensorFlow, sci-kit-learn, Spark, R, Java, na H2O bụ naanị ole na ole n'ime ngwa ngwa na-akwado ya.
Ọ na-ejikọkwa Kubeflow na RedHat's OpenShift. Isi Seldon na-agbanwe ụdị mmụta igwe (ụdị ML) ma ọ bụ ihe mkpuchi asụsụ (asụsụ dị ka Python, Java, wdg) n'ime mmepụta REST/GRPC microservices.
Otu n'ime ngwaọrụ MLOps kacha mma maka ịkwalite usoro mmụta igwe bụ nke a.
Ọ dị mfe ịkwanye ụdị ML wee nwalee maka ojiji na nchekwa site na iji Seldon Core.
Ọ na-enye:
- Enwere ike ime ka ntinye ihe nlere anya dị mfe site n'ọtụtụ ụzọ ọzọ, dị ka ntinye nke canary.
- Iji ghọta ihe mere e ji buru amụma kpọmkwem, jiri nkọwa nkọwa ihe nlereanya.
- Mgbe nsogbu bilitere, na-eleba anya na ụdị mmepụta site na iji usoro ịdọ aka ná ntị.
mmechi
MLOps nwere ike inye aka mee ka ọrụ mmụta igwe ka mma. MLOps nwere ike mee ka mbubata ngwa ngwa, mee ka nchịkọta data na nbibi dị mfe, ma melite mmekorita n'etiti ndị injinia na ndị sayensị data.
Ka ị họrọ ngwa MLOps nke dabara maka mkpa gị, post a nyochara azịza MLOps 10 ama ama, ọtụtụ n'ime ha bụ isi mmalite.
Nkume a-aza