Plizyè sektè mondyal yo ap kòmanse envesti plis anpil nan aprantisaj machin (ML).
Modèl ML yo ka okòmansman te lanse ak opere pa ekip espesyalis, men youn nan pi gwo obstak yo transfere konesans yo te vin jwenn nan pwochen modèl la pou pwosesis yo ka elaji.
Pou amelyore ak estandadize pwosesis ki enplike nan jesyon sik lavi modèl, teknik MLOps yo ap itilize de pli zan pli ekip ki kreye modèl aprantisaj machin.
Kontinye lekti pou jwenn plis enfòmasyon sou kèk nan pi bon zouti ak platfòm MLOps ki disponib jodi a ak fason yo ka rann aprantisaj machin pi fasil nan yon pwendvi zouti, pwomotè ak pwosedi.
ki sa ki MLOps?
Yon teknik pou kreye règleman, nòm, ak pi bon pratik pou modèl aprantisaj machin yo konnen kòm "operasyon aprantisaj machin," oswa "MLOps."
MLOps gen pou objaktif pou garanti tout sik lavi devlopman ML - soti nan konsepsyon rive nan deplwaman - se dokimante ak jere metikuleu pou pi bon rezilta olye ke envesti anpil tan ak resous nan li san yon estrateji.
Objektif MLOps se kodifye pi bon pratik yo nan yon fason ki fè devlopman aprantisaj machin yo pi évolutif pou operatè ak devlopè ML, epi tou pou amelyore kalite ak sekirite modèl ML yo.
Gen kèk refere a MLOps kòm "DevOps pou aprantisaj machin" paske li aplike prensip DevOps avèk siksè nan yon domèn devlopman teknolojik ki pi espesyalize.
Sa a se yon fason itil pou panse sou MLOps paske, tankou DevOps, li mete aksan sou pataje konesans, kolaborasyon, ak pi bon pratik nan mitan ekip ak zouti.
MLOps bay devlopè yo, syantis done yo, ak ekip operasyon yo yon kad pou kolabore ak, kòm rezilta, pwodwi modèl ML ki pi pwisan yo.
Poukisa itilize zouti MLOps?
Zouti MLOps ka fè yon pakèt devwa pou yon ekip ML, sepandan, yo souvan divize an de gwoup: administrasyon platfòm ak jesyon eleman endividyèl.
Pandan ke kèk pwodwi MLOps konsantre sèlman sou yon sèl fonksyon debaz, tankou done oswa jesyon metadata, lòt zouti adopte yon estrateji ki pi anglobe epi bay yon platfòm MLOps pou kontwole plizyè aspè nan sik lavi ML.
Chèche solisyon MLOps ki ede ekip ou a nan jere domèn devlopman ML sa yo, si w ap chèche yon espesyalis oswa yon zouti ki pi laj:
- Manyen done yo
- Konsepsyon ak modèl
- Jesyon pwojè ak espas travay
- Deplwaman modèl ML ak antretyen kontinyèl
- Jesyon sik lavi depi nan kòmansman rive nan fen, ki tipikman ofri platfòm MLOps ki gen sèvis konplè.
Zouti MLOps
1. MLFlow
Sik lavi aprantisaj machin lan kontwole pa platfòm sous louvri MLflow e li gen ladann yon enskripsyon modèl santral, deplwaman, ak eksperimantasyon.
MLflow ka itilize pa nenpòt ekip gwosè, tou de endividyèlman ak kolektivman. Bibliyotèk pa gen okenn rapò sou zouti a.
Nenpòt langaj pwogramasyon ak bibliyotèk aprantisaj machin ka itilize li.
Pou rann li pi senp pou fòme, deplwaye, ak jere aplikasyon pou aprantisaj machin, MLFlow reyaji avèk yon kantite kad aprantisaj machin, tankou TensorFlow ak Pytorch.
Anplis de sa, MLflow bay API fasil-a-itilize ki ka enkli nan nenpòt pwogram aprantisaj machin ki egziste deja oswa bibliyotèk.
MLflow gen kat karakteristik kle ki fasilite swiv ak eksperyans planifikasyon:
- MLflow Tracking - yon API ak UI pou anrejistre paramèt kòd aprantisaj machin, vèsyon, metrik, ak zafè, epi tou pou montre ak kontras rezilta yo.
- MLflow Projects - anbalaj machin aprantisaj kòd nan yon fòma ki kapab reutilizabl, repwodiktif pou transfere nan pwodiksyon oswa pataje ak lòt syantis done.
- Modèl MLflow - kenbe ak deplwaye modèl nan yon seri de sèvi ak sistèm enferans modèl ki soti nan divès bibliyotèk ML.
- MLflow Model Registry – yon magazen modèl santral ki pèmèt jesyon koperativ tout lavi yon modèl MLflow, ki gen ladan vèsyon modèl, tranzisyon etap, ak anotasyon.
2. KubeFlow
Bwat zouti ML pou Kubernetes yo rele Kubeflow. Anbalaj ak jere resipyan Docker, èd nan antretyen nan sistèm aprantisaj machin.
Lè yo senplifye òkèstasyon kouri ak deplwaman workflows aprantisaj machin, li ankouraje évolutivité nan modèl aprantisaj machin.
Li se yon pwojè sous louvri ki gen ladann yon gwoup zouti ak kad konplemantè ki chwazi ak anpil atansyon ki adapte pou diferan bezwen ML.
Travay fòmasyon ML long, eksperimantasyon manyèl, repetibilite, ak defi DevOps ka okipe ak Kubeflow Pipelines.
Pou plizyè etap nan aprantisaj machin, ki gen ladan fòmasyon, devlopman tiyo, ak antretyen nan Kaye Jupyter, Kubeflow ofri sèvis espesyalize ak entegrasyon.
Li fè li senp pou jere ak swiv tout lavi chaj travay AI ou yo ak pou deplwaye modèl aprantisaj machin (ML) ak tiyo done nan grap Kubernetes.
Li ofri:
- Kaye pou itilize SDK pou kominike avèk sistèm nan
- yon koòdone itilizatè (UI) pou kontwole ak siveyans kouri, travay, ak eksperyans
- Pou byen vit konsepsyon solisyon fen-a-fen san yo pa bezwen rebati chak fwa, epi reitilize eleman ak tiyo.
- Kòm yon eleman kle nan Kubeflow oswa kòm yon enstalasyon otonòm, Kubeflow Pipelines yo ofri.
3. Kontwòl vèsyon done
Yon solisyon kontwòl vèsyon sous louvri pou pwojè aprantisaj machin yo rele DVC, oswa Kontwòl vèsyon done.
Kèlkeswa lang ou chwazi, li se yon zouti eksperimantal ki ede nan definisyon tiyo.
DVC itilize kòd, vèsyon done, ak repwodibilite pou ede ou ekonomize tan lè ou dekouvri yon pwoblèm ak yon vèsyon pi bonè nan modèl ML ou a.
Anplis de sa, ou ka itilize tiyo DVC pou fòme modèl ou a epi distribye li bay manm ekip ou a. Gwo òganizasyon done ak vèsyon ka okipe pa DVC, epi done yo ka estoke nan yon fason ki fasil pou jwenn.
Malgre ke li gen ladan kèk (limite) karakteristik swiv eksperyans, li sitou konsantre sou done ak vèsyon tiyo ak jesyon.
Li ofri:
- Li se agnostik depo, kidonk li posib pou anplwaye yon varyete de kalite depo.
- Li bay estatistik swivi tou.
- yon mwayen pre-bati pou rantre nan etap ML nan yon DAG epi kouri tout tiyo a depi nan kòmansman rive nan fini.
- Tout devlopman chak modèl ML ka swiv lè l sèvi avèk tout kòd li yo ak pwovens done yo.
- Repwodiksyon pa kenbe fidèlman konfigirasyon inisyal la, done antre, ak kòd pwogram pou yon eksperyans.
4. Pakidèm
Pachyderm se yon pwogram kontwòl vèsyon pou aprantisaj machin ak syans done, menm jan ak DVC.
Anplis de sa, paske li te kreye lè l sèvi avèk Docker ak Kubernetes, li ka egzekite ak deplwaye aplikasyon Machine Learning sou nenpòt platfòm nwaj.
Pachyderm fè garanti ke chak moso done ki konsome nan yon modèl aprantisaj machin yo ka swiv tounen ak vèsyon.
Yo itilize li pou kreye, distribye, jere, epi kenbe yon je sou modèl aprantisaj machin. Yon rejis modèl, yon sistèm jesyon modèl, ak yon bwat zouti CLI yo tout enkli.
Devlopè yo ka otomatize ak elaji sik lavi aprantisaj machin yo lè l sèvi avèk fondasyon done Pachyderm a, ki tou asire repetibilite.
Li sipòte estanda sevè gouvènans done, diminye depans pou tretman done ak depo, epi ede biznis yo pote inisyativ syans done yo nan mache pi vit.
5. Polyaxon
Sèvi ak platfòm Polyaxon, pwojè aprantisaj machin ak aplikasyon pou aprantisaj pwofon yo ka repwodui ak jere sou tout sik lavi yo.
Polyaxon kapab òganize ak administre zouti a, epi li ka mete l nan nenpòt sant done oswa founisè nwaj. Tankou Torch, Tensorflow, ak MXNet, ki sipòte tout kad aprantisaj pwofon ki pi popilè yo.
Lè li rive òkestrasyon, Polyaxon pèmèt ou pwofite pi plis nan gwoup ou a lè w planifye travay ak tès atravè CLI yo, tablodbò, SDK yo oswa REST API.
Li ofri:
- Ou ka itilize vèsyon louvri-sous la kounye a, men li gen ladan tou chwa pou antrepriz la.
- Malgre ke li kouvri sik lavi konplè, ki gen ladan òkestrasyon kouri, li se kapab plis ankò.
- Avèk dokiman referans teknik, gid pou kòmanse, materyèl aprantisaj, manyèl, leson patikilye, changelogs, ak plis ankò, li se yon platfòm trè byen dokimante.
- Avèk tablodbò eksperyans eksperyans, li posib pou w gade, swiv, ak evalye chak eksperyans optimize.
6. Kòmèt
Comet se yon platfòm pou meta aprantisaj machin ki swiv, contraste, eksplike, ak amelyore eksperyans ak modèl.
Tout eksperyans ou yo ka wè ak konpare nan yon sèl kote.
Li fonksyone pou nenpòt travay aprantisaj machin, nenpòt kote kòd ou fèt, ak nenpòt bibliyotèk aprantisaj machin.
Comet apwopriye pou gwoup, moun, enstitisyon akademik, biznis, ak nenpòt lòt moun ki vle byen vit vizyalize eksperyans, rasyonalize travay, ak fè eksperyans.
Done syantis yo ak ekip yo ka swiv, klarifye, amelyore, epi konpare eksperyans ak modèl lè l sèvi avèk platfòm aprantisaj meta-machin ki baze sou nyaj ak pwòp tèt ou kòm Comet.
Li ofri:
- Gen anpil kapasite pou manm ekip yo pataje travay yo.
- Li gen plizyè entegrasyon ki fè li senp pou konekte li ak lòt teknoloji
- Fonksyone byen ak bibliyotèk ML aktyèl yo
- Pran swen jesyon itilizatè
- Konparezon eksperyans yo pèmèt, ki gen ladan yon konparezon nan kòd, ipèparamèt, mezi, prediksyon, depandans, ak mezi sistèm.
- Bay modil diferan pou vizyon, odyo, tèks, ak done tabul ki pèmèt ou vizyalize echantiyon.
7. Opt
Optuna se yon sistèm pou optimize hyperparameter otonòm ki ka aplike nan tou de aprantisaj machin ak aprantisaj pwofon kòm byen ke lòt jaden.
Li genyen yon varyete de algorithm dènye kri kote ou ka chwazi (oswa lyen), fè li trè senp yo distribye fòmasyon sou anpil òdinatè, epi li ofri vizyalizasyon rezilta atire.
Bibliyotèk aprantisaj machin popilè tankou PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM, ak XGBoost yo tout entegre ak li.
Li bay algorithm dènye kri ki pèmèt kliyan yo jwenn rezilta pi rapid lè yo redwi rapid echantiyon yo ki pa sanble pwomèt.
Sèvi ak algoritm ki baze sou Python, li otomatikman chèche hyperparameters ideyal yo. Optuna ankouraje rechèch hyperparameter paralelize atravè anpil fil san yo pa chanje kòd orijinal la.
Li ofri:
- Li sipòte fòmasyon distribye sou yon gwoup osi byen ke yon sèl òdinatè (milti-pwosesis) (milti-node)
- Li sipòte plizyè teknik taye pou pi vit dirèksyon (epi itilize mwens kalkile)
- Li gen yon varyete de vizyalizasyon ki pisan, tankou trase tranch, trase kontou, ak kowòdone paralèl.
8. Kedro
Kedro se yon fondasyon Python gratis pou ekri kòd ki ka mete ajou epi konsève pou pwojè syans done yo.
Li pote lide soti nan pi bon pratik nan jeni lojisyèl nan kòd aprantisaj machin. Python se fondasyon zouti òkestrasyon workflow sa a.
Pou fè pwosesis ML ou yo pi senp ak pi presi, ou ka devlope workflows repwodiktif, antretyen ak modilè.
Kedro enkòpore prensip jeni lojisyèl tankou modilarite, separasyon responsablite, ak vèsyon nan yon anviwònman aprantisaj machin.
Sou baz Cookiecutter Data Science, li bay yon kad pwojè komen, adaptab.
Katalòg done yo jere yon kantite konektè done senp yo itilize pou estoke ak chaje done atravè plizyè sistèm dosye ak fòma dosye. Li fè pwojè aprantisaj machin yo pi efikas epi li fè li pi senp pou konstwi yon tiyo done.
Li ofri:
- Kedro pèmèt pou deplwaman machin dispèse oswa solitaire.
- Ou ka otomatize depandans ant kòd Python ak vizyalizasyon workflow lè l sèvi avèk abstraksyon tiyo.
- Atravè itilizasyon kòd modilè, ki kapab itilize ankò, teknoloji sa a fasilite kolaborasyon ekip sou yon varyete nivo epi amelyore pwodiktivite nan anviwònman kodaj la.
- Objektif prensipal la se simonte dezavantaj yo nan kaye Jupyter, scripts yon sèl, ak kòd lakòl lè w ekri pwogram syans done ki ka kenbe.
9. BentoML
Konstwi pwen final API aprantisaj machin yo vin pi fasil ak BentoML.
Li bay yon enfrastrikti tipik men kondanse pou deplase modèl aprantisaj machin aprann nan pwodiksyon an.
Li pèmèt ou pake modèl aprann pou itilize nan yon anviwònman pwodiksyon, entèprete yo lè l sèvi avèk nenpòt kad ML. Yo sipòte tou de pòsyon pakèt offline ak pòsyon API sou entènèt.
Yon sèvè modèl wo-pèfòmans ak yon workflow fleksib se karakteristik BentoML.
Anplis de sa, sèvè a ofri adaptasyon mikwo-lo. Se tablodbò UI a bay yon apwòch inifye pou òganize modèl yo epi kenbe tras pwosedi deplwaman yo.
Pa pral gen okenn D 'nan sèvè paske mekanis nan fonksyone se modilè ak konfigirasyon an se reutilizabl. Li se yon platfòm fleksib pou bay, òganize ak deplwaye modèl ML.
Li ofri:
- Li gen yon konsepsyon modilè ki adaptab.
- Li pèmèt deplwaman sou plizyè platfòm.
- Li pa ka otomatikman okipe dekale orizontal.
- Li pèmèt yon fòma modèl sèl, jesyon modèl, anbalaj modèl, ak sèvi modèl pèfòmans segondè.
10. Seldon
Done syantis yo ka kreye, deplwaye, ak jere modèl aprantisaj machin ak eksperyans nan echèl sou Kubernetes lè l sèvi avèk fondasyon Seldon Core nan sous louvri.
TensorFlow, sci-kit-learn, Spark, R, Java, ak H2O se jis kèk nan zouti yo ki sipòte pa li.
Li koòdone tou ak Kubeflow ak OpenShift RedHat. Nwayo Seldon transfòme modèl aprantisaj machin (modèl ML) oswa anbalaj langaj (lang tankou Python, Java, elatriye) nan pwodiksyon mikwosèvis REST/GRPC.
Youn nan pi bon zouti MLOps pou amelyore pwosesis aprantisaj machin se youn nan sa a.
Li senp pou mete modèl ML nan kontenè epi teste pou itilizasyon ak sekirite lè l sèvi avèk Seldon Core.
Li ofri:
- Deplwaman modèl ka vin pi senp ak plizyè altènativ, tankou deplwaman Canary.
- Pou konprann poukisa prediksyon espesifik yo te fè, sèvi ak esplike modèl.
- Lè pwoblèm rive, kenbe yon je sou modèl pwodiksyon yo lè l sèvi avèk sistèm alèt la.
konklizyon
MLOps ka ede fè operasyon aprantisaj machin yo pi byen. MLOps ka akselere deplwaman, fè koleksyon done ak debogaj pi senp, epi amelyore kolaborasyon ant enjenyè ak syantis done yo.
Pou w ka chwazi zouti MLOps ki pi byen adapte ak bezwen w yo, pòs sa a te egzamine 10 solisyon MLOps popilè, pifò ladan yo se sous louvri.
Kite yon Reply