Orisirisi awọn apa agbaye ti bẹrẹ lati ṣe idoko-owo diẹ sii ni ikẹkọ ẹrọ (ML).
Awọn awoṣe ML le ṣe ifilọlẹ ni ibẹrẹ ati ṣiṣẹ nipasẹ awọn ẹgbẹ ti awọn alamọja, ṣugbọn ọkan ninu awọn idiwọ nla julọ ni gbigbe imọ ti o gba si awoṣe atẹle ki awọn ilana le faagun.
Lati mu ilọsiwaju ati ṣe iwọn awọn ilana ti o wa ninu iṣakoso igbesi aye awoṣe, awọn ilana MLOps ti wa ni lilo siwaju sii nipasẹ awọn ẹgbẹ ti o ṣẹda awọn awoṣe ikẹkọ ẹrọ.
Tẹsiwaju kika lati wa diẹ sii nipa diẹ ninu awọn irinṣẹ MLOps ti o dara julọ ati awọn iru ẹrọ ti o wa loni ati bii wọn ṣe le jẹ ki ẹkọ ẹrọ rọrun lati ọdọ irinṣẹ kan, olupilẹṣẹ, ati oju-ọna ilana.
Kini MLOps?
Ilana fun ṣiṣẹda awọn eto imulo, awọn ilana, ati awọn iṣe ti o dara julọ fun awọn awoṣe ikẹkọ ẹrọ ni a mọ ni “awọn iṣẹ ikẹkọ ẹrọ,” tabi “MLOps.”
MLOps ni ero lati ṣe iṣeduro gbogbo igbesi-aye igbesi aye ti idagbasoke ML - lati inu ero si imuṣiṣẹ - ti ni akọsilẹ daradara ati iṣakoso fun awọn esi to dara julọ ju idokowo akoko pupọ ati awọn ohun elo ninu rẹ laisi ilana kan.
Ibi-afẹde ti MLOps ni lati ṣe koodu awọn iṣe ti o dara julọ ni ọna ti o jẹ ki idagbasoke ikẹkọ ẹrọ jẹ iwọn diẹ sii fun awọn oniṣẹ ML ati awọn olupilẹṣẹ, ati lati mu didara ati aabo awọn awoṣe ML pọ si.
Diẹ ninu tọka si MLOps bi “DevOps fun ikẹkọ ẹrọ” niwọn igba ti o ti lo awọn ipilẹ DevOps ni aṣeyọri si aaye amọja diẹ sii ti idagbasoke imọ-ẹrọ.
Eyi jẹ ọna ti o wulo lati ronu nipa MLOps nitori, bii DevOps, o tẹnumọ pinpin imọ, ifowosowopo, ati awọn iṣe ti o dara julọ laarin awọn ẹgbẹ ati awọn irinṣẹ.
MLOps n pese awọn olupilẹṣẹ, awọn onimọ-jinlẹ data, ati awọn ẹgbẹ iṣiṣẹ pẹlu ilana fun ifowosowopo ati, bi abajade, iṣelọpọ awọn awoṣe ML ti o lagbara julọ.
Kini idi ti Awọn irinṣẹ MLOps Lo?
Awọn irinṣẹ MLOps le ṣe awọn iṣẹ lọpọlọpọ fun ẹgbẹ ML kan, sibẹsibẹ, nigbagbogbo wọn pin si awọn ẹgbẹ meji: iṣakoso pẹpẹ ati iṣakoso paati kọọkan.
Lakoko ti diẹ ninu awọn ọja MLOps ṣe idojukọ nikan lori iṣẹ pataki kan, gẹgẹbi data tabi iṣakoso metadata, awọn irinṣẹ miiran gba ilana-ipin gbogbo diẹ sii ati pese pẹpẹ MLOps kan lati ṣakoso awọn abala pupọ ti igbesi aye ML.
Wa awọn ojutu MLOps ti o ṣe iranlọwọ fun ẹgbẹ rẹ ni ṣiṣakoso awọn agbegbe idagbasoke ML wọnyi, boya o n wa alamọja tabi ohun elo gbooro diẹ sii:
- Mimu ti data
- Oniru ati modeli
- Isakoso awọn iṣẹ akanṣe ati aaye iṣẹ
- ML imuṣiṣẹ awoṣe ati lemọlemọfún upkeep
- Isakoso igbesi aye lati ibẹrẹ si ipari, eyiti o funni ni igbagbogbo nipasẹ awọn iru ẹrọ MLOps iṣẹ ni kikun.
Awọn irinṣẹ MLOps
1. MLFlow
Igbesi aye ẹkọ ẹrọ jẹ iṣakoso nipasẹ ipilẹ orisun-ìmọ MLflow ati pẹlu iforukọsilẹ awoṣe aarin, imuṣiṣẹ, ati idanwo.
MLflow le ṣee lo nipasẹ ẹgbẹ iwọn eyikeyi, mejeeji ni ẹyọkan ati ni apapọ. Awọn ile-ikawe ko ni ipa lori irinṣẹ naa.
Eyikeyi ede siseto ati ile-ikawe ẹkọ ẹrọ le lo.
Lati jẹ ki o rọrun lati ṣe ikẹkọ, ranṣiṣẹ, ati ṣakoso awọn ohun elo ikẹkọ ẹrọ, MLFlow ṣe ajọṣepọ pẹlu nọmba awọn ilana ikẹkọ ẹrọ, pẹlu TensorFlow ati Pitorch.
Ni afikun, MLflow n pese awọn API ti o rọrun-si-lilo ti o le wa ninu eyikeyi awọn eto ẹkọ ẹrọ ti o wa tẹlẹ tabi awọn ile-ikawe.
MLflow ni awọn ẹya bọtini mẹrin ti o dẹrọ titele ati awọn adanwo igbero:
- Titọpa MLflow – API ati UI kan fun awọn ipilẹ koodu kikọ ẹrọ ẹrọ, awọn ẹya, awọn metiriki, ati awọn ohun-ọṣọ gẹgẹbi fun iṣafihan atẹle ati iyatọ awọn abajade
- Awọn iṣẹ akanṣe MLflow - koodu kikọ ẹrọ iṣakojọpọ ni atunlo, ọna kika atunṣe fun gbigbe si iṣelọpọ tabi pinpin pẹlu awọn onimọ-jinlẹ data miiran
- Awọn awoṣe MLflow – mimu ati imuṣiṣẹ awọn awoṣe si iwọn iṣẹ iranṣẹ awoṣe ati awọn eto inira lati ọpọlọpọ awọn ile-ikawe ML
- Iforukọsilẹ Awoṣe MLflow – ile itaja awoṣe aarin kan ti o fun laaye iṣakoso ifowosowopo ti gbogbo igbesi aye awoṣe MLflow kan, pẹlu ẹya awoṣe, awọn iyipada ipele, ati awọn asọye.
2. KubeFlow
Apoti irinṣẹ ML fun Kubernetes ni a pe ni Kubeflow. Iṣakojọpọ ati iṣakoso awọn apoti Docker, awọn iranlọwọ ni itọju ti ẹrọ eko awọn ọna šiše.
Nipa simplifying run orchestration ati awọn imuṣiṣẹ ti ẹrọ kikọ bisesenlo, o nse ni scalability ti ẹrọ eko awọn awoṣe.
O jẹ iṣẹ akanṣe orisun ṣiṣi ti o pẹlu ẹgbẹ ti a ti farabalẹ ti yan ti awọn irinṣẹ ibaramu ati awọn ilana ti a ṣe deede si awọn iwulo ML oriṣiriṣi.
Awọn iṣẹ ikẹkọ ML gigun, idanwo afọwọṣe, atunwi, ati awọn italaya DevOps ni a le mu pẹlu Kubeflow Pipelines.
Fun ọpọlọpọ awọn ipele ti ẹkọ ẹrọ, pẹlu ikẹkọ, idagbasoke opo gigun ti epo, ati itọju ti Jupyter ajako, Kubeflow nfunni awọn iṣẹ pataki ati isọpọ.
O jẹ ki o rọrun lati ṣakoso ati tọpa igbesi aye awọn iṣẹ ṣiṣe AI rẹ daradara bi lati ran awọn awoṣe ikẹkọ ẹrọ (ML) ati awọn opo gigun ti data si awọn iṣupọ Kubernetes.
O nfunni:
- Awọn iwe akiyesi fun lilo SDK lati ṣe ajọṣepọ pẹlu eto naa
- ni wiwo olumulo (UI) fun iṣakoso ati ṣiṣe abojuto, awọn iṣẹ, ati awọn idanwo
- Lati yara ṣe apẹrẹ awọn ipinnu opin-si-opin laisi nini lati tunkọ ni akoko kọọkan, ati tun lo awọn paati ati awọn opo gigun.
- Gẹgẹbi paati bọtini ti Kubeflow tabi bi fifi sori ẹrọ imurasilẹ, Kubeflow Pipelines ti funni.
3. Data Version Iṣakoso
Ojutu iṣakoso ẹya orisun-ìmọ fun awọn iṣẹ akanṣe ikẹkọ ẹrọ ni a pe ni DVC, tabi Iṣakoso Ẹya Data.
Eyikeyi ede ti o mu, o jẹ ohun elo idanwo ti o ṣe iranlọwọ ni itumọ opo gigun ti epo.
DVC nlo koodu, ikede data, ati atunṣe lati ṣe iranlọwọ fun ọ lati ṣafipamọ akoko nigbati o ṣawari ọrọ kan pẹlu ẹya iṣaaju ti awoṣe ML rẹ.
Ni afikun, o le lo awọn opo gigun ti DVC lati ṣe ikẹkọ awoṣe rẹ ati pinpin si awọn ọmọ ẹgbẹ ẹgbẹ rẹ. Eto data nla ati ikede le jẹ mimu nipasẹ DVC, ati pe data le wa ni ipamọ ni irọrun wiwọle.
Botilẹjẹpe o pẹlu diẹ ninu awọn ẹya idanwo idanwo (lopin), o dojukọ pupọ julọ lori data ati ikede opo gigun ti epo ati iṣakoso.
O nfunni:
- O jẹ agnostic ibi ipamọ, nitorinaa o ṣee ṣe lati lo ọpọlọpọ awọn iru ibi ipamọ.
- O pese awọn iṣiro ipasẹ daradara.
- ọna ti a ti kọ tẹlẹ lati darapọ mọ awọn ipele ML sinu DAG ati ṣiṣe gbogbo opo gigun ti epo lati ibẹrẹ lati pari
- Gbogbo idagbasoke awoṣe ML kọọkan le tẹle ni lilo gbogbo koodu rẹ ati iṣafihan data.
- Atunse nipa titọju otitọ iṣeto ni ibẹrẹ, data igbewọle, ati koodu eto fun idanwo kan.
4. Pachyderm
Pachyderm jẹ eto iṣakoso ẹya fun ẹkọ ẹrọ ati imọ-jinlẹ data, ti o jọra si DVC.
Ni afikun, nitori a ṣẹda rẹ nipa lilo Docker ati Kubernetes, o le ṣiṣẹ ati mu awọn ohun elo Ẹkọ ẹrọ lori eyikeyi iru ẹrọ awọsanma.
Pachyderm ṣe awọn iṣeduro pe nkan kọọkan ti data ti o jẹ sinu awoṣe ikẹkọ ẹrọ le jẹ tọpinpin pada ati ti ikede.
O ti wa ni lilo lati ṣẹda, kaakiri, ṣakoso awọn, ki o si pa ohun oju lori ẹrọ eko awọn awoṣe. Iforukọsilẹ awoṣe, eto iṣakoso awoṣe, ati apoti irinṣẹ CLI ni gbogbo rẹ wa.
Awọn Difelopa le ṣe adaṣe ati faagun igbesi aye ikẹkọ ẹrọ wọn nipa lilo ipilẹ data Pachyderm, eyiti o tun ṣe idaniloju atunwi.
O ṣe atilẹyin awọn iṣedede iṣakoso data lile, dinku sisẹ data ati awọn idiyele ibi ipamọ, ati ṣe iranlọwọ fun awọn iṣowo ni mimu awọn ipilẹṣẹ imọ-jinlẹ data wọn wa si ọja ni iyara diẹ sii.
5. Polyaxon
Lilo Syeed Polyaxon, awọn iṣẹ ikẹkọ ẹrọ ati awọn ohun elo ẹkọ ti o jinlẹ le ṣe atunṣe ati ṣakoso lori gbogbo igbesi aye wọn.
Polyaxon ni anfani lati gbalejo ati ṣakoso ọpa, ati pe o le gbe sinu eyikeyi ile-iṣẹ data tabi olupese awọsanma. Bii Torch, Tensorflow, ati MXNet, eyiti o ṣe atilẹyin fun gbogbo awọn ilana ikẹkọ jinlẹ olokiki julọ.
Nigbati o ba de si orchestration, Polyaxon n fun ọ laaye lati ni anfani pupọ julọ ti iṣupọ rẹ nipa ṣiṣe eto awọn iṣẹ ṣiṣe ati awọn idanwo nipasẹ CLI, dashboard, SDKs, tabi REST API.
O nfunni:
- O le lo ẹya orisun-ìmọ ni bayi, ṣugbọn o tun pẹlu awọn yiyan fun ile-iṣẹ naa.
- Botilẹjẹpe o bo igbesi aye pipe, pẹlu orchestration ṣiṣe, o lagbara pupọ diẹ sii.
- Pẹlu awọn iwe itọkasi imọ-ẹrọ, awọn itọnisọna bibẹrẹ, awọn ohun elo ẹkọ, awọn iwe afọwọkọ, awọn olukọni, awọn iwe iyipada, ati diẹ sii, o jẹ pẹpẹ ti o ni iwe-ipamọ ti o ga julọ.
- Pẹlu dasibodu awọn oye idanwo, o ṣee ṣe lati tọju oju lori, tọpa, ati ṣe iṣiro idanwo iṣapeju kọọkan.
6. Comet
Comet jẹ pẹpẹ fun ikẹkọ ẹrọ meta ti o tọpa, ṣe iyatọ, ṣalaye, ati ilọsiwaju awọn idanwo ati awọn awoṣe.
Gbogbo awọn adanwo rẹ ni a le rii ati fiwera ni ipo kan.
O ṣiṣẹ fun iṣẹ ikẹkọ ẹrọ eyikeyi, nibikibi ti koodu rẹ ti ṣe, ati pẹlu ile-ikawe ikẹkọ ẹrọ eyikeyi.
Comet yẹ fun awọn ẹgbẹ, awọn ẹni-kọọkan, awọn ile-ẹkọ ẹkọ, awọn iṣowo, ati ẹnikẹni miiran ti o fẹ lati yara wo awọn adanwo, mu iṣẹ ṣiṣẹ, ati ṣe awọn adanwo.
Awọn onimọ-jinlẹ data ati awọn ẹgbẹ le tọpinpin, ṣalaye, mu ilọsiwaju, ati ṣe afiwe awọn idanwo ati awọn awoṣe nipa lilo iru ẹrọ ikẹkọ ti ara ẹni ati orisun awọsanma Comet.
O nfunni:
- Ọpọlọpọ awọn agbara wa fun awọn ọmọ ẹgbẹ ẹgbẹ lati pin awọn iṣẹ-ṣiṣe.
- O ni ọpọlọpọ awọn iṣọpọ ti o jẹ ki o rọrun lati sopọ mọ awọn imọ-ẹrọ miiran
- Awọn iṣẹ daradara pẹlu awọn ile-ikawe ML lọwọlọwọ
- Ṣe abojuto iṣakoso olumulo
- Ifiwera awọn adanwo ti ṣiṣẹ, pẹlu lafiwe ti koodu, hyperparameters, awọn metiriki, awọn asọtẹlẹ, awọn igbẹkẹle, ati awọn metiriki eto.
- Pese awọn modulu ọtọtọ fun iran, ohun, ọrọ, ati data tabular ti o jẹ ki o wo awọn ayẹwo.
7. Optuna
Optuna jẹ eto fun iṣapeye hyperparameter adase ti o le lo si ikẹkọ ẹrọ mejeeji ati ikẹkọ jinlẹ ati awọn aaye miiran.
O ni ọpọlọpọ awọn algoridimu gige-eti lati eyiti o le yan (tabi ọna asopọ), jẹ ki o rọrun pupọ lati kaakiri ikẹkọ lori awọn kọnputa lọpọlọpọ, ati funni ni iwoye awọn abajade ti o wuyi.
Awọn ile ikawe ẹrọ ti o gbajumọ bii PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM, ati XGBoost ni gbogbo wọn ṣepọ pẹlu rẹ.
O pese awọn algoridimu gige-eti ti o fun awọn alabara laaye lati ni awọn abajade ni iyara diẹ sii nipa idinku awọn ayẹwo ni iyara ti ko dabi ileri.
Lilo awọn algoridimu orisun Python, o wa laifọwọyi fun awọn hyperparameters ti o dara julọ. Optuna ṣe iwuri fun awọn wiwa hyperparameter ti o jọra kọja ọpọlọpọ awọn okun laisi iyipada koodu atilẹba naa.
O nfunni:
- O ṣe atilẹyin ikẹkọ pinpin lori iṣupọ kan bakanna bi kọnputa kan (ilana-ọpọlọpọ) (opopona pupọ)
- O ṣe atilẹyin ọpọlọpọ awọn ilana gige gige lati mu iyara pọ si (ati lo iṣiro kere si)
- O ni ọpọlọpọ awọn iwoye ti o lagbara, gẹgẹbi idite bibẹ, Idite elegbegbe, ati awọn ipoidojuko ti o jọra.
8. Kedro
Kedro jẹ ilana Python ọfẹ fun koodu kikọ ti o le ṣe imudojuiwọn ati ṣetọju fun awọn iṣẹ akanṣe imọ-jinlẹ data.
O mu awọn imọran wa lati awọn iṣe ti o dara julọ ni imọ-ẹrọ sọfitiwia si koodu kikọ ẹrọ. Python jẹ ipilẹ ti irinṣẹ orchestration bisesenlo yii.
Lati jẹ ki awọn ilana ML rẹ rọrun ati kongẹ diẹ sii, o le ṣe agbekalẹ iṣelọpọ, mimuṣeduro, ati awọn iṣan-iṣẹ iwọn apọju.
Kedro ṣafikun awọn ipilẹ imọ-ẹrọ sọfitiwia bii modularity, ipinya awọn ojuse, ati ti ikede sinu agbegbe ikẹkọ ẹrọ.
Lori ipilẹ ti Imọ-jinlẹ Data Cookiecutter, o pese ilana iṣẹ akanṣe kan ti o wọpọ, ti o ni ibamu.
Nọmba awọn asopọ data ti o rọrun ti a lo lati fipamọ ati fifuye data kọja ọpọlọpọ awọn ọna ṣiṣe faili ati awọn ọna kika faili, ni iṣakoso nipasẹ katalogi data. O jẹ ki awọn iṣẹ ikẹkọ ẹrọ ṣiṣẹ diẹ sii ati jẹ ki o rọrun lati kọ opo gigun ti epo kan.
O nfunni:
- Kedro ngbanilaaye fun boya tuka tabi imuṣiṣẹ ẹrọ adaṣo.
- O le ṣe adaṣe awọn igbẹkẹle laarin koodu Python ati iworan iṣan-iṣẹ nipa lilo abstraction opo gigun ti epo.
- Nipasẹ lilo modular, koodu atunlo, imọ-ẹrọ yii ṣe iranlọwọ ifowosowopo ẹgbẹ lori ọpọlọpọ awọn ipele ati ilọsiwaju iṣelọpọ ni agbegbe ifaminsi.
- Ibi-afẹde akọkọ ni lati bori awọn apadabọ ti awọn iwe ajako Jupyter, awọn iwe afọwọkọ ọkan-pipa, ati koodu lẹ pọ nipasẹ kikọ siseto imọ-jinlẹ data ti o ṣetọju.
9. BentoML
Awọn aaye ipari API ti ẹkọ ẹrọ jẹ rọrun pẹlu BentoML.
O pese awọn amayederun aṣoju sibẹsibẹ ti dipọ lati gbe awọn awoṣe ikẹkọ ẹrọ ti a kọ sinu iṣelọpọ.
O fun ọ laaye lati ṣajọ awọn awoṣe ikẹkọ fun lilo ninu eto iṣelọpọ kan, tumọ wọn nipa lilo ilana ML eyikeyi. Mejeeji iṣẹ ṣiṣe aisinipo ati iṣẹsin API ori ayelujara jẹ atilẹyin.
Olupin awoṣe iṣẹ-giga ati ṣiṣiṣẹ iṣiṣẹ rọ jẹ awọn ẹya ti BentoML.
Ni afikun, olupin naa nfunni ni adaṣe micro-batching. Ọna iṣọkan kan fun siseto awọn awoṣe ati titọju abala awọn ilana imuṣiṣẹ ti pese nipasẹ dasibodu UI.
Ko si akoko idaduro olupin nitori ẹrọ iṣiṣẹ jẹ apọjuwọn ati iṣeto ni atunlo. O jẹ pẹpẹ ti o rọ fun ipese, siseto, ati imuṣiṣẹ awọn awoṣe ML.
O nfunni:
- O ni apẹrẹ modular ti o jẹ iyipada.
- O jeki imuṣiṣẹ kọja orisirisi awọn iru ẹrọ.
- Ko le mu iwọn iwọn petele mu laifọwọyi.
- O jẹ ki ọna kika awoṣe kan ṣoṣo, iṣakoso awoṣe, iṣakojọpọ awoṣe, ati iṣẹ ṣiṣe awoṣe iṣẹ-giga.
10. seldon
Awọn onimọ-jinlẹ data le ṣẹda, ransiṣẹ, ati ṣakoso awọn awoṣe ikẹkọ ẹrọ ati awọn adanwo ni iwọn lori Kubernetes nipa lilo ilana orisun-ìmọ Seldon Core.
TensorFlow, sci-kit-learn, Spark, R, Java, ati H2O jẹ diẹ ninu awọn ohun elo irinṣẹ ti o ni atilẹyin nipasẹ rẹ.
O tun ni atọkun pẹlu Kubeflow ati RedHat's OpenShift. Seldon mojuto ṣe iyipada awọn awoṣe ikẹkọ ẹrọ (awọn awoṣe ML) tabi awọn akopọ ede (awọn ede bii Python, Java, ati bẹbẹ lọ) sinu iṣelọpọ REST/GRPC microservices.
Ọkan ninu awọn irinṣẹ MLOps ti o dara julọ fun ilọsiwaju awọn ilana ikẹkọ ẹrọ ni eyi.
O rọrun lati ṣafikun awọn awoṣe ML ati idanwo fun lilo ati aabo nipa lilo Seldon Core.
O nfunni:
- Awoṣe imuṣiṣẹ le jẹ ki o rọrun pẹlu ọpọlọpọ awọn omiiran, gẹgẹbi imuṣiṣẹ canary.
- Lati loye idi ti a fi ṣe awọn asọtẹlẹ kan pato, lo awọn alaye apẹẹrẹ.
- Nigbati awọn ọran ba dide, tọju oju lori awọn awoṣe iṣelọpọ nipa lilo eto gbigbọn.
ipari
MLOps le ṣe iranlọwọ lati jẹ ki awọn iṣẹ ikẹkọ ẹrọ dara julọ. MLOps le mu imuṣiṣẹ pọ si, jẹ ki gbigba data ati ṣiṣatunṣe rọrun, ati ilọsiwaju ifowosowopo laarin awọn onimọ-ẹrọ ati awọn onimọ-jinlẹ data.
Ni ibere fun ọ lati yan ohun elo MLOps ti o baamu awọn iwulo rẹ dara julọ, ifiweranṣẹ yii ṣe ayẹwo awọn solusan MLOps olokiki 10, pupọ julọ eyiti o jẹ orisun-ìmọ.
Fi a Reply