Tá go leor earnálacha domhanda ag tosú ag infheistiú níos suntasaí i meaisínfhoghlama (ML).
Is féidir le foirne speisialtóirí samhlacha ML a sheoladh agus a oibriú ar dtús, ach is é ceann de na constaicí is mó ná an t-eolas a fuarthas a aistriú chuig an gcéad mhúnla eile ionas gur féidir próisis a leathnú.
Chun na próisis a bhaineann le bainistiú saolré múnla a fheabhsú agus a chaighdeánú, tá níos mó úsáide á baint as teicnící MLOps ag na foirne a chruthaíonn samhlacha meaisínfhoghlama.
Lean ar aghaidh ag léamh chun tuilleadh eolais a fháil faoi chuid de na huirlisí agus ardáin MLOps is fearr atá ar fáil inniu agus conas is féidir leo foghlaim meaisín a dhéanamh níos éasca ó thaobh uirlis, forbróra agus nós imeachta.
Cad is MLOps ann?
Tugtar “oibríochtaí foghlama meaisín,” nó “MLOPs” ar theicníc chun beartais, noirm agus cleachtais is fearr a chruthú do mhúnlaí meaisínfhoghlama.
Tá sé mar aidhm ag MLOps a chinntiú go ndéantar saolré iomlán na forbartha ML - ó ghiniúint go himscaradh - a dhoiciméadú agus a bhainistiú go cúramach le haghaidh na dtorthaí is fearr seachas a lán ama agus acmhainní a infheistiú inti gan straitéis.
Is é an sprioc atá ag MLOps dea-chleachtais a chódú ar bhealach a fhágann go mbeidh forbairt meaisínfhoghlama níos inscálaithe d’oibreoirí agus d’fhorbróirí ML, chomh maith le feabhas a chur ar cháilíocht agus ar shlándáil samhlacha ML.
Tagraíonn cuid acu do MLOps mar “DevOps for machine learning” ós rud é go gcuireann sé prionsabail DevOps i bhfeidhm go rathúil ar réimse forbartha teicneolaíochta níos speisialaithe.
Is bealach úsáideach é seo chun smaoineamh ar MLOps mar, cosúil le DevOps, cuireann sé béim ar chomhroinnt eolais, ar chomhoibriú agus ar dhea-chleachtais i measc foirne agus uirlisí.
Soláthraíonn MLOps creat d’fhorbróirí, d’eolaithe sonraí, agus d’fhoirne oibríochtaí chun na samhlacha ML is cumhachtaí a chomhoibriú agus, mar thoradh air sin, a tháirgeadh.
Cén Fáth a Úsáid MLOps Uirlisí?
Is féidir le huirlisí MLOps raon leathan dualgas a dhéanamh ar fhoireann ML, áfach, is minic a roinntear iad ina dhá ghrúpa: riarachán ardáin agus bainistíocht comhpháirteanna aonair.
Cé go ndíríonn roinnt táirgí MLOps ar chroífheidhm amháin, amhail bainistíocht sonraí nó meiteashonraí, glacann uirlisí eile straitéis níos cuimsithí agus soláthraíonn siad ardán MLOps chun roinnt gnéithe de shaolré ML a rialú.
Cuardaigh réitigh MLOps a chuidíonn le d’fhoireann na réimsí forbartha ML seo a bhainistiú, cibé an bhfuil speisialtóir nó uirlis níos leithne á lorg agat:
- Láimhseáil sonraí
- Dearadh agus samhaltú
- Bainistíocht tionscadal agus ionad oibre
- Imscaradh samhail ML agus cothabháil leanúnach
- Bainistíocht saolré ó thús go deireadh, a thairgeann ardáin MLOps lánseirbhíse de ghnáth.
Uirlisí MLOps
1. MLFlow
Tá saolré na foghlama meaisín á rialú ag an ardán foinse oscailte MLflow agus cuimsíonn sé clárú múnla lárnach, imscaradh agus turgnamh.
Is féidir le haon fhoireann méide MLflow a úsáid, ina n-aonar agus i dteannta a chéile. Níl aon tionchar ag leabharlanna ar an uirlis.
Is féidir le haon teanga ríomhchlárúcháin agus leabharlann meaisínfhoghlama é a úsáid.
Chun é a dhéanamh níos simplí feidhmchláir mheaisínfhoghlama a oiliúint, a imscaradh agus a bhainistiú, idirghníomhaíonn MLFlow le roinnt creataí meaisínfhoghlama, lena n-áirítear TensorFlow agus Pytorch.
Ina theannta sin, soláthraíonn MLflow APIanna atá éasca le húsáid is féidir a áireamh in aon ríomhchláir nó leabharlanna meaisínfhoghlama atá ann cheana féin.
Tá ceithre phríomhghné ag MLflow a éascaíonn trialacha a rianú agus a phleanáil:
- Rianú MLflow - API agus UI chun paraiméadair cód foghlama meaisín a logáil, leaganacha, méadracht, agus déantáin chomh maith le torthaí a thaispeáint agus a chodarsnacht ina dhiaidh sin
- Tionscadail MLflow – cód foghlama meaisín pacáistithe i bhformáid ath-inúsáidte, in-atáirgthe le haistriú chuig táirgeadh nó comhroinnt le heolaithe sonraí eile
- Múnlaí MLflow – samhlacha a chothabháil agus a imscaradh chuig raon de chórais riartha múnla agus tátail ó leabharlanna éagsúla ML
- Clárlann Múnla MLflow – stór múnla lárnach a chumasaíonn bainistiú comhoibríoch ar shaolré iomlán samhail MLflow, lena n-áirítear leagan samhlacha, aistrithe céime, agus nótaí.
2. KubeFlow
Tugtar Kubeflow ar bhosca uirlisí ML do Kubernetes. Pacáistiú agus bainistiú coimeádáin Docker, áiseanna i gcothabháil na córais meaisínfhoghlama.
Trí cheolfhoireann reáchtáil agus imscaradh sreafaí oibre meaisínfhoghlama a shimpliú, cuireann sé inscálaitheacht samhlacha meaisínfhoghlama chun cinn.
Is tionscadal foinse oscailte é ina n-áirítear grúpa uirlisí agus creataí comhlántacha a roghnaíodh go cúramach atá oiriúnaithe do riachtanais éagsúla ML.
Is féidir tascanna oiliúna ML fada, turgnamh láimhe, atrialltacht, agus dúshláin DevOps a láimhseáil le Píblínte Kubeflow.
Le haghaidh céimeanna éagsúla den mheaisínfhoghlaim, lena n-áirítear oiliúint, forbairt píblíne, agus cothabháil na Leabhair nótaí Jupyter, Tairgeann Kubeflow seirbhísí speisialaithe agus comhtháthú.
Déanann sé simplí saolré d’ualaí oibre AI a bhainistiú agus a rianú chomh maith le samhlacha meaisínfhoghlama (ML) agus píblínte sonraí a imscaradh chuig braislí Kubernetes.
Cuireann sé ar fáil:
- Leabhair nótaí chun an SDK a úsáid chun idirghníomhú leis an gcóras
- comhéadan úsáideora (UI) chun rití, jabanna agus turgnaimh a rialú agus monatóireacht a dhéanamh orthu
- Réitigh cheann go ceann a dhearadh go tapa gan a bheith riachtanach a atógáil gach uair, agus comhpháirteanna agus píblínte a athúsáid.
- Mar phríomhchuid de Kubeflow nó mar shuiteáil neamhspleách, tairgtear Kubeflow Pipelines.
3. Rialú Leagan Sonraí
Tugtar DVC, nó Rialú Leagan Sonraí ar réiteach rialaithe leagan foinse oscailte do thionscadail meaisínfhoghlama.
Cibé teanga a roghnaíonn tú, is uirlis thurgnamhach é a chuidíonn le sainmhíniú píblíne.
Úsáideann DVC cód, leagan sonraí, agus in-atáirgtheacht chun cabhrú leat am a shábháil nuair a aimsíonn tú fadhb le leagan níos luaithe de do mhúnla ML.
Ina theannta sin, is féidir leat píblínte DVC a úsáid chun do mhúnla a oiliúint agus é a dháileadh ar do bhaill foirne. Is féidir le DVC eagrú agus leagan mór sonraí a láimhseáil, agus is féidir na sonraí a stóráil ar bhealach inrochtana go héasca.
Cé go bhfuil roinnt gnéithe rianaithe turgnamh (teoranta) san áireamh ann, díríonn sé go príomha ar leagan agus bainistíocht sonraí agus píblíne.
Cuireann sé ar fáil:
- Tá sé stórála agnostic, dá bhrí sin is féidir a fhostú cineálacha éagsúla stórála.
- Soláthraíonn sé stats rianaithe freisin.
- modh réamhthógtha chun céimeanna ML a cheangal le DAG agus an píblíne iomlán a rith ó thús deireadh
- Is féidir forbairt iomlán gach samhail ML a leanúint trí úsáid a bhaint as a cód iomlán agus as foinse sonraí.
- In-atáirgtheacht trí chumraíocht tosaigh, sonraí ionchuir, agus cód cláir do thurgnamh a chaomhnú go dílis.
4. Pachyderm
Is clár rialaithe leagan é Pachyderm le haghaidh meaisínfhoghlama agus eolaíocht sonraí, cosúil le DVC.
Ina theannta sin, toisc go raibh sé cruthaithe ag baint úsáide as Docker agus Kubernetes, is féidir leis feidhmchláir Foghlama Meaisín a fhorghníomhú agus a imscaradh ar aon ardán scamall.
Tugann Pachyderm ráthaíochtaí gur féidir gach píosa sonraí a chaitear isteach i múnla meaisínfhoghlama a rianú siar agus a leagan.
Úsáidtear é chun samhlacha meaisínfhoghlama a chruthú, a dháileadh, a bhainistiú agus súil a choinneáil orthu. Tá clárlann samhail, córas bainistíochta samhlacha, agus bosca uirlisí CLI san áireamh.
Is féidir le forbróirí a saolré foghlama meaisín a uathoibriú agus a leathnú trí úsáid a bhaint as bunús sonraí Pachyderm, rud a áirithíonn atrialltacht freisin.
Tacaíonn sé le dianchaighdeáin rialachais sonraí, íslíonn sé costais próiseála agus stórála sonraí, agus cuidíonn sé le gnólachtaí a dtionscnaimh eolaíochta sonraí a thabhairt chuig an margadh níos tapúla.
5. Polaicsin
Ag baint úsáide as an ardán Polyaxon, is féidir tionscadail meaisínfhoghlama agus feidhmchláir foghlama domhain a mhacasamhlú agus a bhainistiú thar a saolré iomlán.
Tá Polyaxon in ann an uirlis a óstáil agus a riar, agus is féidir é a chur in aon ionad sonraí nó soláthraí scamall. Ar nós Tóirse, Tensorflow, agus MXNet, a thacaíonn le gach ceann de na creataí foghlama domhain is coitianta.
Nuair a bhaineann sé le ceolfhoirneacht, cuireann Polyaxon ar do chumas an leas is fearr a bhaint as do bhraisle trí thascanna agus tástálacha a sceidealú trína CLI, painéal, SDKanna, nó REST API.
Cuireann sé ar fáil:
- Is féidir leat an leagan foinse oscailte a úsáid faoi láthair, ach cuimsíonn sé roghanna don chorparáideach freisin.
- Cé go gclúdaíonn sé an saolré iomlán, lena n-áirítear ceolfhoireann rith, tá sé in ann i bhfad níos mó a dhéanamh.
- Le doiciméid tagartha theicniúla, treoirlínte tosaithe, ábhair foghlama, lámhleabhair, ranganna teagaisc, logaí athraithe, agus go leor eile, is ardán an-doiciméadaithe é.
- Le painéal léargais an turgnaimh, is féidir súil a choinneáil ar gach turgnamh leas iomlán a bhaint, a rianú agus a mheas.
6. Cóiméad
Is ardán é Cóiméad le haghaidh meitea-fhoghlaim meaisín a rianaíonn, a dhéanann codarsnacht, a mhíníonn agus a fheabhsaíonn turgnaimh agus samhlacha.
Is féidir do chuid turgnaimh ar fad a fheiceáil agus a chur i gcomparáid in aon áit amháin.
Feidhmíonn sé le haghaidh aon tasc meaisínfhoghlama, áit ar bith a fheidhmítear do chód, agus le haon leabharlann meaisínfhoghlama.
Tá Cóiméad oiriúnach do ghrúpaí, do dhaoine aonair, d’institiúidí acadúla, do ghnólachtaí, agus d’aon duine eile ar mian leo turgnaimh a léirshamhlú go tapa, obair a shruthlíniú, agus turgnaimh a dhéanamh.
Is féidir le heolaithe sonraí agus foirne a rianú, a shoiléiriú, a fheabhsú, agus a chur i gcomparáid turgnaimh agus samhlacha ag baint úsáide as an féin-óstáil agus scamall-bhunaithe Meitea-meaisín ardán foghlama Cóiméad.
Cuireann sé ar fáil:
- Tá go leor cumas ann do bhaill foirne chun tascanna a roinnt.
- Tá roinnt comhtháthú ann a fhágann go bhfuil sé simplí é a nascadh le teicneolaíochtaí eile
- Feidhmíonn sé go maith le leabharlanna ML reatha
- Tugann sé aire do bhainistíocht úsáideoirí
- Cumasaítear comparáid idir turgnaimh, lena n-áirítear comparáid idir cód, hipearpharaiméadair, méadracht, tuar, spleáchais, agus méadracht chórais.
- Soláthraíonn sé modúil ar leith le haghaidh fís, fuaime, téacs, agus sonraí táblaí a ligeann duit samplaí a shamhlú.
7. Optuna
Is córas é Optuna le haghaidh leas iomlán a bhaint as hipearpharaiméadair uathrialaitheach is féidir a chur i bhfeidhm ar fhoghlaim mheaisín agus ar fhoghlaim dhomhain chomh maith le réimsí eile.
Tá éagsúlacht de halgartaim cheannródaíocha ann ónar féidir leat a roghnú (nó nasc a dhéanamh), déanann sé an-simplí oiliúint a dháileadh ar go leor ríomhairí, agus cuireann sé léirshamhlú torthaí tarraingteach ar fáil.
Tá leabharlanna móréilimh meaisínfhoghlama ar nós PyTorch, TensorFlow, Keras, FastAI, sci-kit-lean, LightGBM, agus XGBoost go léir comhtháite leis.
Soláthraíonn sé halgartaim cheannródaíocha a chuireann ar chumas custaiméirí torthaí a bhaint amach níos gasta trí na samplaí nach cuma a bhfuil gealladh fúthu a laghdú go tapa.
Ag baint úsáide as halgartaim bunaithe ar Python, déanann sé cuardach go huathoibríoch do na hipearpharaiméadair idéalach. Spreagann Optuna cuardaigh hipearpharaiméadair comhthreomhara thar go leor snáitheanna gan an cód bunaidh a athrú.
Cuireann sé ar fáil:
- Tacaíonn sé le hoiliúint dháilte ar bhraisle chomh maith le ríomhaire amháin (ilphróiseas) (ilnód)
- Tacaíonn sé le roinnt teicnící bearrtha chun cóineasú a bhrostú (agus níos lú ríomh a úsáid)
- Tá éagsúlacht léirshamhlaithe cumhachtacha aige, mar shampla plota slice, plota comhrianta, agus comhordanáidí comhthreomhara.
8. Kedro
Is creat Python saor in aisce é Kedro chun cód a scríobh is féidir a nuashonrú agus a chothabháil do thionscadail eolaíochta sonraí.
Tugann sé smaointe ó dhea-chleachtais in innealtóireacht bogearraí go cód meaisínfhoghlama. Is é Python bunús na huirlise sreafa oibre seo le haghaidh orchestration.
Chun do phróisis ML a dhéanamh níos simplí agus níos cruinne, is féidir leat sreafaí oibre atá in-atáirgthe, inchothaithe agus modúlach a fhorbairt.
Ionchorpraíonn Kedro prionsabail innealtóireachta bogearraí mar mhodúlacht, scaradh freagrachtaí, agus leagan amach i dtimpeallacht meaisínfhoghlama.
Ar bhonn Eolaíocht Sonraí Fianán, cuireann sé creat tionscadail comónta inoiriúnaithe ar fáil.
Tá roinnt nascóirí sonraí simplí a úsáidtear chun sonraí a stóráil agus a lódáil thar roinnt córas comhaid agus formáidí comhaid, á mbainistiú ag an gcatalóg sonraí. Déanann sé tionscadail meaisínfhoghlama níos éifeachtaí agus déanann sé níos simplí píblíne sonraí a thógáil.
Cuireann sé ar fáil:
- Ligeann Kedro d'imscaradh meaisín scaipthe nó aonair.
- Is féidir leat spleáchais idir cód Python agus léirshamhlú sreabhadh oibre a uathoibriú trí úsáid a bhaint as astarraingt píblíne.
- Trí úsáid a bhaint as cód modúlach, ath-inúsáidte, éascaíonn an teicneolaíocht seo comhoibriú foirne ar leibhéil éagsúla agus feabhsaíonn sé táirgiúlacht sa timpeallacht códaithe.
- Is é an príomhsprioc ná na míbhuntáistí a bhaineann le leabhair nótaí Jupyter, scripteanna aonuaire, agus cód gliú a shárú trí ríomhchlárú eolaíocht sonraí inchothaithe a scríobh.
9. BentoML
Déantar críochphointí API foghlama meaisín a thógáil le BentoML.
Soláthraíonn sé bonneagar tipiciúil ach comhdhlúite chun samhlacha meaisínfhoghlama foghlamtha a aistriú isteach i dtáirgeadh.
Cuireann sé ar do chumas samhlacha foghlamtha a phacáistiú le húsáid i suíomh táirgthe, agus iad á léirmhíniú ag baint úsáide as aon chreat ML. Tacaítear le riaradh baisc as líne agus le riar API ar líne.
Is gnéithe de BentoML iad freastalaí samhail ardfheidhmíochta agus sreabhadh oibre solúbtha.
Ina theannta sin, cuireann an freastalaí micrea-bhaisceáil oiriúnaitheach ar fáil. Soláthraíonn an painéal UI cur chuige aontaithe chun samhlacha a eagrú agus súil a choinneáil ar nósanna imeachta imlonnaithe.
Ní bheidh aon downtime freastalaí ann toisc go bhfuil an meicníocht oibriúcháin modúlach agus is féidir an chumraíocht a ath-úsáid. Is ardán solúbtha é chun samhlacha ML a sholáthar, a eagrú agus a imscaradh.
Cuireann sé ar fáil:
- Tá dearadh modúlach aige atá inoiriúnaithe.
- Cumasaíonn sé imscaradh thar roinnt ardán.
- Ní féidir leis scálú cothrománach a láimhseáil go huathoibríoch.
- Cuireann sé ar chumas formáid múnla amháin, bainistíocht múnla, pacáistiú múnla, agus freastal múnla ardfheidhmíochta.
10. seldon
Is féidir le heolaithe sonraí samhlacha meaisínfhoghlama agus turgnaimh ar scála a chruthú, a imscaradh agus a bhainistiú ar Kubernetes ag baint úsáide as creat foinse oscailte Seldon Core.
Níl iontu ach TensorFlow, sci-kit-learn, Spark, R, Java, agus H2O ach cuid de na feisteáin uirlisí a fhaigheann tacaíocht uaidh.
Comhéadann sé freisin le Kubeflow agus OpenShift RedHat. Athraíonn croí Seldon samhlacha meaisínfhoghlama (múnlaí ML) nó cumhdaigh teanga (teangacha cosúil le Python, Java, etc.) go micreasheirbhísí táirgeachta REST/GRPC.
Is é ceann de na huirlisí MLOps is fearr chun próisis mheaisínfhoghlama a fheabhsú ná an ceann seo.
Tá sé simplí samhlacha ML a choimeád agus tástáil le haghaidh inúsáidteachta agus slándála ag baint úsáide as Seldon Core.
Cuireann sé ar fáil:
- Is féidir imscaradh múnla a dhéanamh níos simplí le roinnt roghanna eile, mar shampla imscaradh canáraí.
- Chun tuiscint a fháil ar cén fáth a ndearnadh tuar ar leith, bain úsáid as mionmhínithe.
- Nuair a thagann saincheisteanna chun cinn, coinnigh súil ar na samhlacha táirgeachta ag baint úsáide as an gcóras foláirimh.
Conclúid
Is féidir le MLOps cabhrú le hoibríochtaí meaisínfhoghlama a dhéanamh níos fearr. Is féidir le MLOps imscaradh a bhrostú, bailiú sonraí agus dífhabhtú a dhéanamh níos simplí, agus comhoibriú idir innealtóirí agus eolaithe sonraí a fheabhsú.
Chun an uirlis MLOps is fearr a oireann do do chuid riachtanas a roghnú, scrúdaigh an post seo 10 réiteach MLOps a bhfuil tóir orthu, agus is foinse oscailte an chuid is mó díobh.
Leave a Reply