Tha grunn roinnean cruinne a’ tòiseachadh a’ tasgadh nas motha ann an ionnsachadh innealan (ML).
Faodar modalan ML a chuir air bhog an toiseach agus an ruith le sgiobaidhean de eòlaichean, ach is e aon de na cnapan-starra as motha a bhith a’ gluasad an eòlais a fhuaireadh chun ath mhodail gus an tèid pròiseasan a leudachadh.
Gus na pròiseasan a tha an sàs ann an riaghladh cearcall-beatha modail a leasachadh agus a cho-òrdanachadh, tha dòighean MLOps gan cleachdadh barrachd is barrachd leis na sgiobaidhean a chruthaicheas modalan ionnsachaidh innealan.
Lean air adhart a’ leughadh gus tuilleadh fhaighinn a-mach mu chuid de na h-innealan agus àrd-ùrlaran MLOps as fheàrr a tha rim faighinn an-diugh agus mar as urrainn dhaibh ionnsachadh innealan a dhèanamh nas fhasa bho inneal, leasaiche, agus sealladh modh-obrach.
Dè a th' ann am MLOps?
Canar “obraichean ionnsachaidh inneal,” no “MLOps” ri dòigh airson poileasaidhean, gnàthasan agus cleachdaidhean as fheàrr a chruthachadh airson modalan ionnsachaidh innealan.
Tha MLOps ag amas air gealltainn gum bi cearcall-beatha iomlan leasachadh ML - bho bhun-bheachd gu cleachdadh - air a chlàradh gu faiceallach agus air a riaghladh airson na toraidhean as fheàrr seach a bhith a’ tasgadh mòran ùine agus ghoireasan ann às aonais ro-innleachd.
Is e amas MLOps na cleachdaidhean as fheàrr a chòdachadh ann an dòigh a nì leasachadh ionnsachadh innealan nas so-ruigsinneach dha gnìomhaichean ML agus luchd-leasachaidh, a bharrachd air càileachd agus tèarainteachd mhodalan ML àrdachadh.
Bidh cuid a’ toirt iomradh air MLOps mar “DevOps airson ionnsachadh innealan” leis gu bheil e gu soirbheachail a’ cur an sàs prionnsapalan DevOps ann an raon leasachadh teicneòlach nas speisealta.
Tha seo na dhòigh fheumail air smaoineachadh air MLOps oir, mar DevOps, tha e a’ cur cuideam air roinneadh eòlais, co-obrachadh, agus na cleachdaidhean as fheàrr am measg sgiobaidhean agus innealan.
Tha MLOps a’ toirt frèam do luchd-leasachaidh, luchd-saidheans dàta, agus sgiobaidhean gnìomhachd airson co-obrachadh agus, mar thoradh air sin, na modalan ML as cumhachdaiche a thoirt gu buil.
Carson a chleachdar Innealan MLOps?
Faodaidh innealan MLOps raon farsaing de dhleastanasan a choileanadh airson sgioba ML, ge-tà, bidh iad gu tric air an roinn ann an dà bhuidheann: rianachd àrd-ùrlar agus riaghladh phàirtean fa leth.
Ged a tha cuid de thoraidhean MLOps ag amas air aon phrìomh dhleastanas a-mhàin, leithid riaghladh dàta no meata-dàta, bidh innealan eile a’ gabhail ri ro-innleachd nas coileanta agus a’ toirt seachad àrd-ùrlar MLOps gus smachd a chumail air grunn thaobhan de chuairt-beatha ML.
Coimhead airson fuasglaidhean MLOps a chuidicheas do sgioba ann a bhith a’ stiùireadh nan raointean leasachaidh ML seo, ge bith a bheil thu a’ coimhead airson eòlaiche no inneal nas fharsainge:
- Làimhseachadh dàta
- Dealbhadh agus modaileadh
- Stiùireadh phròiseactan agus àite-obrach
- Cleachdadh modail ML agus cumail suas leantainneach
- Riaghladh cuairt-beatha bho thoiseach gu deireadh, a tha mar as trice air a thabhann le àrd-ùrlaran MLOps làn-sheirbheis.
Innealan MLOps
1. MLFlow
Tha cearcall-beatha ionnsachadh inneal air a smachdachadh leis an àrd-ùrlar stòr fosgailte MLflow agus a’ toirt a-steach clàradh modail meadhanach, cleachdadh agus deuchainneachd.
Faodar MLflow a chleachdadh le sgioba meud sam bith, gach cuid leotha fhèin agus còmhla. Chan eil buaidh sam bith aig leabharlannan air an inneal.
Faodaidh cànan prògramadh sam bith agus leabharlann ionnsachadh innealan a chleachdadh.
Gus a dhèanamh nas sìmplidh trèanadh, cleachdadh, agus riaghladh thagraidhean ionnsachadh innealan, bidh MLFlow ag eadar-obrachadh le grunn fhrèaman ionnsachaidh inneal, a’ gabhail a-steach TensorFlow agus Pytorch.
A bharrachd air an sin, tha MLflow a’ toirt seachad APIan a tha furasta an cleachdadh a dh’ fhaodar a thoirt a-steach do phrògraman ionnsachaidh inneal no leabharlannan sam bith a th’ ann.
Tha ceithir prìomh fheartan aig MLflow a bhios a’ comasachadh lorg agus dealbhadh dheuchainnean:
- MLflow Tracking - API agus UI airson paramadairean còd ionnsachaidh inneal logadh, dreachan, meatrach, agus artifacts a bharrachd air a bhith a’ taisbeanadh agus a’ dèanamh coimeas eadar na builean às deidh sin
- Pròiseactan MLflow - còd ionnsachaidh inneal pacaidh ann an cruth ath-chleachdadh, ath-riochdachadh airson a ghluasad gu cinneasachadh no roinneadh le luchd-saidheans dàta eile
- Modalan MLflow - a’ cumail suas agus a’ cleachdadh mhodalan gu raon de shiostaman seirbheis mhodail agus co-dhùnaidhean bho dhiofar leabharlannan ML
- Clàr modail MLflow - stòr modail sa mheadhan a bheir comas do riaghladh co-obrachail fad beatha modail MLflow, a’ toirt a-steach dreach modail, eadar-ghluasadan ìre, agus notaichean.
2. Cuibhle-shruth
Canar Kubeflow ris a’ bhogsa inneal ML airson Kubernetes. A’ pacadh agus a’ riaghladh shoithichean Docker, a’ cuideachadh le cumail suas siostaman ionnsachaidh innealan.
Le bhith a’ sìmpleachadh ruith orcastra agus cleachdadh sruthan-obrach ionnsachadh innealan, bidh e ag adhartachadh scalability mhodalan ionnsachaidh inneal.
Is e pròiseact stòr fosgailte a th’ ann a tha a’ toirt a-steach buidheann de dh’ innealan agus frèaman taiceil a tha air an taghadh gu faiceallach a rèir feumalachdan eadar-dhealaichte ML.
Faodar gnìomhan trèanaidh ML fada, deuchainn làimhe, ath-aithris, agus dùbhlain DevOps a làimhseachadh le Kubeflow Pipelines.
Airson grunn ìrean de ionnsachadh innealan, a’ gabhail a-steach trèanadh, leasachadh loidhne-phìoban, agus cumail suas Leabhraichean-nota Jupyter, Tha Kubeflow a’ tabhann seirbheisean sònraichte agus amalachadh.
Tha e ga dhèanamh sìmplidh a bhith a’ riaghladh agus a’ cumail sùil air beatha na h-uallaichean obrach AI agad a bharrachd air a bhith a’ cleachdadh mhodalan ionnsachadh inneal (ML) agus pìoban dàta gu cruinneachaidhean Kubernetes.
Tha e a ’tabhann:
- Leabhraichean-nota airson an SDK a chleachdadh gus eadar-obrachadh leis an t-siostam
- eadar-aghaidh cleachdaiche (UI) airson smachd a chumail air ruith, obraichean agus deuchainnean
- Gus fuasglaidhean deireadh-gu-deireadh a dhealbhadh gu sgiobalta gun a bhith agad ri ath-thogail gach turas, agus ath-chleachdadh phàirtean agus loidhnichean-phìoban.
- Mar phrìomh phàirt de Kubeflow no mar stàladh leis fhèin, tha Kubeflow Pipelines air a thabhann.
3. Smachd Tionndadh Dàta
Canar DVC, no Smachd Tionndadh Dàta, ri fuasgladh smachd dreach stòr fosgailte airson pròiseactan ionnsachaidh inneal.
Ge bith dè an cànan a thaghas tu, is e inneal deuchainneach a th’ ann a chuidicheas le mìneachadh loidhne-phìoban.
Bidh DVC a’ cleachdadh còd, tionndadh dàta, agus ath-riochdachadh gus do chuideachadh le bhith a’ sàbhaladh ùine nuair a lorgas tu cùis le dreach nas tràithe den mhodal ML agad.
A bharrachd air an sin, faodaidh tu pìoban DVC a chleachdadh gus do mhodail a thrèanadh agus a sgaoileadh gu buill na sgioba agad. Faodaidh DVC eagrachadh agus dreach dàta mòr a làimhseachadh, agus faodar an dàta a stòradh ann an dòigh a tha ruigsinneach.
Ged a tha e a’ toirt a-steach cuid de fheartan lorg deuchainn (cuingealaichte), bidh e gu ìre mhòr ag amas air dreachdadh is riaghladh dàta agus loidhne-phìoban.
Tha e a ’tabhann:
- Is e stòradh agnostic a th’ ann, agus mar sin tha e comasach grunn sheòrsaichean stòraidh a chleachdadh.
- Bidh e a’ toirt seachad stats tracadh cuideachd.
- dòigh ro-thogte airson ìrean ML a cheangal a-steach do DAG agus an loidhne-phìoban gu lèir a ruith bho thoiseach gu deireadh
- Faodar leasachadh iomlan gach modail ML a leantainn a’ cleachdadh a chòd slàn agus tùs dàta.
- Ath-riochdachadh le bhith a’ gleidheadh gu dìleas a’ chiad rèiteachadh, dàta cuir a-steach, agus còd prògram airson deuchainn.
4. Pachyderm
Tha Pachyderm na phrògram smachd dreach airson ionnsachadh innealan agus saidheans dàta, coltach ri DVC.
A bharrachd air an sin, oir chaidh a chruthachadh a 'cleachdadh Docker agus Kubernetes, faodaidh e tagraidhean Ionnsachadh Inneal a chuir an gnìomh agus a chleachdadh air àrd-ùrlar sgòthan sam bith.
Tha Pachyderm a’ toirt barrantasan gum faodar lorg air ais agus dreachdadh a dhèanamh air gach pìos dàta a thèid a chaitheamh ann am modal ionnsachaidh inneal.
Tha e air a chleachdadh airson a bhith a’ cruthachadh, a’ sgaoileadh, a’ riaghladh, agus a’ cumail sùil air modalan ionnsachaidh innealan. Tha clàr modail, siostam riaghlaidh modail, agus bogsa inneal CLI uile air an toirt a-steach.
Faodaidh luchd-leasachaidh an cearcall-beatha ionnsachaidh inneal aca a dhèanamh fèin-ghluasadach agus a leudachadh a’ cleachdadh bunait dàta Pachyderm, a nì cinnteach cuideachd ath-aithris.
Bidh e a’ toirt taic do inbhean riaghlaidh dàta teann, a’ lughdachadh cosgaisean giollachd dàta agus stòraidh, agus a’ cuideachadh ghnìomhachasan ann a bhith a’ toirt na h-iomairtean saidheans dàta aca chun mhargaidh nas luaithe.
5. Polyaxon
A’ cleachdadh àrd-ùrlar Polyaxon, faodar pròiseactan ionnsachadh innealan agus tagraidhean ionnsachaidh domhainn ath-riochdachadh agus a riaghladh thairis air a’ chuairt-beatha gu lèir aca.
Tha Polyaxon comasach air an inneal a chumail agus a rianachd, agus faodar a chuir ann an ionad dàta no solaraiche sgòthan sam bith. A leithid Torch, Tensorflow, agus MXNet, a bheir taic do na frèaman ionnsachaidh domhainn as mòr-chòrdte.
Nuair a thig e gu orchestration, leigidh Polyaxon leat an fheum as fheàrr a dhèanamh den bhuidheann agad le bhith a’ clàradh ghnìomhan agus dheuchainnean tron CLI, deas-bhòrd, SDKn, no REST API.
Tha e a ’tabhann:
- Faodaidh tu an dreach stòr fosgailte a chleachdadh an-dràsta, ach tha e cuideachd a’ toirt a-steach roghainnean airson a’ chompanaidh.
- Ged a tha e a’ còmhdach a’ chuairt-beatha iomlan, a’ toirt a-steach ruith orchestration, tha e comasach air tòrr a bharrachd a dhèanamh.
- Le sgrìobhainnean fiosrachaidh teignigeach, stiùireadh tòiseachaidh, stuthan ionnsachaidh, leabhraichean-làimhe, clasaichean oideachaidh, changelogs, agus barrachd, tha e na àrd-ùrlar air a dheagh chlàradh.
- Leis an deas-bhòrd lèirsinn deuchainn, tha e comasach sùil a chumail, sùil a chumail air agus measadh a dhèanamh air gach deuchainn optimization.
6. Comet
Tha Comet na àrd-ùrlar airson ionnsachadh inneal meta a bhios a’ tracadh, a’ dèanamh coimeas eadar, a’ mìneachadh, agus a’ leasachadh dheuchainnean agus mhodalan.
Faodar na deuchainnean agad uile fhaicinn agus an coimeas ann an aon àite.
Bidh e ag obair airson gnìomh ionnsachaidh inneal sam bith, àite sam bith a thèid do chòd a choileanadh, agus le leabharlann ionnsachaidh inneal sam bith.
Tha Comet iomchaidh airson buidhnean, daoine fa leth, ionadan acadaimigeach, gnìomhachasan, agus neach sam bith eile a tha airson deuchainnean fhaicinn gu sgiobalta, obair a sgioblachadh, agus deuchainnean a dhèanamh.
Faodaidh luchd-saidheans dàta agus sgiobaidhean lorg, soilleireachadh, leasachadh, agus coimeas a dhèanamh eadar deuchainnean agus modalan a’ cleachdadh an àrd-ùrlar ionnsachaidh meta-inneal fèin-aoigheachd agus stèidhichte air sgòthan Comet.
Tha e a ’tabhann:
- Tha mòran chomasan ann airson buill sgioba gnìomhan a cho-roinn.
- Tha grunn aonachadh ann a tha ga dhèanamh furasta a cheangal ri teicneòlasan eile
- Ag obair gu math le leabharlannan ML gnàthach
- A 'gabhail cùram de riaghladh luchd-cleachdaidh
- Tha coimeas de dheuchainnean air a chomasachadh, a’ toirt a-steach coimeas eadar còd, hyperparameters, meatrach, ro-innse, eisimeileachd, agus meatrach siostam.
- A’ toirt seachad modalan sònraichte airson lèirsinn, claisneachd, teacsa, agus dàta clàr a leigeas leat sampallan fhaicinn.
7. Optuna
Tha Optuna na shiostam airson optimization hyperparameter fèin-riaghailteach a dh’ fhaodar a chuir an sàs ann an ionnsachadh innealan agus ionnsachadh domhainn a bharrachd air raointean eile.
Tha grunn algorithms ùr-nodha ann às an urrainn dhut taghadh (no ceangal), ga dhèanamh gu math sìmplidh trèanadh a sgaoileadh thairis air grunn choimpiutairean, agus a’ tabhann sealladh tarraingeach de thoraidhean.
Tha leabharlannan ionnsachaidh innealan mòr-chòrdte leithid PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM, agus XGBoost uile ceangailte ris.
Tha e a’ toirt seachad algorithms ùr-nodha a leigeas le luchd-ceannach toraidhean fhaighinn nas luaithe le bhith a’ lughdachadh gu sgiobalta na sampallan nach eil a’ coimhead gealltanach.
A’ cleachdadh algorithms stèidhichte air Python, bidh e gu fèin-obrachail a’ lorg nan hyperparameters as fheàrr. Bidh Optuna a’ brosnachadh rannsachaidhean hyperparameter co-shìnte thar iomadh snàithlean gun a bhith ag atharrachadh a’ chòd tùsail.
Tha e a ’tabhann:
- Bidh e a’ toirt taic do thrèanadh sgaoilte air cruinneachadh a bharrachd air aon choimpiutair (ioma-phròiseas) (ioma-nód)
- Bidh e a’ toirt taic do ghrunn dhòighean bearraidh gus co-ghluasad a luathachadh (agus nas lugha de choimpiutaireachd a chleachdadh)
- Tha measgachadh de dhealbhan làidir ann, leithid cuilbheart sliseag, cuilbheart contour, agus co-chomharran co-shìnte.
8. Kedro
Tha Kedro na fhrèam Python an-asgaidh airson còd sgrìobhaidh a ghabhas ùrachadh agus a chumail suas airson pròiseactan saidheans dàta.
Bheir e beachdan bho na cleachdaidhean as fheàrr ann an innleadaireachd bathar-bog gu còd ionnsachadh innealan. Is e Python bunait an inneal orchestration sruth-obrach seo.
Gus na pròiseasan ML agad a dhèanamh nas sìmplidhe agus nas mionaidiche, faodaidh tu sruthan-obrach ath-ghinte, seasmhach agus modular a leasachadh.
Tha Kedro a’ toirt a-steach prionnsapalan innleadaireachd bathar-bog leithid modularity, dealachadh dhleastanasan, agus tionndadh gu àrainneachd ionnsachaidh inneal.
A rèir Saidheans Dàta Cookiecutter, tha e a’ toirt seachad frèam pròiseict cumanta, sùbailte.
Tha grunn luchd-ceangail dàta sìmplidh air an cleachdadh gus dàta a stòradh agus a luchdachadh thairis air grunn shiostaman faidhle agus cruthan faidhle, air an riaghladh leis a’ chatalog dàta. Bidh e a’ dèanamh phròiseactan ionnsachadh innealan nas èifeachdaiche agus ga dhèanamh nas sìmplidh loidhne-phìoban dàta a thogail.
Tha e a ’tabhann:
- Tha Kedro a’ ceadachadh cleachdadh innealan sgapte no aonaranach.
- Faodaidh tu fèin-ghluasad a dhèanamh air eisimeileachd eadar còd Python agus fradharc sruth-obrach a’ cleachdadh tarraing loidhne-phìoban.
- Tro bhith a’ cleachdadh còd modular, ath-chleachdadh, bidh an teicneòlas seo a’ comasachadh co-obrachadh sgioba aig diofar ìrean agus a’ leasachadh cinneasachd san àrainneachd còdaidh.
- Is e am prìomh amas faighinn thairis air na h-eas-bhuannachdan a tha ann an leabhraichean notaichean Jupyter, sgriobtaichean aon-uair, agus còd glaodh le bhith a’ sgrìobhadh prògramadh saidheans dàta a ghabhas cumail suas.
9. BentoML
Tha puingean crìochnachaidh API ionnsachadh inneal togail air a dhèanamh nas fhasa le BentoML.
Tha e a’ toirt seachad bun-structar àbhaisteach ach tiugh gus modalan ionnsachaidh inneal ionnsaichte a ghluasad gu cinneasachadh.
Leigidh e leat modalan ionnsaichte a phacadh airson an cleachdadh ann an suidheachadh cinneasachaidh, gan mìneachadh a’ cleachdadh frèam ML sam bith. Tha an dà chuid seirbheis baidse far-loidhne agus seirbheis API air-loidhne a’ faighinn taic.
Tha frithealaiche modail àrd-choileanadh agus sruth-obrach sùbailte nam feartan de BentoML.
A bharrachd air an sin, tha an frithealaiche a’ tabhann meanbh-batching atharrachail. Tha dòigh-obrach aonaichte airson modalan a chuir air dòigh agus sùil a chumail air modhan cleachdaidh air a thoirt seachad le deas-bhòrd an UI.
Cha bhi ùine downt frithealaiche ann oir tha an uidheamachd obrachaidh modular agus faodar an rèiteachadh ath-chleachdadh. Tha e na àrd-ùrlar sùbailte airson modalan ML a sholarachadh, a chuir air dòigh agus a chleachdadh.
Tha e a ’tabhann:
- Tha dealbhadh modular aige a ghabhas atharrachadh.
- Tha e a’ comasachadh cleachdadh thar grunn àrd-ùrlaran.
- Chan urrainn dha sgèileadh còmhnard a làimhseachadh gu fèin-ghluasadach.
- Tha e a 'comasachadh aon cruth modail, stiùireadh modail, pacaidh modail, agus àrd-choileanadh modail a' frithealadh.
10. Seldon
Faodaidh luchd-saidheans dàta modalan ionnsachaidh inneal agus deuchainnean a chruthachadh, a chleachdadh agus a riaghladh aig sgèile air Kubernetes a’ cleachdadh frèam stòr fosgailte Seldon Core.
Tha TensorFlow, sci-kit-learn, Spark, R, Java, agus H2O dìreach am measg cuid de na h-innealan a tha a’ faighinn taic bhuaithe.
Bidh e cuideachd ag eadar-aghaidh le Kubeflow agus OpenShift aig RedHat. Bidh cridhe Seldon ag atharrachadh modalan ionnsachaidh inneal (modalan ML) no pasgain cànain (cànanan mar Python, Java, msaa) gu meanbh-sheirbheisean riochdachaidh REST / GRPC.
Is e aon de na h-innealan MLOps as fheàrr airson pròiseasan ionnsachaidh innealan a leasachadh.
Tha e sìmplidh modalan ML a chuir a-steach agus deuchainn a dhèanamh airson comasachd agus tèarainteachd a’ cleachdadh Seldon Core.
Tha e a ’tabhann:
- Faodar cleachdadh modail a dhèanamh nas sìmplidh le grunn roghainnean eile, leithid cleachdadh canary.
- Gus tuigsinn carson a chaidh ro-innsean sònraichte a dhèanamh, cleachd mìneachadh modail.
- Nuair a thig cùisean am bàrr, cùm sùil air na modalan toraidh a’ cleachdadh an t-siostam rabhaidh.
Co-dhùnadh
Faodaidh MLOps cuideachadh gus gnìomhachd ionnsachadh innealan a dhèanamh nas fheàrr. Faodaidh MLOps cleachdadh a luathachadh, cruinneachadh dàta agus deasbaid a dhèanamh nas sìmplidhe, agus co-obrachadh a leasachadh eadar innleadairean agus luchd-saidheans dàta.
Gus an urrainn dhut an inneal MLOps as fheàrr a fhreagras air na feumalachdan agad a thaghadh, rinn an dreuchd seo sgrùdadh air 10 fuasglaidhean MLOps mòr-chòrdte, a ’mhòr-chuid dhiubh le còd fosgailte.
Leave a Reply