Gelek sektorên gerdûnî dest bi veberhênana girîngtir di fêrbûna makîneyê de (ML) dikin.
Modelên ML-ê dikarin di destpêkê de ji hêla tîmên pispor ve werin destpêkirin û xebitandin, lê yek ji astengên herî mezin veguheztina zanyariya ku bi dest xistine veguhezîne modela din da ku pêvajo bêne berfireh kirin.
Ji bo baştirkirin û standardîzekirina pêvajoyên ku di rêveberiya çerxa jiyanê ya modelê de têkildar in, teknîkên MLOps ji hêla tîmên ku modelên fêrbûna makîneyê diafirînin zêde têne bikar anîn.
Xwendina xwe bidomînin da ku li ser hin ji baştirîn amûr û platformên MLOps-ê yên ku îro têne peyda kirin bêtir fêr bibin û ka ew çawa dikarin fêrbûna makîneyê ji amûrek, pêşdebir û helwestek prosedurê hêsantir bikin.
MLOps çi ye?
Teknîkîyek ji bo afirandina polîtîka, norm û pratîkên çêtirîn ên ji bo modelên fêrbûna makîneyê wekî "operasyonên fêrbûna makîneyê", an "MLOps" tê zanîn.
MLOps armanc dike ku tevahiya jiyana pêşkeftina ML garantî bike - ji têgihîştinê heya bicîhkirinê - bi hûrgulî tête belge kirin û ji bo encamên çêtirîn têne rêve kirin ji bilî veberhênana gelek dem û çavkaniyan di wê de bêyî stratejiyek.
Armanca MLOps ev e ku pratîkên çêtirîn bi rengekî kod bike ku pêşveçûna fêrbûna makîneyê ji bo operator û pêşdebirên ML-ê berbelavtir bike, û her weha kalîte û ewlehiya modelên ML zêde bike.
Hin MLOps wekî "DevOps ji bo fêrbûna makîneyê" binav dikin ji ber ku ew bi serfirazî prensîbên DevOps li qadek pisportir a pêşkeftina teknolojîk bicîh tîne.
Ev rêgezek kêrhatî ye ku hûn li ser MLOps bifikirin ji ber ku, mîna DevOps, ew li ser parvekirina zanînê, hevkarî, û pratîkên çêtirîn di nav tîm û amûran de tekez dike.
MLOps ji bo pêşdebiran, zanyarên daneyê, û tîmên xebitandinê çarçoveyek hevkariyê peyda dike û, wekî encam, modelên ML-ê yên herî hêzdar hilberîne.
Çima Amûrên MLOps bikar bînin?
Amûrên MLOps dikarin ji bo tîmek ML-ê gelek peywiran pêk bînin, lêbelê, ew bi gelemperî li du koman têne dabeş kirin: rêveberiya platformê û rêveberiya pêkhateya kesane.
Digel ku hin hilberên MLOps tenê li ser fonksiyonek bingehîn a yekane, mîna rêveberiya daneyan an metadata, hûr dibin, amûrên din stratejiyek tevhevtir dipejirînin û platformek MLOps peyda dikin da ku çend aliyên çerxa jiyanê ya ML kontrol bikin.
Li çareseriyên MLOps-ê bigerin ku tîmê we di birêvebirina van deverên pêşkeftina ML-ê de arîkar dikin, gelo hûn li pisporek an amûrek berfirehtir digerin:
- Handling of data
- Sêwirandin û modelkirin
- Rêveberiya proje û cîhê kar
- Sazkirina modela ML û domandina domdar
- Rêvebiriya çerxa jiyanê ji destpêkê heya dawiyê, ku bi gelemperî ji hêla platformên MLOps-ê-karûbar ve tê pêşkêş kirin.
Amûrên MLOps
1. MLFlow
Jiyana fêrbûna makîneyê ji hêla platforma çavkaniya vekirî MLflow ve tê kontrol kirin û qeydkirina modela navendî, bicihkirin, û ceribandinek pêk tîne.
MLflow dikare ji hêla her tîmek mezinahiyê ve, hem kesane û hem jî bi hev re were bikar anîn. Pirtûkxane bi amûrê re tune.
Her pirtûkxaneyek zimanê bernamekirinê û fêrbûna makîneyê dikare wê bikar bîne.
Ji bo ku hînkirin, bicihkirin û birêvebirina serîlêdanên fêrbûna makîneyê hêsan bike, MLFlow bi çend çarçoveyên fêrbûna makîneyê re têkilî dike, di nav de TensorFlow û Pytorch.
Wekî din, MLflow API-yên hêsan-karsaz peyda dike ku dikare di her bername an pirtûkxaneyên fêrbûna makîneya heyî de were bicîh kirin.
MLflow çar taybetmendiyên sereke hene ku ceribandinên şopandin û plansazkirinê hêsantir dike:
- Şopandina MLflow - API û UI-yek ji bo têketina pîvanên koda fêrbûna makîneyê, guherto, metrîk, û huneran û her weha ji bo paşê nîşankirin û berevajîkirina encaman
- Projeyên MLflow - pakkirina koda fêrbûna makîneyê bi rengek ji nû ve bi kar anîn, ji nû ve hilberandin ji bo veguheztina hilberandinê an parvekirina bi zanyarên din ên daneyê re
- Modelên MLflow - parastin û bicihkirina modelan ji cûrbecûr pergalên xizmetê û encamgirtinê yên ji pirtûkxaneyên cihêreng ên ML re
- MLflow Model Registry - firotgehek modela navendî ya ku rêveberiya hevkariyê ya tevahiya jiyana modela MLflow-ê, di nav de guhertoya modelê, veguheztina qonaxê, û şîrovekirinê vedihewîne.
2. KubeFlow
Ji bo Kubernetes qutiya amûrê ML tê gotin Kubeflow. Pakkirin û birêvebirina konteynerên Docker, di lênêrîna wan de dibe alîkar pergalên fêrbûna makîneyê.
Bi hêsankirina orkestrasyona xebitandinê û bicihkirina rêyên xebata fêrbûna makîneyê, ew pîvandina modelên fêrbûna makîneyê pêşve dike.
Ew projeyek çavkaniyek vekirî ye ku komeke bi baldarî bijartî ya amûr û çarçoveyên temamker ên ku li gorî hewcedariyên cihêreng ên ML-yê hatine veqetandin vedihewîne.
Karên perwerdehiya dirêj ên ML, ceribandina destan, dubarebûn, û kêşeyên DevOps dikarin bi Kubeflow Pipelines re bêne rêve kirin.
Ji bo çend qonaxên fêrbûna makîneyê, tevî perwerdehiyê, pêşkeftina boriyê, û domandina defterên Jupyter, Kubeflow karûbarên pispor û entegrasyonê pêşkêşî dike.
Ew rêvebirin û şopandina jiyana barkêşên AI-ya we û her weha bicîhkirina modelên fêrbûna makîneyê (ML) û lûleyên daneyê li komên Kubernetes hêsan dike.
Ew pêşkêşî dike:
- Notebookên ji bo karanîna SDK-ê ku bi pergalê re têkilî daynin
- navgînek bikarhêner (UI) ji bo kontrolkirin û şopandina rêve, kar û ceribandinan
- Ji bo sêwirana bilez çareseriyên dawî-bi-dawî bêyî ku her carê ji nû ve ava bikin, û ji nû ve bikar anîna pêkhate û boriyan.
- Wekî pêkhateyek sereke ya Kubeflow an wekî sazkirinek serbixwe, Kubeflow Pipelines tê pêşkêş kirin.
3. Kontrola guhertoya daneyê
Ji bo projeyên fêrbûna makîneyê çareseriyek kontrolkirina guhertoya çavkaniya vekirî DVC, an Kontrola Guhertoya Daneyê tê gotin.
Hûn kîjan zimanî hilbijêrin, ew amûrek ceribandinê ye ku di pênasekirina boriyê de dibe alîkar.
DVC kod, guhertoya daneyê, û ji nû ve hilberandinê bikar tîne da ku ji we re bibe alîkar ku hûn dema ku hûn pirsgirêkek bi guhertoyek berê ya modela ML-ya xwe re vedîtin wextê xilas bikin.
Wekî din, hûn dikarin lûleyên DVC bikar bînin da ku modela xwe perwerde bikin û wê li endamên tîmê xwe belav bikin. Rêxistin û guhertoya daneya mezin dikare ji hêla DVC-ê ve were rêve kirin, û dane dikarin bi rengek hêsan werin hilanîn.
Her çend ew hin taybetmendiyên şopandina ceribandinê (sînordar) vedihewîne jî, ew bi piranî li ser daneyan û guhertoya boriyê û rêvebirinê disekine.
Ew pêşkêşî dike:
- Ew agnostîk hilanînê ye, ji ber vê yekê gengaz e ku meriv cûrbecûr cûreyên hilanînê bikar bîne.
- Ew statîstîkên şopandinê jî peyda dike.
- navgînek pêş-avakirî ya tevlêbûna qonaxên ML-ê di nav DAG-ê de û meşandina tevahiya boriyê ji destpêkê heya dawiyê
- Hemî pêşkeftina her modela ML dikare bi karanîna hemî kod û çavkaniya daneya wê were şopandin.
- Ji nû ve hilberandin bi dilsozî parastina veavakirina destpêkê, daneyên têketinê, û koda bernameyê ji bo ceribandinê.
4. Pachyderm
Pachyderm bernameyek guherto-kontrolê ye ji bo fêrbûna makîneyê û zanistiya daneyê, mîna DVC.
Wekî din, ji ber ku ew bi karanîna hatî afirandin Docker û Kubernetes, ew dikare serîlêdanên Fêrbûna Makîneyê li ser her platformek ewr bimeşîne û bicîh bike.
Pachyderm garantî dike ku her perçeyek daneya ku di modelek fêrbûna makîneyê de tê vexwarin dikare paşde were şopandin û guhertokirin.
Ew ji bo afirandina, belavkirin, rêvebirin, û çavê xwe li modelên fêrbûna makîneyê tê bikar anîn. Tomarek model, pergalek rêveberiya modelê, û qutiyek amûrek CLI hemî tê de hene.
Pêşdebir dikarin bi karanîna bingeha daneya Pachyderm, ku di heman demê de dubarebûnê jî piştrast dike, çerxa jiyana fêrbûna makîneya xwe otomatîk û berfireh bikin.
Ew standardên hişk ên rêveberiya daneyê piştgirî dike, lêçûnên hilanînê û hilanînê kêm dike, û ji karsaziyan re dibe alîkar ku însiyatîfên xwe yên zanistiya daneyê zûtir bigihînin bazarê.
5. Polyaxon
Bi karanîna platforma Polyaxon, projeyên fêrbûna makîneyê û serîlêdanên fêrbûna kûr dikarin di tevahiya çerxa jiyana xwe de bêne dubare kirin û rêvebirin.
Polyaxon karibe amûrê mêvandar bike û bi rê ve bibe, û ew dikare li her navendek daneyê an pêşkêşkerek ewr were danîn. Wekî Torch, Tensorflow, û MXNet, ku hemî çarçoveyên fêrbûna kûr a herî populer piştgirî dikin.
Dema ku dor tê orkestrasyonê, Polyaxon dihêle hûn bi plansazkirina kar û ceribandinan bi navgîniya CLI, dashboard, SDK-an, an API-ya REST-ê de herî zêde ji koma xwe bikar bînin.
Ew pêşkêşî dike:
- Hûn dikarin guhertoya çavkaniya vekirî ya nuha bikar bînin, lê di heman demê de vebijarkên ji bo pargîdaniyê jî vedihewîne.
- Her çend ew çerxa jiyanê ya bêkêmasî vedigire, tevî orkestrasyona rêvekirinê jî, ew dikare hê bêtir bike.
- Digel belgeyên referansa teknîkî, rêwerzên destpêkirinê, materyalên fêrbûnê, destan, dersan, guheztin û hêj bêtir, ew platformek pir baş-belgekirî ye.
- Bi tabloya têgihîştina ceribandinê re, gengaz e ku meriv her ceribandinek xweşbîniyê çavê xwe bigire, bişopîne û binirxîne.
6. Bergê asuman
Comet platformek ji bo fêrbûna makîneya meta ye ku ceribandin û modelan dişopîne, berevajî dike, rave dike û çêtir dike.
Hemî ceribandinên we li yek cîhek têne dîtin û berhev kirin.
Ew ji bo her peywira fêrbûna makîneyê, li her cîhê ku koda we tê kirin, û bi her pirtûkxaneyek fêrbûna makîneyê re dixebite.
Comet ji bo kom, kesan, saziyên akademîk, karsazî, û her kesê din guncan e ku bi lez ceribandinan xuya bike, xebatê xweş bike, û ceribandinan bike.
Zanyar û tîmên daneyê dikarin bi karanîna platforma fêrbûna meta-makîneya xwemalî û ewr-based Comet bişopînin, zelal bikin, çêtir bikin, û ceribandin û modelan bidin ber hev.
Ew pêşkêşî dike:
- Ji bo endamên tîmê gelek jêhatî hene ku peywiran parve bikin.
- Gelek entegrasyonên wê hene ku girêdana wê bi teknolojiyên din re hêsan dike
- Bi pirtûkxaneyên ML yên heyî re baş tevdigere
- Li rêveberiya bikarhênerê digire
- Berawirdkirina ceribandinan çalak e, di nav de berhevdana kod, hîperparametre, metrîk, pêşbînkirin, girêdayîbûn, û pîvanên pergalê.
- Modulên cihêreng ên ji bo dîtin, deng, nivîs, û daneyên tabloyê peyda dike ku dihêle hûn nimûneyan xuyang bikin.
7. Optuna
Optuna pergalek ji bo xweşbîniya hîperparametreya xweser e ku hem ji fêrbûna makîneyê û hem jî fêrbûna kûr û hem jî li qadên din dikare were sepandin.
Ew cûrbecûr algorîtmayên pêşkeftî yên ku hûn dikarin ji wan hilbijêrin (an girêdin) vedihewîne, belavkirina perwerdehiyê li ser gelek komputeran pir hêsan dike, û dîtina encamên balkêş pêşkêşî dike.
Pirtûkxaneyên fêrbûna makîneya populer ên mîna PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM, û XGBoost hemî bi wê re têne yek kirin.
Ew algorîtmayên pêşkeftî peyda dike ku dihêle xerîdar bi kêmkirina nimûneyên ku hêvîdar xuya nakin zûtir encam bigirin.
Bi karanîna algorîtmayên bingeha Python-ê, ew bixweber li hîperparametreyên îdeal digere. Optuna bêyî ku koda orîjînal biguhezîne, lêgerînên hîperparametreyên paralelkirî li gelek mijaran teşwîq dike.
Ew pêşkêşî dike:
- Ew perwerdehiya belavkirî li ser komek û hem jî komputerek yek (pir-pêvajo) (pir-node) piştgirî dike
- Ew gelek teknîkên birêkûpêk piştgirî dike da ku hevgirtinê zûtir bike (û kêm hesaban bikar bîne)
- Ew xwedan cûrbecûr dîmenên bi hêz e, wekî nexşeya perçe, nexşeya xêzkirî, û hevrêzên paralel.
8. Kedro
Kedro ji bo nivîsandina kodê çarçoveyek Python-a belaş e ku dikare ji bo projeyên zanistiya daneyê were nûve kirin û domandin.
Ew ramanên ji pratîkên çêtirîn ên di endezyariya nermalavê de heya koda fêrbûna makîneyê tîne. Python bingeha vê amûra orkestrayê ya xebatê ye.
Ji bo ku hûn pêvajoyên ML-ya xwe hêsan û rasttir bikin, hûn dikarin karûbarên ji nû ve hilberandin, domdar û modular pêşve bibin.
Kedro prensîbên endezyariya nermalavê yên mîna modularbûn, veqetandina berpirsiyariyan, û guhertoya nav jîngehek fêrbûna makîneyê vedihewîne.
Li ser bingeha Zanistiya Daneyên Cookiecutter, ew çarçoveyek projeyek hevpar, adapteyî peyda dike.
Hejmarek girêdanên daneya hêsan ên ku ji bo hilanîn û barkirina daneyan di nav çend pergalên pelan û formatên pelan de têne bikar anîn, ji hêla kataloga daneyê ve têne rêve kirin. Ew projeyên fêrbûna makîneyê bi bandortir dike û avakirina boriyek daneyê hêsantir dike.
Ew pêşkêşî dike:
- Kedro destûrê dide bicîhkirina makîneya belavbûyî an yekane.
- Hûn dikarin girêdanên di navbera koda Python û dîtbariya xebata xebatê de bi karanîna abstrakasyona boriyê otomatîk bikin.
- Bi karanîna koda modular, ji nû ve bi kar anîn, ev teknolojî hevkariya tîmê li ser cûrbecûr astan hêsan dike û di hawîrdora kodkirinê de hilberîneriyê çêtir dike.
- Armanca bingehîn ew e ku bi nivîsandina bernameya zanistiya daneyê ya domdar, kêmasiyên notebookên Jupyter, nivîsarên yekcar, û koda zeliqandî derbas bikin.
9. BentoML
Avakirina xalên dawiya API-a fêrbûna makîneyê bi BentoML re hêsantir tê çêkirin.
Ew binesaziyek tîpîk û lê birêkûpêk peyda dike da ku modelên fêrbûna makîneya fêrbûyî biguhezîne hilberînê.
Ew dihêle hûn modelên fêrbûyî ji bo karanîna di mîhengek hilberînê de pak bikin, wan bi karanîna çarçoveyek ML-yê şîrove bikin. Hem karûbarê berhevokê ya negirêdayî hem jî karûbarê API-ya serhêl têne piştgirî kirin.
Pêşkêşkarek modela performansa bilind û xebatek maqûl taybetmendiyên BentoML ne.
Wekî din, server mîkro-batching-a adaptive pêşkêşî dike. Nêzîkatiyek yekgirtî ji bo birêxistinkirina modelan û şopandina prosedurên bicîhkirinê ji hêla dashboarda UI ve tê peyda kirin.
Dê wextê serverê tune be ji ber ku mekanîzmaya xebitandinê modular e û veavakirin ji nû ve tê bikar anîn. Ew platformek maqûl e ji bo peydakirin, birêxistinkirin û bicîhkirina modelên ML.
Ew pêşkêşî dike:
- Ew sêwiranek modular heye ku adapteyî ye.
- Ew di gelek platforman de bicîhkirinê dihêle.
- Ew nikare bixweber pîvana horizontî bigire.
- Ew forma modela yekane, rêveberiya modelê, pakkirina modelê, û karûbarê modela performansa bilind dike.
10. Seldon
Zanyarên daneyê dikarin bi karanîna çarçoweya Seldon Core-çavkaniya vekirî li ser Kubernetes model û ceribandinên fêrbûna makîneyê biafirînin, bicîh bikin, û rêvebirin.
TensorFlow, sci-kit-learn, Spark, R, Java, û H2O tenê çend amûrên ku ji hêla wê ve têne piştgirî kirin in.
Di heman demê de ew bi Kubeflow û OpenShift-a RedHat re têkildar dibe. The core Seldon modelên fêrbûna makîneyê (modelên ML) an pêçanên zimên (zimanên mîna Python, Java, hwd.) vediguherîne mîkroxizmetên REST/GRPC yên hilberînê.
Yek ji baştirîn amûrên MLOps-ê ji bo başkirina pêvajoyên fêrbûna makîneyê ev e.
Sade ye ku meriv modelên ML-yê konteynir bike û bi karanîna Seldon Core ceribandina karanîna û ewlehiyê bike.
Ew pêşkêşî dike:
- Bicihkirina modelê dikare bi çend alternatîfan re hêsan were çêkirin, wek mînak bicihkirina canary.
- Ji bo ku fêm bikin ka çima pêşbîniyên taybetî hatine çêkirin, ravekerên modelê bikar bînin.
- Dema ku pirsgirêk derdikevin, çavê xwe bidin modelên hilberînê ku pergala hişyarkirinê bikar tînin.
Xelasî
MLO dikarin ji bo çêtirkirina operasyonên fêrbûna makîneyê bibin alîkar. MLOs dikarin bilezkirina bilez bikin, berhevkirina daneyan û xeletkirinê hêsan bikin, û hevkariya di navbera endezyar û zanyarên daneyê de çêtir bikin.
Ji bo ku hûn amûra MLOps-ê ya ku herî baş li gorî hewcedariyên we tê hilbijêrin hilbijêrin, vê postê 10 çareseriyên MLOps-ê yên populer lêkolîn kir, ku piraniya wan çavkaniya vekirî ne.
Leave a Reply