Dhowr waaxood oo caalami ah ayaa bilaabay inay si la taaban karo u maalgashadaan barashada mashiinka (ML).
Moodooyinka ML waxaa markii hore bilaabi kara oo ay maamuli karaan kooxo takhasus leh, laakiin mid ka mid ah caqabadaha ugu weyn ayaa ah u wareejinta aqoonta la helay qaabka xiga si geeddi-socodka loo ballaariyo.
Si loo hagaajiyo loona habeeyo hababka ku lug leh maaraynta meertada nolosha, farsamooyinka MLOps ayaa si isa soo taraysa u isticmaalaya kooxaha abuura moodooyinka barashada mashiinka.
Sii wad akhriska si aad u ogaato wax badan oo ku saabsan qaar ka mid ah aaladaha MLOps-ka ugu fiican iyo aaladaha la heli karo maanta iyo sida ay uga dhigi karaan barashada mashiinka si sahlan marka loo eego aaladda, horumariyaha, iyo habka nidaamka.
Waa maxay MLOps?
Farsamada lagu abuurayo siyaasadaha, caadooyinka, iyo dhaqamada ugu wanaagsan ee moodooyinka barashada mashiinka waxaa loo yaqaan "hawlaha barashada mashiinka," ama "MLOps."
MLOps waxay higsaneysaa inay dammaanad qaaddo dhammaan meertada nolosha ee horumarka ML - laga bilaabo ra'yi ilaa la geeyo - si taxadar leh ayaa loo diiwaangeliyay oo loo maareeyay natiijooyinka ugu wanaagsan halkii la gelin lahaa waqti iyo kheyraad badan iyada oo aan lahayn xeelad.
Hadafka MLOps waa in la habeeyo hababka ugu wanaagsan ee ka dhigaya horumarinta mashiinka si aad u miisaan badan hawl wadeennada ML iyo horumarinta, iyo sidoo kale in kor loo qaado tayada iyo amniga moodooyinka ML.
Qaarkood waxay u tixraacaan MLOps sida "DevOps ee barashada mashiinka" maadaama ay si guul leh u dabaqday mabaadi'da DevOps goob gaar ah oo horumarinta tignoolajiyada.
Tani waa hab faa'iido leh oo looga fikiro MLOps sababtoo ah, sida DevOps, waxay xoogga saartaa wadaagga aqoonta, iskaashiga, iyo hababka ugu fiican ee kooxaha iyo qalabka.
MLOps waxay siisaa horumariyeyaasha, saynisyahannada xogta, iyo kooxaha hawlgallada qaab-dhismeedka iskaashiga iyo, natiijada, soo saarida moodooyinka ML ee ugu awoodda badan.
Waa maxay sababta loo isticmaalo Aaladaha MLOps?
Aaladaha MLOps waxay qaban karaan waajibaadyo kala duwan oo kooxda ML ah, si kastaba ha ahaatee, waxay inta badan u qaybsamaan laba kooxood: maamulka goobta iyo maaraynta qaybaha shakhsi ahaaneed.
Iyadoo qaar ka mid ah alaabooyinka MLOps ay diiradda saaraan kaliya hal shaqo oo muhiim ah, sida xogta ama maareynta xogta badan, qalabka kale waxay qaataan istaraatiijiyad ka kooban oo dhan waxayna bixiyaan MLOps madal si loo xakameeyo dhinacyo badan oo ah wareegga nolosha ML.
Raadso xalalka MLOps ee kooxdaada ka caawiya maaraynta meelahan horumarinta ML, haddii aad raadinayso khabiir ama qalab ka sii ballaadhan:
- Maareynta xogta
- Naqshadeynta iyo qaabaynta
- Maareynta mashaariicda iyo goobta shaqada
- Qaabka ML geynta iyo ilaalinta joogtada ah
- Maareynta meertada nolosha bilaw ilaa dhamaad, kaas oo sida caadiga ah bixiya adeega buuxa ee MLOps platforms.
Qalabka MLOps
1. MLFlow
Wareegga nolosha ee barashada mashiinka waxaa gacanta ku haya goobta furan ee MLflow waxaana ku jira diiwaan gelinta moodeel dhexe, geyn, iyo tijaabin.
MLflow waxaa isticmaali kara koox kasta oo cabbir ah, labadaba si gaar ah iyo si wadajir ah. Maktabadu wax raad ah kuma laha qalabka.
Luuqad kasta oo barnaamij-samayn ah iyo maktabada barashada mishiinka ayaa ka faa'iidaysan karta.
Si loo fududeeyo in la tababaro, la geeyo, oo la maareeyo codsiyada mashiinka barashada, MLFlow waxay la falgashaa tiro qaab-dhismeedka barashada mashiinka, oo ay ku jiraan TensorFlow iyo Pytorch.
Intaa waxaa dheer, MLflow waxay bixisaa API-yo si fudud loo isticmaali karo oo lagu dari karo barnaamij kasta oo barashada mashiinka ama maktabadaha.
MLflow waxay leedahay afar astaamood oo muhiim ah oo fududeeya dabagalka iyo qorshaynta tijaabooyinka:
- MLflow Tracking – API iyo UI oo loogu talagalay cabbiraadaha koodhka barashada mashiinka, noocyada, cabbirada, iyo farshaxanka iyo sidoo kale soo bandhigida iyo isbarbardhigga natiijooyinka
- Mashruucyada MLflow - koodka barashada mashiinka baakadaha qaab dib loo isticmaali karo, dib loo soo saari karo
- Moodooyinka MLflow - haynta iyo geynta moodooyinka noocyo kala duwan oo u adeegid iyo nidaamyo ka mid ah maktabadaha ML ee kala duwan
- MLflow Model Registry – dukaanka moodelka dhexe kaas oo awood u siinaya maaraynta iskaashiga ee moodelka MLflow cimrigiisa oo dhan, oo ay ku jiraan nooca qaabaynta, marxaladda kala guurka, iyo tafaasiisha.
2. KubeFlow
Sanduuqa ML ee Kubernetes waxaa loo yaqaan Kubeflow. Baakaynta iyo maaraynta weelasha Docker, waxay caawisaa dayactirka hababka barashada mashiinka.
Iyadoo la fududeynayo socodsiinta orchesterka iyo geynta socodka shaqada barashada mashiinka, waxay kor u qaadaysaa miisaanka moodooyinka barashada mashiinka.
Waa mashruuc il furan oo ay ku jiraan koox si taxadir leh loo doortay oo ah qalab dhammaystiran iyo qaab-dhismeedka ku habboon baahiyaha kala duwan ee ML.
Hawlaha tababbarka dheer ee ML, tijaabinta gacanta, ku celcelinta, iyo caqabadaha DevOps waxaa lagu maarayn karaa Kubeflow Pipelines.
Dhowr marxaladood oo barashada mashiinka, oo ay ku jiraan tababarka, horumarinta dhuumaha, iyo dayactirka jupyter notebooks, Kubeflow waxay bixisaa adeegyo gaar ah iyo isdhexgalka.
Waxay ka dhigaysa mid fudud in la maareeyo lana socdo cimriga culeyska shaqadaada AI iyo sidoo kale in la geeyo moodooyinka barashada mashiinka (ML) iyo dhuumaha xogta kooxaha Kubernetes.
Waxay bixisaa:
- Buugaag xusuus qor ah oo loogu talagalay isticmaalka SDK si loola falgalo nidaamka
- interface user (UI) ee xakamaynta iyo la socodka socodka, shaqooyinka, iyo tijaabooyinka
- In si degdeg ah loo naqshadeeyo xalal dhamaadka-ilaa-dhamaadka ah iyada oo aan dib loo dhisin wakhti kasta, oo dib loo isticmaalo qaybaha iyo dhuumaha.
- Sida qayb muhiim ah oo Kubeflow ah ama rakibid gooni ah, Kubeflow Pipelines waa la bixiyaa.
3. Xakamaynta Nooca Xogta
Xalka kontoroolka nooca il furan ee mashruucyada barashada mashiinka waxaa loo yaqaan DVC, ama Xakamaynta Nooca Xogta.
Luuqad kasta oo aad doorato, waa qalab tijaabo ah oo ka caawinaya qeexida dhuumaha.
DVC waxay isticmaashaa koodka, nuqulka xogta, iyo soo saarista si ay kaaga caawiso inaad wakhtiga kaydsato marka aad ka ogaato arin noocii hore ee moodelkaaga ML.
Intaa waxaa dheer, waxaad isticmaali kartaa dhuumaha DVC si aad u tababarto moodelkaaga oo aad ugu qaybiso xubnaha kooxdaada. Ururinta xogta weyn iyo qaabaynta waxa maamuli kara DVC, xogtana waxa loo kaydin karaa si fudud oo la heli karo.
In kasta oo ay ku jiraan qaar ka mid ah astaamaha raadraaca tijaabada, waxay inta badan diiradda saartaa xogta iyo nooca dhuumaha iyo maamulka.
Waxay bixisaa:
- Waa agnostic kaydinta, sidaas darteed waxaa suurtagal ah in la shaqaaleeyo noocyo kala duwan oo kayd ah.
- Waxa kale oo ay siisaa stats tracking.
- hab horay loo dhisay oo ku biirida heerarka ML ee DAG iyo socodsiinta dhammaan dhuumaha bilawga ilaa dhammaadka
- Nooc kasta oo ML ah horumarkiisa oo dhan waa la raaci karaa iyadoo la adeegsanayo koodka iyo caddaynta xogta.
- Soo saarista iyadoo si daacad ah loo ilaalinayo qaabeynta bilowga ah, xogta gelinta, iyo koodka barnaamijka ee tijaabada.
4. Pachyderm
Pachyderm waa barnaamij kontorool nooca loogu talagalay barashada mashiinka iyo sayniska xogta, oo la mid ah DVC.
Intaa waxaa dheer, sababtoo ah waxaa la abuuray iyadoo la isticmaalayo Docker iyo Kubernetes, waxay fulin kartaa oo geyn kartaa codsiyada Machine Learning madal kasta oo daruur ah.
Pachyderm waxay dammaanad qaadaysaa in qayb kasta oo xog ah oo loo isticmaalo qaabka barashada mashiinka dib loo raadin karo oo la daabaco.
Waxa loo isticmaalaa in lagu abuuro, qaybiyo, maamulo, oo isha lagu hayo moodooyinka barashada mashiinka. Diiwaanka moodeelka, nidaamka maaraynta moodeelka, iyo sanduuqa CLI ayaa dhamaantood lagu daray.
Soo-saarayaashu waxay si otomaatig ah u samayn karaan oo ay ballaadhin karaan noloshooda wareegga nolosha ee barashada mashiinka iyagoo isticmaalaya aasaaska xogta Pachyderm, kaas oo sidoo kale hubinaya soo-celinta.
Waxay taageertaa heerarka maamul ee xogta adag, waxay hoos u dhigtaa habaynta xogta iyo kharashyada kaydinta, waxayna ka caawisaa ganacsiyada inay si dhakhso leh u keenaan hindisayaashooda sayniska xogta.
5. Polyaxon
Isticmaalka madal Polyaxon, mashaariicda mashiinka barashada iyo codsiyada barasho qoto dheer waa la soo celin karaa oo la maareyn karaa inta ay nool yihiin oo dhan.
Polyaxon waxay awood u leedahay inay martigeliso oo maamusho qalabka, waxaana lagu dhejin karaa xarun kasta oo xog ama bixiyaha daruuraha. Sida Tooshka, Tensorflow, iyo MXNet, kuwaas oo taageera dhammaan qaab-dhismeedka waxbarashada qoto dheer ee ugu caansan.
Marka ay timaado habaynta, Polyaxon waxay awood kuu siinaysaa inaad sida ugu fiican uga faa'iidaysato kutladaada adiga oo jadwal u samaynaysa hawlaha iyo imtixaanada CLI, dashboard-ka, SDKs, ama REST API.
Waxay bixisaa:
- Waxaad isticmaali kartaa nooca isha furan hadda, laakiin sidoo kale waxaa ku jira xulashooyinka shirkadda.
- Inkasta oo ay daboosho wareegga nolosha oo dhammaystiran, oo ay ku jiraan orchestration-ka, waxay awood u leedahay wax badan oo dheeraad ah.
- Dukumentiyada tixraaca farsamada, tilmaamaha bilowga, agabka waxbarashada, buug-gacmeedyada, casharrada, kaydinta beddelka, iyo in ka badan, waa madal si heer sare ah loo diiwaangeliyay.
- Iyada oo la adeegsanayo dashboardka aragtida tijaabada, waxa suurtagal ah in isha lagu hayo, la socdo, oo la qiimeeyo tijaabo kasta oo hagaajin ah.
6. dhagax xiddig
Comet waa goob lagu barto mishiinada meta kaaso raadraaca, isbarbardhiga, sharaxa, oo hagaajiya tijaabooyinka iyo moodooyinka.
Dhammaan tijaabooyinkaaga waa la arki karaa oo waa la barbar dhigi karaa hal meel.
Waxay u shaqeysaa shaqo kasta oo barashada mashiinka, meel kasta oo koodkaaga lagu sameeyo, iyo maktabad kasta oo barashada mashiinka.
Comet wuxuu ku habboon yahay kooxaha, shakhsiyaadka, machadyada tacliinta, ganacsiyada, iyo qof kasta oo kale oo raba inuu si degdeg ah u sawiro tijaabooyinka, habeeyo shaqada, oo sameeyo tijaabooyin.
Saynis yahanada xogta iyo kooxuhuba way la socon karaan, caddayn karaan, wanaajin karaan, oo isbarbar dhigi karaan tijaabooyinka iyo moodooyinka iyaga oo isticmaalaya madal barashada mashiinka-meta-ku-salaysan ee Comet.
Waxay bixisaa:
- Awoodo badan ayaa u jira xubnaha kooxda si ay u wadaagaan hawlaha.
- Waxay leedahay dhowr isku-dhafan oo ka dhigaya mid fudud in lagu xidho tignoolajiyada kale
- Si fiican ugu shaqeeya maktabadaha ML ee hadda jira
- Waxay daryeeshaa maamulka isticmaalaha
- Isbarbardhigga tijaabooyinka waa la dajiyay, oo ay ku jiraan isbarbardhigga koodka, hyperparameters, metrik, saadaasha, ku tiirsanaanta, iyo cabbirada nidaamka.
- Waxay ku siisaa qaybo kala duwan oo loogu talagalay aragga, maqalka, qoraalka, iyo xogta shaxda kuwaas oo kuu ogolaanaya inaad sawirto muunadaha.
7. Dooro
Optuna waa nidaam iskiis u hagaajinta hyperparameterka kaas oo lagu dabaqi karo labadaba barashada mashiinka iyo barashada qoto dheer iyo sidoo kale qaybaha kale.
Waxay ka kooban tahay algorithms-goynta kala duwan oo aad ka dooran karto (ama isku xidhka), waxay ka dhigaysaa mid aad u fudud in loo qaybiyo tababbarka kombiyuutaro badan, waxayna bixisaa aragti soo jiidasho leh.
Maktabadaha barashada mashiinka ee caanka ah sida PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM, iyo XGBoost dhamaantood waa lagu dhex daray.
Waxay bixisaa algorithms gees-goynta ah oo awood u siinaya macaamiisha inay si dhakhso leh natiijooyin u helaan iyadoo si degdeg ah u yaraynaysa muunadaha aan u muuqan rajo.
Isticmaalka algorithms-ku salaysan Python, waxay si toos ah u raadisaa hyperparameters-ka ugu habboon. Optuna waxa ay dhiirigelisaa raadinta isbarbar-dhigga hyperparameterka oo ka dhex jira taxane badan iyada oo aan la beddelin koodka asalka ah.
Waxay bixisaa:
- Waxay taageertaa tababbarka loo qaybiyey koox iyo sidoo kale hal kombuyuutar (hab-socod badan) (multi-node)
- Waxay taageertaa dhowr farsamooyin gooyn si loo dedejiyo isu-ururinta (oo loo isticmaalo xisaabin yar)
- Waxa ay leedahay muuqaalo kala duwan oo awood leh, sida goob jeexan, goob jeexan, iyo iskuduwayaal isbarbar socda.
8. Kedro
Kedro waa qaab-dhismeed Python bilaash ah oo loogu talagalay kood qorista kaas oo la cusboonaysiin karo lana ilaalin karo mashaariicda sayniska ee xogta.
Waxay ka keentaa fikradaha hababka ugu wanaagsan ee injineernimada software ilaa code barashada mashiinka. Python waa aasaaska qalabkan habaynta socodka shaqada.
Si aad hababkaaga ML uga dhigto mid fudud oo sax ah, waxaad samayn kartaa hawlo shaqo oo la soo saari karo, la ilaalin karo, iyo modular.
Kedro wuxuu ku daraa mabaadi'da injineernimada software sida qaab-dhismeedka, kala-soocidda mas'uuliyadda, iyo u-noqoshada jawiga barashada mashiinka.
Iyada oo ku saleysan Sayniska Xogta Cookiecutter, waxay bixisaa qaab-dhismeedka mashruuc ee la wada qabsan karo.
Tiro ka mid ah isku xidhayaasha xogta fudud ee loo isticmaalo in lagu kaydiyo laguna shubo xogta dhawr hab oo faylal ah iyo qaabab faylal, ayaa lagu maamulaa liiska xogta. Waxay ka dhigtaa mashaariicda mashiinka wax ku ool ah waxayna ka dhigtaa mid fudud in la dhiso dhuumaha xogta.
Waxay bixisaa:
- Kedro waxa ay ogolanaysaa in la geeyo mishiinka kala firdhiyey ama kaligiis ah.
- Waxaad si otomaatig ah uga dhigi kartaa ku-tiirsanaanta udhaxeysa koodka Python iyo aragtida socodka shaqada adoo adeegsanaya soo saarista dhuumaha.
- Iyada oo la adeegsanayo koodka modular, kood dib loo isticmaali karo, tignoolajiyadani waxay sahlaysa wada shaqaynta kooxda ee heerar kala duwan waxayna wanaajisaa wax soo saarka deegaanka codaynta.
- Hadafka koowaad waa in laga gudbo dib-u-dhacyada buugaagta xusuus-qorka ee Jupyter, qoraallada hal-mar ah, iyo koodhka-kooba iyadoo la qorayo barnaamijyada sayniska xogta la ilaalin karo.
9. BentoML
Barashada mashiinka API-ga barta ugu dambeeya ayaa lagu fududeeyay BentoML.
Waxay bixisaa kaabayaal caadi ah oo haddana isku dhafan si loogu dhaqaajiyo moodooyinka barashada mashiinka wax soo saarka.
Waxay awood kuu siinaysaa inaad xidho moodooyinka la bartay si loogu isticmaalo goobta wax-soo-saarka, adigoo u turjumaya qaab-dhismeedka ML kasta. Adeega dufcada qad la'aanta iyo adeega API online waa la taageeray.
Nashqad qaabaysan oo heersare ah iyo shaqo-socod dabacsan ayaa ah sifooyinka BentoML.
Intaa waxaa dheer, server-ku wuxuu bixiyaa micro-batching la-qabsiga. Habka midaysan ee habaynta moodooyinka iyo la socodka habraacyada hawlgelinta waxaa bixiya UI dashboard-ka.
Ma jiri doono wakhti hoos u dhac ku yimaada server-ka sababtoo ah habka hawlgelinta waa modular oo qaabeynta waa dib loo isticmaali karaa. Waa madal dabacsan oo loogu talagalay bixinta, habeynta, iyo geynta moodooyinka ML.
Waxay bixisaa:
- Waxay leedahay naqshad qaabaysan oo la qabsan karo.
- Waxay sahlaysa in la geeyo meelo kala duwan.
- Si toos ah uma xamili karto cabirka jiifka.
- Waxay awood u siinaysaa qaab hal nooc ah, maaraynta moodeelka, baakaynta moodeelka, iyo u adeegida qaabka waxqabadka sareeyo.
10. Seldon
Saynisyahanada xogta ayaa abuuri kara, diri kara, oo maamuli kara moodooyinka barashada mashiinka iyo tijaabooyinka miisaanka Kubernetes iyaga oo isticmaalaya qaabka Seldon Core-ka furan.
TensorFlow, sci-kit-learn, Spark, R, Java, iyo H2O ayaa ah dhawr ka mid ah agabka ay taageerto.
Waxa kale oo ay isku xidhaa Kubeflow iyo RedHat's OpenShift. Xudunta Seldon waxay u beddeshaa moodooyinka barashada mashiinka (qaabka ML) ama duubabka luqadda (luqadaha sida Python, Java, iwm.) oo u beddela adeegaha yaryar ee REST/GRPC.
Mid ka mid ah qalabka ugu wanaagsan ee MLOps ee lagu hagaajinayo hababka barashada mashiinka waa kan.
Way fududahay in weel lagu kaydiyo moodooyinka ML oo lagu tijaabiyo isticmaalka iyo amniga iyadoo la adeegsanayo Seldon Core.
Waxay bixisaa:
- Soo dejinta moodeelka waxaa lagu fududayn karaa dhowr siyaabood, sida keenista canary.
- Si aad u fahamto sababta saadaasha gaarka ah loo sameeyay, isticmaal sharraxayaasha tusaalaha.
- Marka ay arintu soo baxdo, isha ku hay moodooyinka wax soo saarka adoo isticmaalaya nidaamka digniinta.
Ugu Dambeyn
MLOps waxay kaa caawin karaan inay ka dhigaan hawlaha barashada mashiinka si ka wanaagsan. MLOps waxa ay dadajin karaan geynta, ka dhigi karaan xog ururinta iyo ciribtirka mid fudud, oo wanaajiya wada shaqaynta ka dhaxaysa injineerada iyo saynisyahanada xogta.
Si aad u dooratid qalabka MLOps ee ku habboon baahiyahaaga, boostadani waxay eegtay 10 xal oo caan ah oo MLOps ah, kuwaas oo intooda badan ah il furan.
Leave a Reply