Makala a 'maloa a lefats'e a se a qala ho tsetela haholo ho ithuteng ka mochini (ML).
Mefuta ea ML e ka qalisoa le ho sebelisoa ke lihlopha tsa litsebi, empa e 'ngoe ea litšitiso tse kholo ke ho fetisetsa tsebo e fumanoeng mofuteng o latelang e le hore lits'ebetso li ka atolosoa.
Ho ntlafatsa le ho tiisa lits'ebetso tse amehang taolong ea mohlala oa bophelo, mekhoa ea MLOps e ntse e sebelisoa haholo ke lihlopha tse etsang mefuta ea ho ithuta ea mochini.
Tsoela pele ho bala ho fumana ho eketsehileng ka tse ling tsa lisebelisoa tse molemohali tsa MLOps le liforomo tse fumanehang kajeno le hore na li ka etsa hore ho ithuta ka mochini ho be bonolo joang ho tsoa ho sesebelisoa, mohlahlami le pono ea ts'ebetso.
MLOps ke eng?
Mokhoa oa ho theha maano, litloaelo le mekhoa e metle bakeng sa mefuta ea ho ithuta ka mochini e tsejoa e le "mesebetsi ea ho ithuta ka mochini," kapa "MLOps."
MLOps e ikemiseditse ho netefatsa bophelo bohle ba ntshetsopele ya ML - ho tloha kemolong ho isa ts'ebetsong - e ngotsoe ka hloko le ho laoloa bakeng sa liphello tse molemo ka ho fetisisa ho e-na le ho tsetela nako e ngata le lisebelisoa ho eona ntle le leano.
Sepheo sa MLOps ke ho kopanya mekhoa e metle ka tsela e etsang hore nts'etsopele ea ho ithuta ka mochine e be kotsi haholoanyane ho basebetsi le bahlahisi ba ML, hammoho le ho ntlafatsa boleng le tšireletso ea mefuta ea ML.
Ba bang ba bitsa MLOps e le "DevOps bakeng sa ho ithuta ka mochini" kaha e sebelisa ka katleho melaoana ea DevOps lefapheng le ikhethileng la nts'etsopele ea mahlale.
Ona ke mokhoa o molemo oa ho nahana ka MLOps hobane, joalo ka DevOps, e totobatsa ho arolelana tsebo, tšebelisano 'moho le mekhoa e metle har'a lihlopha le lisebelisoa.
MLOps e fa bahlahisi, bo-ramahlale ba data, le lihlopha tsa ts'ebetso ka moralo oa tšebelisano 'me, ka lebaka leo, ho hlahisa mefuta e matla ka ho fetisisa ea ML.
Ke Hobane'ng ha U Sebelisa Lisebelisoa tsa MLOps?
Lisebelisoa tsa MLOps li ka etsa mesebetsi e mengata e fapaneng bakeng sa sehlopha sa ML, leha ho le joalo, hangata li arotsoe ka lihlopha tse peli: tsamaiso ea sethala le taolo ea likarolo tsa motho ka mong.
Le hoja lihlahisoa tse ling tsa MLOps li lebisa tlhokomelo feela mosebetsing o le mong oa mantlha, joalo ka tsamaiso ea data kapa metadata, lisebelisoa tse ling li nka leano le akaretsang le ho fana ka sethala sa MLOps ho laola likarolo tse 'maloa tsa ML lifecycle.
Batla litharollo tsa MLOps tse thusang sehlopha sa hau ho laola libaka tsena tsa ntlafatso ea ML, ebang u batla setsebi kapa sesebelisoa se pharaletseng haholoanyane:
- Ho sebetsana le data
- Moralo le mohlala
- Tsamaiso ea merero le sebaka sa mosebetsi
- Ho tsamaisoa ha mohlala oa ML le tlhokomelo e tsoelang pele
- Tsamaiso ea bophelo ho tloha qalong ho isa qetellong, eo hangata e fanoang ke li-platform tsa MLOps tse fanang ka litšebeletso tse felletseng.
Lisebelisoa tsa MLOps
1. MLFlow
Mokhoa oa bophelo oa ho ithuta mochini o laoloa ke sethala sa MLflow se bulehileng 'me se kenyelletsa ngoliso e bohareng ea mohlala, phepelo le liteko.
MLflow e ka sebelisoa ke sehlopha sefe kapa sefe sa boholo, ka bonngoe le ka kakaretso. Lilaebrari ha li na thuso ho sesebelisoa.
Puo efe kapa efe ea lenaneo le laeborari ea ho ithuta ea mochini e ka e sebelisa.
Ho etsa hore ho be bonolo ho koetlisa, ho tsamaisa, le ho laola lits'ebetso tsa ho ithuta ka mochini, MLFlow e sebelisana le mekhoa e mengata ea ho ithuta mochini, ho kenyeletsoa. TensorFlow le Pytorch.
Ho feta moo, MLflow e fana ka li-API tse sebelisoang habonolo tse ka kenyelletsoang mananeong afe kapa afe a teng a ho ithuta ka mochini kapa lilaeboraring.
MLflow e na le likarolo tse 'ne tsa bohlokoa tse thusang liteko tsa ho latedisa le ho rera:
- MLflow Tracking - API le UI bakeng sa litekanyetso tsa khoutu ea ho rema lifate, liphetolelo, metrics, le lintho tsa khale hammoho le ho bonts'a le ho bapisa sephetho.
- MLflow Projects - ho paka mochini oa ho ithuta khoutu ka mokhoa o ka sebelisoang hape, o ka hlahisoang hape bakeng sa ho fetisetsoa tlhahiso kapa ho arolelana le bo-ramahlale ba bang ba data.
- Mehlala ea MLflow - ho boloka le ho tsamaisa mehlala ho mefuta e fapaneng ea litšebeletso le lits'ebetso tse tsoang lilaeboraring tse fapaneng tsa ML.
- MLflow Model Registry – lebenkele le bohareng la mohlala le nolofaletsang tsamaiso ea litšebelisano-mmoho ea nako eohle ea bophelo ea MLflow, ho kenyeletsoa mofuta oa mofuta, phetoho ea sethala, le litlhaloso.
2. KubeFlow
Lebokose la lithulusi la ML bakeng sa Kubernetes le bitsoa Kubeflow. Ho paka le ho laola lijana tsa Docker, lithuso tsa paballo ea mekhoa ea ho ithuta ka mochine.
Ka ho nolofatsa 'mino oa liletsa le phepelo ea tšebetso ea ho ithuta ka mochini, e khothaletsa ho ata ha mefuta ea ho ithuta ea mochini.
Ke morero oa mohloli o bulehileng o kenyelletsang sehlopha se khethiloeng ka hloko sa lisebelisoa tse tlatselletsang le meralo e etselitsoeng litlhoko tse fapaneng tsa ML.
Mesebetsi e telele ea koetliso ea ML, liteko tsa matsoho, ho pheta-pheta, le liphephetso tsa DevOps li ka sebetsanoa le Kubeflow Pipelines.
Bakeng sa mekhahlelo e mengata ea ho ithuta ka mochini, ho kenyelletsa koetliso, nts'etsopele ea lipeipi, le tlhokomelo ea Libuka tsa Jupyter, Kubeflow e fana ka litšebeletso tse khethehileng le kopanyo.
E etsa hore ho be bonolo ho laola le ho lekola nako ea bophelo ba mosebetsi oa hau oa AI hammoho le ho tsamaisa mefuta ea ho ithuta ka mochini (ML) le liphaephe tsa data ho lihlopha tsa Kubernetes.
E fana:
- Libuka tsa ho sebelisa SDK ho sebelisana le sistimi
- segokanyimmediamentsi sa sebolokigolo (UI) bakeng sa ho laola le ho beha leihlo mathateng, mesebetsi le diteko
- Ho rala ka potlako litharollo tsa ho qetela ntle le ho aha bocha nako le nako, le ho sebelisa likarolo le lipeipi hape.
- E le karolo ea bohlokoa ea Kubeflow kapa e le setsi se ikemetseng, Kubeflow Pipelines e fanoa.
3. Taolo ea Phetolelo ea Boitsebiso
Tharollo ea taolo ea mofuta o bulehileng bakeng sa merero ea ho ithuta ka mochini e bitsoa DVC, kapa Taolo ea Phetolelo ea data.
Ho sa tsotellehe hore na u khetha puo efe, ke sesebelisoa sa liteko se thusang tlhaloso ea lipeipi.
DVC e sebelisa khoutu, phetolelo ea data, le mokhoa oa ho ikatisa ho u thusa ho boloka nako ha u fumana bothata ka mofuta oa pejana oa mofuta oa hau oa ML.
Ho feta moo, o ka sebelisa liphaephe tsa DVC ho koetlisa mohlala oa hau le ho o abela litho tsa sehlopha sa hau. Tlhophiso e kholo ea data le phetolelo e ka sebetsoa ke DVC, 'me data e ka bolokoa ka mokhoa o fumanehang habonolo.
Leha e kenyelletsa likarolo tse ling (tse lekanyelitsoeng) tsa ho latela liteko, e shebana haholo le data le mofuta oa liphaephe le taolo.
E fana:
- Ke polokelo ea agnostic, ka hona hoa khoneha ho sebelisa mefuta e fapaneng ea polokelo.
- E fana ka lipalo-palo hape.
- mokhoa o entsoeng esale pele oa ho kopanya methati ea ML ho DAG le ho tsamaisa lipeipi tsohle ho tloha qalong ho fihlela qetellong.
- Nts'etsopele ea mofuta o mong le o mong oa ML e ka lateloa ho sebelisoa khoutu eohle le tlhahiso ea data.
- Reproducibility ka ho boloka ka botšepehi tlhophiso ea pele, lintlha tsa ho kenya, le khoutu ea lenaneo bakeng sa teko.
4. Pachyderm
Pachyderm ke lenaneo la taolo ea mofuta bakeng sa ho ithuta ka mochini le mahlale a data, joalo ka DVC.
Ho feta moo, hobane e entsoe ka tšebeliso Docker le Kubernetes, e ka phethahatsa le ho kenya lisebelisoa tsa ho Ithuta ka Mochini sethaleng sefe kapa sefe sa maru.
Pachyderm e fana ka litiiso tsa hore karolo e 'ngoe le e' ngoe ea data e sebelisoang mofuteng oa ho ithuta oa mochini e ka lateloa morao le ho fetoleloa.
E sebelisoa ho theha, ho aba, ho laola, le ho beha leihlo ho mefuta ea ho ithuta ea mochini. Registry ea mohlala, sistimi ea taolo ea mohlala, le lebokose la lithulusi la CLI kaofela li kenyelelitsoe.
Bahlahisi ba ka iketsetsa le ho holisa mokhoa oa bona oa ho ithuta oa mochini ba sebelisa motheo oa data oa Pachyderm, oo hape o netefatsang ho pheta-pheta.
E ts'ehetsa litekanyetso tse thata tsa taolo ea data, e theola litšenyehelo tsa ts'ebetso le polokelo ea data, 'me e thusa likhoebo ho tlisa matsapa a bona a mahlale a data ho bapatsa ka potlako.
5. Polyaxon
Ho sebelisa sethala sa Polyaxon, merero ea ho ithuta ka mochini le lits'ebetso tse tebileng tsa ho ithuta li ka phetoa le ho laoloa ho potoloha bophelo bohle ba bona.
Polyaxon e khona ho amohela le ho tsamaisa sesebelisoa, 'me e ka beoa setsing sefe kapa sefe sa data kapa mofani oa maru. Joalo ka Torch, Tensorflow, le MXNet, tse ts'ehetsang meralo eohle e tsebahalang ea ho ithuta e tebileng.
Ha ho tluoa tabeng ea 'mino oa liletsa, Polyaxon e u thusa ho sebelisa sehlopha sa hau hamolemo ka ho hlophisa mesebetsi le liteko ka CLI ea bona, dashboard, SDKs, kapa REST API.
E fana:
- U ka sebelisa mofuta oa mohloli o bulehileng hona joale, empa hape o kenyelletsa likhetho bakeng sa k'hamphani.
- Leha e akaretsa bophelo bo felletseng, ho kenyelletsa le 'mino oa liletsa, e khona ho etsa tse ling tse ngata.
- Ka litokomane tsa litšupiso tsa tekheniki, litataiso tsa ho qala, lisebelisoa tsa ho ithuta, libuka, lithupelo, li-changelog, le tse ling, ke sethala se ngotsoeng hantle haholo.
- Ka dashboard ea lintlha tsa liteko, hoa khoneha ho beha leihlo, ho lekola, le ho lekola teko e 'ngoe le e 'ngoe ea ntlafatso.
6. Comet
Comet ke sethala sa ho ithuta ka mochini oa meta se latellang, se bapisang, se hlalosang le ho ntlafatsa liteko le mefuta.
Liteko tsa hau kaofela li ka bonoa le ho bapisoa sebakeng se le seng.
E sebetsa bakeng sa mosebetsi ofe kapa ofe oa ho ithuta mochini, kae kapa kae moo khoutu ea hau e etsoang teng, le laeborari efe kapa efe ea ho ithuta ka mochini.
Comet e loketse lihlopha, batho ka bomong, litsi tsa thuto, likhoebo, le mang kapa mang ea lakatsang ho bona liteko ka mahlo a kelello, ho ntlafatsa mosebetsi le ho etsa liteko.
Litsebi tsa datha le lihlopha li ka sala morao, tsa hlakisa, tsa ntlafatsa, le ho bapisa liteko le mefuta ka ho sebelisa sethala sa ho ithuta sa meta-mochine sa Comet se itlhommeng feela.
E fana:
- Ho na le bokhoni bo bongata ba hore litho tsa sehlopha li arolelane mesebetsi.
- E na le likhokahano tse 'maloa tse etsang hore ho be bonolo ho e hokahanya le mahlale a mang
- E sebetsa hantle le lilaebrari tsa hajoale tsa ML
- E hlokomela tsamaiso ea basebelisi
- Ho bapisa liteko hoa khoneha, ho kenyelletsa le papiso ea khoutu, hyperparameters, metrics, likhakanyo, litšepiso, le metrics ea tsamaiso.
- E fana ka li-module tse ikhethileng bakeng sa pono, molumo, mongolo, le data ea tabular e u lumellang ho bona disampole ka mahlo a kelello.
7. Optuna
Optuna ke sistimi ea ts'ebetso e ikemetseng ea hyperparameter e ka sebelisoang thutong ea mochini le ho ithuta ka botebo hammoho le likarolo tse ling.
E na le mefuta e fapaneng ea li-algorithms tsa morao-rao tseo u ka khethang ho tsona (kapa lihokela), e etsa hore ho be bonolo haholo ho tsamaisa koetliso ka likhomphutha tse ngata, 'me e fana ka pono ea liphetho tse khahlang.
Lilaebrari tse tsebahalang tsa ho ithuta ka mochini joalo ka PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM, le XGBoost kaofela li kopantsoe le eona.
E fana ka li-algorithms tsa morao-rao tse nolofalletsang bareki ho fumana sephetho ka potlako ka ho fokotsa kapele lisampole tse sa bonahaleng li ts'episa.
E sebelisa li-algorithms tse thehiloeng ho Python, e batla ka bo eona li-hyperparameter tse loketseng. Optuna e khothaletsa lipatlisiso tsa hyperparameter tse tšoanang ho likhoele tse ngata ntle le ho fetola khoutu ea mantlha.
E fana:
- E ts'ehetsa lithupelo tse ajoang ho sehlopha hammoho le komporo e le 'ngoe (mekhoa e mengata) (li-node tse ngata)
- E tšehetsa mekhoa e mengata ea ho fokotsa ho potlakisa convergence (le ho sebelisa compute e fokolang)
- E na le lipono tse fapaneng tse matla, joalo ka moralo oa selae, moralo oa contour, le likhokahano tse bapileng.
8. Kedro
Kedro ke moralo oa mahala oa Python bakeng sa khoutu ea ho ngola e ka nchafatsoang le ho hlokomeloa bakeng sa merero ea mahlale a data.
E tlisa mehopolo ho tloha mekhoeng e metle ea boenjiniere ba software ho ea ho khoutu ea ho ithuta ka mochini. Python ke motheo oa sesebelisoa sena sa ho hlophisa mosebetsi.
Ho etsa hore lits'ebetso tsa hau tsa ML li be bonolo hape li nepahale haholoanyane, o ka nts'etsapele ts'ebetso e ka ikatisang, e ka bolokehang, le ea modular.
Kedro e kenyelletsa melaoana ea boenjiniere ea software joalo ka modularity, karohano ea boikarabello, le ho fetolela tikolohong ea ho ithuta ea mochini.
Motheong oa Cookiecutter Data Science, e fana ka moralo oa projeke o tloaelehileng, o feto-fetohang.
Lihokelo tse 'maloa tse bonolo tsa data tse sebelisoang ho boloka le ho kenya data ho litsamaiso tse' maloa tsa lifaele le lifomate tsa lifaele, li laoloa ke lethathamo la lintlha. E etsa hore merero ea ho ithuta ka mochini e atlehe haholoanyane mme e nolofaletsa ho etsa lipeipi tsa data.
E fana:
- Kedro e lumella mochini o qhalaneng kapa o le mong.
- O ka iketsetsa ho its'etleha lipakeng tsa khoutu ea Python le pono ea phallo ea mosebetsi u sebelisa mokhoa oa liphaephe.
- Ka tšebeliso ea khoutu ea modular, e ka sebelisoang hape, theknoloji ena e thusa tšebelisano ea sehlopha maemong a fapaneng le ho ntlafatsa tlhahiso tikolohong ea likhoutu.
- Sepheo sa mantlha ke ho hlola litšitiso tsa libuka tsa Jupyter, mongolo o le mong, le glue-code ka ho ngola lenaneo le tsitsitseng la mahlale a data.
9. BentoML
Liqeto tsa API tsa ho ithuta ka mochini li nolofalloa ka BentoML.
E fana ka mekhoa ea motheo e tloaelehileng empa e khutsufalitsoe ho tsamaisa mefuta e ithutoang ea mochine tlhahisong.
E o thusa ho paka mefuta e ithutoang hore e sebelisoe maemong a tlhahiso, o e toloka o sebelisa moralo ofe kapa ofe oa ML. Ka bobeli batch e sebeletsang kantle ho marang-rang le litšebeletso tsa API tsa inthaneteng lia tšehetsoa.
Seva ea mohlala e sebetsang hantle le mokhoa o bonolo oa ho sebetsa ke likarolo tsa BentoML.
Ho feta moo, seva e fana ka adaptive micro-batching. Mokhoa o momahaneng oa ho hlophisa mefuta le ho boloka tlaleho ea mekhoa ea phepelo e fanoa ke dashboard ea UI.
Ho ke ke ha e-ba le nako ea ho fokotsa seva hobane mochine o sebetsang ke oa modular 'me tlhophiso e ka sebelisoa hape. Ke sethala se feto-fetohang sa ho fana, ho hlophisa, le ho tsamaisa mefuta ea ML.
E fana:
- E na le moralo oa modular o ka feto-fetohang.
- E nolofalletsa ho tsamaisoa ho pholletsa le li-platform tse 'maloa.
- E ke ke ea khona ho sebetsana le sekhahla se otlolohileng.
- E nolofalletsa sebopeho se le seng sa mohlala, tsamaiso ea mohlala, ho paka mohlala, le ho sebeletsa mohlala o phahameng.
10. hangata
Bo-ramahlale ba data ba ka theha, ba tsamaisa, le ho laola mefuta ea ho ithuta ka mochini le liteko tse ngata ho Kubernetes ba sebelisa moralo o bulehileng oa Seldon Core.
TensorFlow, sci-kit-learn, Spark, R, Java, le H2O ke tse seng kae feela tsa lisebelisoa tse tšehetsoeng ke eona.
E boetse e hokahana le Kubeflow le RedHat's OpenShift. Seldon core e fetola mefuta ea ho ithuta ka mochini (mefuta ea ML) kapa li-wrappers tsa puo (lipuo tse kang Python, Java, joalo-joalo) ho etsa tlhahiso ea li-microservices tsa REST/GRPC.
E 'ngoe ea lisebelisoa tse ntle ka ho fetisisa tsa MLOps bakeng sa ho ntlafatsa lits'ebetso tsa ho ithuta ka mochini ke ena.
Ho bonolo ho kenya mefuta ea ML le tlhahlobo ea ts'ebeliso le ts'ireletso u sebelisa Seldon Core.
E fana:
- Ho tsamaisoa ha mohlala ho ka nolofalloa ka mekhoa e 'maloa, joalo ka phepelo ea canary.
- Ho utloisisa hore na ke hobane'ng ha likhakanyo tse itseng li entsoe, sebelisa litlhaloso tsa mohlala.
- Ha mathata a hlaha, beha leihlo ho mefuta ea tlhahiso o sebelisa sistimi ea tlhokomeliso.
fihlela qeto e
Li-MLOps li ka thusa ho ntlafatsa ts'ebetso ea ho ithuta ka mochini. Li-MLOps li ka potlakisa thomello, tsa etsa hore pokello ea datha le ho lokisa liphoso ho be bonolo, le ho ntlafatsa tšebelisano lipakeng tsa baenjiniere le bo-ramahlale ba data.
E le hore u khethe sesebelisoa sa MLOps se lumellanang hantle le litlhoko tsa hau, poso ena e hlahlobile litharollo tse 10 tse tsebahalang tsa MLOps, tseo bongata ba tsona e leng mohloli o bulehileng.
Leave a Reply