E mong le e mong ea lekileng nts'etsopele ea ho ithuta ka mochini o utloisisa hore na ho thata hakae. Ntle le mathata a tloaelehileng a nts'etsopele ea software, nts'etsopele ea ho ithuta ka mochini (ML) e hlahisa letoto la litšitiso tse ling.
Ho na le lisebelisoa tse makholo tse bulehileng tse fumanehang ho thusa mohatong o mong le o mong oa ML lifecycle, ho tloha ho tokiso ea data ho ea ho koetliso ea mohlala.
Ho fapana le nts'etsopele ea software ea setso, ha lihlopha li khetha sesebelisoa se le seng bakeng sa mohato ka mong, ka ML ka kakaretso u batla ho hlahloba sesebelisoa se seng le se seng se teng (mohlala, algorithm) ho bona hore na e ntlafatsa sephetho.
Ka lebaka leo, baetsi ba ML ba tlameha ho sebelisa le ho hlahisa lilaebrari tse makholo.
Litaolo tsa ho ithuta ka mochini li na le li-parameter tse likete tseo u ka li khethang, 'me ho thata ho tseba hore na ke lintlha life, khoutu le lintlha tse keneng tekong e' ngoe le e 'ngoe ho hlahisa mohlala, hore na u sebetsa u le mong kapa u le sehlopha.
Ntle le ho beha leihlo ka nepo, hangata lihlopha li sokola ho fumana khoutu e ts'oanang e sebetsa hape. Hore na o rasaense oa data ea fetisetsang khoutu ea hau ea koetliso ho moenjiniere bakeng sa tšebeliso ea tlhahiso, kapa u khutlela mosebetsing oa hau oa pele ho fumana bothata, ho khutlisa mehato ea ML ho sebetsa ho bohlokoa.
Ho isa mofuta oa tlhahiso tlhahisong ho ka ba thata ka lebaka la mekhoa e mengata ea phetisetso le tikoloho e tlamehang ho sebelisoa (mohlala, REST serving, inference batch, kapa mobile apps). Ha ho na mokhoa o tloaelehileng oa ho tsamaisa mehlala ho tloha laebraring leha e le efe ho ea ho leha e le efe ea lisebelisoa tsena, 'me ka hona ts'ebetso e' ngoe le e 'ngoe e ncha e hlahisa kotsi.
Ka lebaka la litaba tsena, ho hlakile hore nts'etsopele ea ML e tlameha ho ntlafala haholo hore e be e tsitsitseng, e ka lebelloang esale pele, 'me e sebelisoe haholo joalo ka nts'etsopele ea software ea setso.
ML Mathata
- Ho na le lisebelisoa tse ngata tse fapaneng. Makholo a litharollo tsa software a teng ho thusa ka mohato o mong le o mong oa mochini oa ho ithuta oa bophelo, ho tloha ho tokiso ea data ho isa ho koetliso ea mohlala. Ho feta moo, ho fapana le nts'etsopele ea software ea setso, ha lihlopha li khetha sesebelisoa se le seng bakeng sa mohato o mong le o mong, thutong ea mochini (ML), hangata u batla ho hlahloba sesebelisoa se seng le se seng se teng (mohlala, algorithm) ho bona hore na e ntlafatsa sephetho. Ka lebaka leo, baetsi ba ML ba tlameha ho sebelisa le ho hlahisa lilaebrari tse makholo.
- Ho thata ho boloka tlaleho ea liteko. Litaolo tsa ho ithuta ka mochini li na le li-parameter tse likete tseo u ka li khethang, 'me ho thata ho tseba hore na ke lintlha life, khoutu le lintlha tse keneng tekong e' ngoe le e 'ngoe ho hlahisa mohlala, hore na u sebetsa u le mong kapa u le sehlopha.
- Ho thata ho kenya tšebetsong thuto ea mochini. Ho isa mofuta oa tlhahiso tlhahisong ho ka ba thata ka lebaka la mekhoa e mengata ea phetisetso le tikoloho e tlamehang ho sebelisoa (mohlala, REST serving, inference batch, kapa mobile apps). Ha ho na mokhoa o tloaelehileng oa ho tsamaisa mehlala ho tloha laebraring leha e le efe ho ea ho leha e le efe ea lisebelisoa tsena. Kahoo, thomello e 'ngoe le e 'ngoe e ncha e hlahisa kotsi.
ke eng MLflow?
MLflow ke sethala se bulehileng bakeng sa potoloho ea bophelo ba ho ithuta ka mochini. E ipapisitse le mohopolo o bulehileng oa sehokelo, o sisinya lintlha tse ngata tsa bohlokoa tse lumellang lisebelisoa tsa hajoale le li-algorithms tsa ho ithuta mochini hore li hokahane habonolo le sistimi.
Sena se bolela hore haeba u le moqapi ea batlang ho sebelisa MLflow empa a sebelisa moralo o sa tšehetsoeng, moralo o bulehileng oa sebopeho o etsa hore ho be bonolo ho kopanya moralo oo le ho qala ho sebetsa le sethala. Ha e le hantle, sena se bolela hore MLflow e reretsoe ho sebetsa le efe kapa efe ho ithuta mochine laeborari kapa puo.
Ho feta moo, MLflow e khothalletsa ho pheta-pheta, ho bolelang hore koetliso e tšoanang kapa khoutu ea ho ithuta mochine oa tlhahiso e reretsoe ho sebetsa ka liphetho tse tšoanang ntle le tikoloho, ebang ke marung, setsing sa mosebetsi sa sebakeng seo, kapa bukeng ea lintlha.
Qetellong, MLflow e hahiloe bakeng sa scalability, kahoo e ka sebelisoa ke sehlopha se senyenyane sa bo-rasaense ba data hammoho le k'hamphani e kholo e nang le makholo a litsebi tsa ho ithuta mechine.
MLflow e tsamaisana le laeborari efe kapa efe ea ho ithuta ea mochini, algorithm, sesebelisoa sa ho tsamaisa, kapa puo. E boetse e na le melemo e latelang:
- E etselitsoe ho sebetsa le tšebeletso efe kapa efe ea leru.
- E lekanya ho data e kholo ka Apache Spark.
- MLflow e tsamaisana le mekhoa e fapaneng ea ho ithuta mochini o bulehileng, ho kenyeletsoa Apache Spark, TensorFlow, 'me SciKit-Ithute.
Haeba u se u ntse u e-na le khoutu, MLflow e ka sebelisoa le eona. U kanna ua arolelana moralo oa hau le mehlala lipakeng tsa likhoebo hobane ho joalo Mohloli o bulehileng.
MLflow Components: Li sebetsa joang?
MLflow ke sethala sa mahala le se bulehileng sa ho laola ML lifecycle, e kenyeletsang liteko, ho ikatisa, ho tsamaisa, le mokhoa o le mong oa ho ngolisa. Hajoale, MLflow e na le likarolo tse 'ne:
1. MLflow Tracking
Ke tlo qala ka MLflow Tracking. MLflow e ts'ehetsa pokello ea mehopolo e fapaneng ea bohlokoa e hokahantsoeng le polokelo ea morao-rao ea ho latedisa metadata. Khopolo ea pele ke pokello ea li-hyperparameter tse bohlokoa kapa likonopo tsa tlhophiso tse susumetsang ts'ebetso ea mohlala. Ho sebelisa MLflow's APIs le ts'ebeletso e bohareng ea ho latedisa ho ka boloka tsena kaofela.
Basebelisi ba ka boela ba rekota lintlha tsa ts'ebetso ho fumana temohisiso ea katleho ea mefuta ea bona ea ho ithuta ea mochini. Ho feta moo, bakeng sa ho pheta-pheta, MLflow e lumella basebedisi ho kenya khoutu e khethehileng ea mohloli e neng e sebelisetsoa ho etsa mohlala hammoho le phetolelo ea eona ka ho kopanya ka thata le Git ho tlama mohlala o mong le o mong ho hashi e itseng ea boitlamo.
MLflow e ka sebelisoa ho boloka li-artifacts, e leng lifaele life kapa life tse sa reroang ho kenyeletsoa koetliso, lintlha tsa liteko, le mefuta ka botsona bakeng sa ho ikatisetsa.
Sena se bolela hore haeba ke le moqapi ea sa tsoa koetlisetsa mohlala, nka o phehella ho ts'ebeletso ea ho latedisa e bohareng, mme e mong wa basebetsi mmoho le nna a ka e kenya hamorao mme a tswelapele ho kwetlisa le ho etsa liteko kapa ho hlahisa mofuta oo ho fihlela tlhoko e itseng. .
Ha u sebelisa khoutu ea hau ea ho ithuta ka mochini 'me ka mor'a moo u sheba liphetho, ho latela ke API e u lumellang ho rekota liparamente, mefuta ea khoutu, metrics le lifaele tse hlahisoang. E ngotsoe ka Python, R, le Java, har'a lipuo tse ling. E fumaneha hape joalo ka REST API, e ka sebelisoang ho aha lits'ebetso holim'a eona.
Features senotlolo
- Bahlahisi ba bangata ba sebelisa MLflow ho PC ea bona ea lehae, moo polokelo ea morao-rao le ea maiketsetso e arolelanang bukana ho disc.
- Basebelisi ba bangata ba boetse ba sebelisa SQLite, database e lumellanang le SQLAlchemy, ho tsamaisa MLflow ho li-PC tsa bona tsa lehae.
- MLflow e boetse e ts'ehetsa meralo ea meralo e ajoang. Seva ea ho latela, lebenkele la morao-rao, le lebenkele la lintho tsa khale kaofela li tšoaretsoe li-server tse fapaneng ho tsena.
- Haeba ho matha ho ne ho qalisoa ke MLflow Project, ho ile ha sebelisoa git commit hash. MLflow Python, R, Java, le REST APIs li ka sebelisoa ho boloka data ho sebetsa.
Ho fumana lintlha tse ling, o ka sheba ofisiri litokomane.
2. Merero ea MLFlow
Kamora hore re fete ka har'a likarolo tsa ho lata, ke rata ho bua ka merero ea MLflow, e leng sebopeho se phetoang sa ho paka bakeng sa linako tsa koetliso ea mohlala ho sa tsotelehe maemo a ts'ebetso.
Likhoebo li sebelisa mefuta e mengata ea mahlale a koetliso ea ho ithuta ka mochini, empa li sebelisa lisebelisoa tsena tsa koetliso maemong a fapaneng. Ka mohlala, ba ka 'na ba sebelisa khoutu ea bona ea koetliso lerung, ho PC ea lehae kapa bukeng ea ho ngolla.
Sena se lebisa bothateng ba hore liphetho tsa ho ithuta ka mochini ho thata ho li pheta. Hangata, khoutu e ts'oanang ea koetliso ha e phethe kapa e fana ka liphetho tse tšoanang libakeng tse peli tse arohaneng.
Tharollo e fanoeng ke MLflow ke tlhaloso ea morero oa khoutu ea koetliso e ikemetseng e kenyelletsang khoutu eohle ea koetliso ea mochine, hammoho le ho itšetleha ka laebrari ea phetolelo, litlhophiso, le boitsebiso ba koetliso le teko.
MLflow e netefatsa ho ikatisa ho pholletsa le maemo a ts'ebetso ka ho hlalosa ka ho hlaka litlhokahalo tsohle bakeng sa ts'ebetso ea ho ithuta mochini. E finyella sena ka ho kenya lilaebrari tseo kaofela le ho phethahatsa mokhoa o tšoanang oa tsamaiso eo khoutu e kenang ho eona.
Morero oa MLflow ha se letho haese bukana feela. Ke bukana e kenyelletsang khoutu ea koetliso, tlhaloso ea ho itšetleha ka laeborari, le lintlha tse ling tse hlokahalang nakong ea thupelo, hammoho le faele ena ea boikhethelo.
Litlhoko tsena tsa laeborari li ka hlalosoa ka mekhoa e fapaneng. Mohlala, basebelisi ba ka fana ka lintlha tsa tikoloho ea anaconda e hlophisitsoeng ka mokhoa oa YAML ho thathamisa litlhoko tsa laeborari ea likhoutu tsa bona tsa koetliso. MLflow e tla kenya khoutu ea koetliso ka har'a setshelo. Boemong bo joalo, ba ka kenyelletsa setshelo sa Docker.
Qetellong, MLflow e na le sebopeho sa line-taelo (CLI) bakeng sa ho tsamaisa merero ena, hammoho le Python, le Java APIs. Merero ena e kanna ea tsamaisoa ho sistimi ea lehae ea mosebelisi hammoho le maemong a fapaneng a hole joalo ka "Databricks scheduler" le Kubernetes. Merero ea MLflow e u lumella ho paka khouto ea mahlale a data ka mokhoa o phetoang le o ka sebelisoang hape, haholo o ipapisitse le maemo.
Karolo ea merero e kenyelletsa API hammoho le lisebelisoa tsa litaelo bakeng sa ho laola merero. Bokhoni bona bo tiisa hore merero e ka kopanngoa hammoho ho theha mekhoa ea ho ithuta ka mochini.
Features senotlolo
- MLflow e ts'ehetsa maemo a projeke, ho kenyeletsoa tikoloho ea lijana tsa Docker, tikoloho ea Conda, le tikoloho ea sistimi.
- Sebaka sefe kapa sefe sa polokelo ea Git kapa bukana ea lehae e ka nkuoa e le projeke ea MLflow; ka ho sa feleng; o ka sebelisa khetla efe kapa efe kapa Python script bukeng e le sebaka sa ho kena morerong.
- Litšepeho tseo e seng tsa Python, joalo ka lilaeborari tsa Java, li ka hapuoa ho sebelisoa lijana tsa Docker.
- U ka fumana taolo e kholo holim'a Morero oa MLflow ka ho kenya faele ea projeke bukeng ea metso ea morero, e leng faele ea mongolo ho syntax ea YAML.
Ho fumana lintlha tse ling, o ka sheba ofisiri litokomane.
3. Mehlala ea MLflow
Joale, ke rata ho bua ka mefuta ea MLflow, sebopeho sa mohlala oa sepheo se akaretsang se ts'ehetsang maemo a fapaneng a tlhahiso. Lebaka la mefuta ea MLflow e se e tšoana hantle le ea merero.
Hape, rea bona hore mehlala e ka hlahisoa ho sebelisoa lisebelisoa tse ngata, empa e ka boela ea hlahisoa kapa ea sebelisoa maemong a mangata, ho fapana le maemo a koetliso.
Litlhophiso tsena li kenyelletsa lisebelisoa tsa ho sebeletsa ka nako ea nnete, joalo ka Kubernetes kapa Amazon SageMaker, hammoho le ho phallela le ho fana ka lintlha tsa batch, joalo ka Spark. Ho feta moo, likhoebo tse ling li ka khetha ho fana ka mehlala e le ts'ebeletso ea marang-rang e RESTful e sebetsang molemong oa maru o hlophisitsoeng esale pele.
Mohlala oa MLflow, joalo ka morero, ke sebopeho sa bukana. E kenyelletsa faele ea tlhophiso, 'me lekhetlong lena, mofuta oa serialized artifact ho fapana le khoutu ea koetliso. E boetse e kenyelletsa sehlopha sena sa litšepe bakeng sa ho pheta-pheta joalo ka morero. Lekhetlong lena, re tla shebana le ho its'etleha holima maemo a tikoloho ea Conda.
Ntle le moo, MLflow e kenyelletsa lisebelisoa tsa tlhahiso ea mohlala bakeng sa mefuta ea serializing ka sebopeho sa MLflow ho tsoa mefuteng e mengata e tsebahalang. Qetellong, MLflow e eketsa lisebelisoa, li-API bakeng sa ho hlahisa le ho hokahanya mofuta ofe kapa ofe oa MLflow ho mefuta e mengata ea litšebeletso, 'me li-API tsena li fumaneha ka Python, Java, R, le mokhoa oa CLI.
Mehlala ke karolo e nang le sebopeho se tloaelehileng sa mefuta ea ho paka e ka sebelisoang le ho utloisisoa ke lisebelisoa tse tlase tse kang li-server kapa Lisebelisoa tsa data batch inferencing sethaleng. Karolo ena e boloka lihora tsa khoutu ea bespoke ha e paka mofuta oa tlhahiso.
MLflow Model ke tekanyetso ea ho paka mefuta ea ho ithuta ea mochini ka mefuta e fapaneng e tsejoang ka "flavors". MLflow e fana ka lisebelisoa tse ngata ho u thusa ho sebelisa mefuta e fapaneng ea mefuta. Mohlala o mong le o mong oa MLflow o bolokoa e le bukana e nang le lifaele tse ikemetseng hammoho le faele e hlalosang mohlala oa ML e nang le lethathamo la litlolo tseo e ka sebelisoang ho tsona.
Features senotlolo
- Lisebelisoa tsohle tse hahelletsoeng ka har'a MLflow li fana ka litatso tse "tloaelehileng", joalo ka tatso ea "Python function" e hlalosang mokhoa oa ho tsamaisa mohlala joalo ka ts'ebetso ea Python.
- Mohlala o mong le o mong oa MLflow o na le bukana e nang le lifaele tse sa lumellaneng, hammoho le faele ea mohlala ea ML ho motso oa bukana e hlalosang mefuta e mengata ea litlolo tsa mohlala.
- Ha u boloka mohlala, MLflow e u lumella ho hlakisa paramethara ea tikoloho ea Conda e nang le lintho tse itšetlehileng ka mohlala. Haeba ho se na tikoloho ea Conda e boletsoeng, tikoloho ea kamehla e ipapisitseng le tatso ea mohlala e ea etsoa. Kamora moo, tikoloho ea Conda e bolokoa ho conda.yaml.
Ho fumana lintlha tse ling, o ka sheba ofisiri litokomane.
4. Registry ea Mohlala oa MLflow
Registry ea mohlala ke polokelo ea mefuta e ithutoang ea mochini (ML). Registry ea Mohlala e entsoe ka li-API le sesebelisoa sa marang-rang se sebelisetsoang ho boloka mehlala ka mekhahlelo e fapaneng e le sehlopha. Model Lineage, Model Versioning, Easy Stage Transition, le Annotation ke tse seng kae feela tsa bokhoni bo fumanehang ho Model Registry.
Ngoliso ea mohlala, ho phaella ho mehlala ka boeona, e na le boitsebiso (metadata) mabapi le data le mesebetsi ea koetliso e sebelisetsoang ho haha mohlala. Ho bohlokoa ho boloka tlaleho ea lintlha tsena tse hlokahalang ho theha leloko la mefuta ea ML. Tabeng ena, registry ea mohlala e sebetsa ka mokhoa o ts'oanang le oa software e tloaelehileng taolo ea phetolelo litsamaiso (mohlala, Git, SVN) le polokelo ea lintho tsa khale (mohlala, Artifactory, PyPI).
Registry ea Mohlala ke moralo o lumellang bo-ramahlale ba data le baenjiniere ba ho ithuta ka mochini ho phatlalatsa, ho lekola, ho beha leihlo, ho laola le ho aba mehlala ea bona bakeng sa tšebelisano le lihlopha tse ling. Ha e le hantle, registry ea mohlala e sebelisoa hang ha u qetile mohato oa hau oa tlhahlobo 'me u se u loketse ho arolelana seo u se fumaneng le sehlopha le ba amehang.
MLflow Model Registry e fana ka API le sebopeho sa mosebelisi bakeng sa ho laola mefuta ea hau le nako ea eona ea bophelo ho tloha sebakeng se bohareng. Leloko la mohlala, phetolelo ea mohlala, litlhaloso, le liphetoho tsa sethala kaofela li fumaneha ka ho ngolisa.
Ho MLflow, mofuta o ngolisitsoeng ke ona o nang le lebitso le metadata e ikhethang, mefuta ea mehlala, mekhahlelo ea phetoho, le leloko la mohlala. Mofuta o le mong kapa ho feta oa mohlala o ka fumanoa ka mokhoa o ngolisitsoeng. Mohlala o mocha o nkoa e le mofuta oa 1 ha o ngolisoa ho ngolisoeng. Phetolelo e latelang e eketsoa ho mofuta ofe kapa ofe o mocha o nang le lebitso le tšoanang.
U ka fana ka mohato o le mong ho mofuta ofe kapa ofe oa mohlala ka nako efe kapa efe. Leha ho le joalo, mehato e tlameha ho abeloa tlas'a mekhahlelo ea MLflow e boletsoeng ka molao, joalo ka sethala, tlhahiso, le ho bolokoa. Mofuta oa mohlala o ka fetoloa ho tloha sethaleng se seng ho ea ho se seng.
MLflow e u lumella ho sebelisa markdown ho hlakisa mofuta oa boemo bo holimo le mofuta o mong le o mong o ikhethileng. U ka kenyelletsa litlhaloso hammoho le lintlha tse ling tsa bohlokoa, joalo ka litlhaloso tsa algorithm, mokhoa, le li-dataset tse sebelisitsoeng.
Features senotlolo
- Ho fihlella registry ea mohlala ka UI kapa API ha o amohela seva sa hau sa MLflow, o tlameha ho sebelisa polokelo ea morao-rao e tšehelitsoeng ke database.
- Registry ea Mohlala le eona e ka fumaneha ka tatso ea mofuta oa MLflow kapa sebopeho sa MLflow Client Tracking API. Ka mohlala, u ka ngolisa mohlala nakong ea teko ea MLflow kapa ka mor'a hore liteko tsohle tsa hau li qale.
- Ha se bohle ba tla qala ho koetlisa mehlala ea bona ba sebelisa MLflow. Ka lebaka leo, u ka ba le mefuta e meng e koetlisitsoeng pele u sebelisa MLflow. Sebakeng sa ho koetlisa mehlala hape, o lakatsa feela ho ngolisa mefuta ea hau e bolokiloeng ho Registry ea Model.
Ho fumana lintlha tse ling, o ka sheba ofisiri litokomane.
fihlela qeto e
MLflow ke sesebelisoa se hloahloa sa ML se ntseng se hola khafetsa. U ka e sebelisa hammoho le lisebelisoa tsa hau tsa hajoale le sethala.
E ts'ehetsa lipuo tse 'maloa tsa mananeo, ho kenyeletsoa Python, Java, le R. U ka boela ua latela kapele, ua boloka, le ho bapisa mefuta e fapaneng ea mehlala ka lebaka la moralo oa eona o bonolo oa basebelisi.
Leka MLflow 'me u re tsebise boiphihlelo ba hau!
Leave a Reply