Ny olona rehetra nanandrana ny fivoaran'ny fianarana milina dia mahatakatra ny fahasarotan'izany. Ankoatra ny olana mahazatra amin'ny fampivoarana rindrambaiko, ny fivoaran'ny machine learning (ML) dia mampiditra sakana fanampiny.
Fitaovana loharano misokatra an-jatony no azo hanampiana amin'ny dingana rehetra amin'ny tsingerin'ny fiainana ML, manomboka amin'ny fanomanana ny angona ka hatramin'ny fanofanana modely.
Tsy toy ny fampivoarana rindrambaiko nentim-paharazana, rehefa mifidy fitaovana iray isaky ny dingana ny ekipa, miaraka amin'ny ML dia te-hijery ny fitaovana rehetra misy ianao (oh: algorithm) mba hahitana raha manatsara ny vokatra izany.
Vokatr'izany dia tsy maintsy mampiasa sy mamokatra tranomboky an-jatony ny mpamorona ML.
Ny algorithm amin'ny fianarana milina dia misy mari-pamantarana azo zahana an'arivony, ary sarotra ny mamantatra hoe inona ny mari-pamantarana, kaody, ary angona niditra tao amin'ny andrana tsirairay mba hamorona modely, na miasa irery ianao na ao anaty ekipa.
Raha tsy misy fanaraha-maso araka ny tokony ho izy, matetika ny ekipa dia sahirana amin'ny fahazoana ny kaody mitovy mba hiasa indray. Na mpahay siansa momba ny data mamindra ny kaody fanofanana anao amin'ny injeniera hampiasaina amin'ny famokarana ianao, na miverina amin'ny asanao teo aloha mba hamantarana olana, dia zava-dehibe ny fihemorana amin'ny fizotran'ny asa ML.
Mety ho sarotra ny mamindra modely ho amin'ny famokarana noho ny fomba fametrahana sy ny tontolo maro tsy maintsy ampiasaina (oh: REST fanompoana, fanatsoahan-kevitra andiany, na fampiharana finday). Tsy misy fomba mahazatra hamindrana modely avy amin'ny tranomboky mankany amin'ny iray amin'ireo fitaovana ireo, ary noho izany dia miteraka risika ny fametrahana vaovao tsirairay.
Noho ireo olana ireo dia miharihary fa tsy maintsy mihatsara be ny fivoaran'ny ML mba ho lasa marin-toerana, azo vinaniana ary ampiasaina betsaka toy ny fampivoarana rindrambaiko mahazatra.
Fanamby ML
- Misy karazana fitaovana isan-karazany. Vahaolana lozisialy an-jatony no azo hanampiana amin'ny dingana rehetra amin'ny tsingerin'ny fianarana milina, manomboka amin'ny fanomanana angon-drakitra ka hatramin'ny fanofanana modely. Fanampin'izay, tsy toy ny fampivoarana rindrambaiko nentim-paharazana, rehefa misafidy fitaovana iray isaky ny dingana ny ekipa, amin'ny fianarana milina (ML), matetika ianao no te-hijery ny fitaovana rehetra misy (oh: algorithm) hahitana raha manatsara ny vokatra izany. Vokatr'izany dia tsy maintsy mampiasa sy mamokatra tranomboky an-jatony ny mpamorona ML.
- Sarotra ny manara-maso ny andrana. Ny algorithm amin'ny fianarana milina dia misy mari-pamantarana azo zahana an'arivony, ary sarotra ny mamantatra hoe inona ny mari-pamantarana, kaody, ary angona niditra tao amin'ny andrana tsirairay mba hamorona modely, na miasa irery ianao na ao anaty ekipa.
- Sarotra ny mampihatra ny fianarana milina. Mety ho sarotra ny mamindra modely ho amin'ny famokarana noho ny fomba fametrahana sy ny tontolo maro tsy maintsy ampiasaina (oh: REST fanompoana, fanatsoahan-kevitra andiany, na fampiharana finday). Tsy misy fomba mahazatra hamindrana modely avy amin'ny tranomboky mankany amin'ireo fitaovana ireo. Noho izany, ny fametrahana vaovao tsirairay dia mampiditra risika.
Inona ny MLflow?
MLflow dia sehatra misokatra ho an'ny tsingerin'ny fiainana fianarana milina. Izy io dia mifototra amin'ny foto-kevitra interface tsara, manolotra abstractions tena ilaina izay mamela ny foto-drafitrasa ankehitriny sy ny milina fianarana algorithm ho mora ampidirina amin'ny rafitra.
Midika izany fa raha mpamorona te-hampiasa MLflow ianao nefa mampiasa rafitra tsy tohanana, ny endrika interface tsara misokatra dia mahatonga azy ho mora ny mampiditra an'io rafitra io ary manomboka miasa amin'ny sehatra. Amin'ny fampiharana, midika izany fa ny MLflow dia natao hiasa amin'ny rehetra fianarana milina tranomboky na fiteny.
Ankoatr'izay, ny MLflow dia mampiroborobo ny fiverimberenana, izay midika fa ny fiofanana na ny kaody fianarana milina famokarana dia natao hihazakazaka miaraka amin'ny vokatra mitovy tsy miankina amin'ny tontolo iainana, na ao anaty rahona, na eo amin'ny toeram-piasana eo an-toerana, na ao anaty kahie.
Farany, ny MLflow dia naorina ho an'ny scalability, ka azo ampiasaina amin'ny ekipa kely mpahay siansa momba ny angona ary koa orinasa lehibe iray manana mpitsabo fianarana milina an-jatony.
Mifanaraka amin'ny tranomboky fianarana milina, algorithm, fitaovana fandefasana, na fiteny ny MLflow. Izy io koa dia manana ireto tombony manaraka ireto:
- Natao hiasa amin'ny serivisy rahona rehetra.
- Mizana amin'ny angona goavana miaraka amin'i Apache Spark.
- MLflow dia mifanaraka amin'ny rafitra fianarana milina misokatra isan-karazany, ao anatin'izany ny Apache Spark, TensorFlow, ary SciKit-Learn.
Raha efa manana kaody ianao dia azo ampiasaina miaraka aminy ny MLflow. Azonao atao mihitsy aza ny mizara ny rafitrao sy ny modely eo amin'ny orinasa satria izany Open-source.
MLflow Components: Ahoana no fiasan'izy ireo?
MLflow dia sehatra malalaka sy misokatra ho an'ny fitantanana ny tsingerin'ny fiainana ML, izay ahitana ny fanandramana, ny famerenana indray, ny fametrahana ary ny rejisitra modely tokana. Amin'izao fotoana izao, manana singa efatra ny MLflow:
1. MLflow Tracking
Hanomboka amin'ny MLflow Tracking aho. Ny MLflow dia manohana ny fanangonana hevi-dehibe isan-karazany mifandray amin'ny fitahirizana fanaraha-maso metadata fanofanana foibe. Ny hevi-dehibe voalohany dia fitambarana hyperparameters manakiana na kibon'ny fanamafisana izay misy fiantraikany amin'ny fahombiazan'ny modely. Ny fampiasana ny API an'ny MLflow sy ny serivisy fanaraha-maso foibe dia mety hitahiry ireo rehetra ireo.
Azon'ny mpampiasa atao koa ny mirakitra angon-drakitra momba ny zava-bita mba hahafantarana ny fahombiazan'ny modely fianarana milina. Ankoatr'izay, ho an'ny famerenana indray, ny MLflow dia mamela ny mpampiasa hampiditra ny kaody loharano manokana izay nampiasaina hamoronana modely ary koa ny dikan-teny amin'ny alàlan'ny fampidirana mafy amin'ny Git mba hamatotra ny modely tsirairay amin'ny hash commit manokana.
Ny MLflow dia azo ampiasaina hanoratana artifacts, izay rakitra tsy misy dikany ao anatin'izany ny fampiofanana, ny angona fitsapana, ary ny modely ho an'ny famerenana indray.
Midika izany fa raha mpamorona vao nanofana modely aho dia afaka manohy izany amin'ny serivisy fanaraha-maso foibe, ary ny iray amin'ireo mpiara-miasa amiko dia afaka mampiditra azy any aoriana ary na manohy manofana sy manandrana na mamokatra io modely io mba hahafeno ny filana manokana. .
Rehefa manatanteraka ny kaody fianarana amin'ny milina ianao ary mijery ny valiny avy eo, ny fanaraha-maso dia API izay ahafahanao mirakitra ny mari-pamantarana, ny dikan-kaody, ny metrika ary ny rakitra mivoaka. Voasoratra amin'ny Python, R, ary Java, ankoatra ny fiteny hafa. Azo idirana ihany koa izy io amin'ny maha-REST API, izay azo ampiasaina hanamboarana fampiharana eo amboniny.
Key Features
- Mpamorona maro no mampiasa MLflow amin'ny PC eo an-toerana, izay misy ny backend sy ny fitehirizana artifact mizara lahatahiry ao amin'ny kapila.
- Mpampiasa maro koa no mampiasa SQLite, angona mifanentana amin'ny SQLAlchemy, mba hampandehanana ny MLflow amin'ny PC eo an-toerana.
- MLflow koa dia manohana ny maritrano zaraina. Ny mpizara fanaraha-maso, ny fivarotana backend, ary ny fivarotana artifact dia samy ampiantrano amin'ny mpizara samihafa amin'ireo.
- Raha tetik'asa MLflow no nanombohan'ilay hazakazaka, dia nampiasaina ny hash git commit. Ny MLflow Python, R, Java, ary REST API dia azo ampiasaina handrafetana angona hihazakazaka.
Raha mila fanazavana fanampiny dia azonao atao ny mijery ny ofisialy tahirin-kevitra.
2. MLFlow Projects
Rehefa avy nandalo ireo singa fanaraha-maso izahay dia te hiresaka momba ny tetikasa MLflow aho, izay rafitra fonosana azo averina ho an'ny fotoam-piofanana modely na inona na inona toe-javatra famonoana.
Mampiasa teknolojia fanofanana fianarana milina isan-karazany ny orinasa, saingy mampiasa ireo fitaovana fanofanana ireo koa izy ireo amin'ny sehatra samihafa. Ohatra, mety manatanteraka ny kaody fanofanana ao amin'ny rahona, amin'ny PC eo an-toerana, na amin'ny kahie izy ireo.
Izany dia mitarika amin'ny olana fa sarotra ny mamerina ny vokatry ny fianarana milina. Matetika, ny fehezan-dalàna fanofanana mitovy dia tsy manatanteraka na manome vokatra mitovy amin'ny toerana roa misaraka.
Ny vahaolana nomen'ny MLflow dia famaritana tetik'asa kaody fanofanana tsy miankina izay ahitana ny kaody fanofanana fianarana milina rehetra, ary koa ny fiankinan-doha amin'ny tranomboky, ny toe-javatra ary ny angona fanofanana sy fitsapana.
Ny MLflow dia miantoka ny famerenana amin'ny laoniny amin'ny tontolon'ny famonoana amin'ny alàlan'ny famaritana mazava tsara ireo fepetra takiana amin'ny dingana fanofanana fianarana milina. Manatanteraka izany amin'ny alàlan'ny fametrahana ireo tranomboky rehetra ireo ary ny fanatanterahana ny rafitra mitovy amin'ny fampandehanana ny code.
Ny tetikasa MLflow dia tsy inona fa lahatahiry. Izy io dia lahatahiry ahitana ny kaody fanofanana, ny famaritana ny fiankinan-doha amin'ny tranomboky, ary ny angona hafa ilaina amin'ny fotoam-piofanana, ary koa ity rakitra fikirakirana azo atao ity.
Ireo fepetra takian'ny tranomboky ireo dia azo faritana amin'ny fomba isan-karazany. Ny mpampiasa dia afaka manome, ohatra, manome YAML-format anaconda famaritana ny tontolo iainana mba lisitra ny fanofanana kaody trano famakiam-boky. MLflow dia hanatanteraka ny kaody fanofanana ao anatin'ny fitoeran-javatra. Amin'ny toe-javatra toy izany dia afaka mampiditra container Docker ihany koa izy ireo.
Farany, ny MLflow dia manana interface andalana baiko (CLI) hampandehanana ireo tetikasa ireo, ary koa ny Python, ary ny Java API. Ireo tetikasa ireo dia azo atao amin'ny rafitra eo an-toerana an'ny mpampiasa ary koa amin'ny sehatra lavitra isan-karazany toy ny mpandrindra asa Databricks sy Kubernetes. Ny tetikasa MLflow dia ahafahanao manangona kaody siantifika data amin'ny fomba azo averina sy azo ampiasaina, mifototra amin'ny fenitra ny ankamaroany.
Ny singa ao amin'ny tetikasa dia misy API ary koa fitaovana an-tariby ho an'ny fitantanana tetikasa. Ireo fahaiza-manao ireo dia miantoka fa ny tetikasa dia azo ampifandraisina miaraka mba hamoronana fizotry ny fianarana milina.
Key Features
- Ny MLflow dia manohana ny tontolon'ny tetikasa, ao anatin'izany ny tontolon'ny container Docker, ny tontolo iainana Conda ary ny tontolo iainana.
- Izay tahiry Git na lahatahiry eo an-toerana dia azo raisina ho tetikasa MLflow; amin'ny alàlan'ny default; azonao atao ny mampiasa akorandriaka na script Python ao amin'ny lahatahiry ho toerana fidirana amin'ny tetikasa.
- Ny fiankinan-doha tsy python, toy ny tranomboky Java, dia azo alaina amin'ny alàlan'ny kaontenera Docker.
- Azonao atao ny mahazo fifehezana bebe kokoa amin'ny Tetikasa MLflow amin'ny fampidirana rakitra tetikasa amin'ny lahatahiry fakan'ny tetikasa, izay rakitra lahatsoratra amin'ny syntax YAML.
Raha mila fanazavana fanampiny dia azonao atao ny mijery ny ofisialy tahirin-kevitra.
3. Modely MLflow
Ankehitriny, te hiresaka momba ny maodely MLflow aho, endrika maodely amin'ny tanjona ankapobeny izay manohana ny tontolon'ny famokarana marobe. Ny anton'ny modely MLflow dia mitovy amin'ny an'ny tetikasa.
Hitantsika indray fa ny modely dia azo amboarina amin'ny fampiasana fitaovana isan-karazany, saingy azo amboarina na apetraka amin'ny toe-javatra maro be, mifanohitra amin'ny tontolo fanofanana.
Ireo toe-javatra ireo dia misy fitaovana ho an'ny fanompoana amin'ny fotoana tena izy, toy ny Kubernetes na Amazon SageMaker, ary koa ny fandefasana sy ny batch scoring, toy ny Spark. Fanampin'izay, ny orinasa sasany dia mety misafidy ny hametraka modely ho serivisy tranonkala RESTful mandeha amin'ny ohatra rahona efa namboarina mialoha.
Ny modely MLflow, toy ny tetikasa, dia rafitra lahatahiry. Ao anatin'izany ny rakitra fikirakirana ary, amin'ity indray mitoraka ity, artifact modely serial fa tsy code fanofanana. Tafiditra ao anatin'izany ihany koa ity andiana fiankinan-doha ity mba hiverenan'ny tetikasa. Amin'ity indray mitoraka ity, hijery ny fiankinan-doha amin'ny fanombanana amin'ny tontolon'ny tontolo Conda isika.
Fanampin'izany, ny MLflow dia ahitana fitaovana famokarana maodely ho an'ny fandefasana modely amin'ny endrika MLflow avy amin'ny rafitra malaza. Farany, MLflow dia manampy deploys, API ho famokarana sy fampifandraisana izay modely MLflow amin'ny serivisy isan-karazany, ary ireo API ireo dia azo idirana amin'ny Python, Java, R, ary endrika CLI.
Ny modely dia singa manana rafitra manara-penitra ho an'ny maodely fonosana izay azo ampiasaina sy takatry ny fitaovana ambany toy ny mpizara inferencing na ny biriky data sehatra inferencing batch. Ity singa ity dia mitahiry ora maro amin'ny code bespoke rehefa mametaka modely ho an'ny famokarana.
Ny Modely MLflow dia fenitra amin'ny famenoana ny maodely fianarana milina amin'ny endrika isan-karazany fantatra amin'ny anarana hoe "tsiro". Ny MLflow dia manome fitaovana maro hanampy anao amin'ny fametrahana karazana modely. Ny Modely MLflow tsirairay dia tehirizina ho lahatahiry misy rakitra tsy misy dikany ary koa rakitra mpamaritra modely ML misy lisitry ny tsiro azo ampiasaina.
Key Features
- Manolotra tsiro “manara-penitra” maro ny fitaovana fametrahana an'i MLflow rehetra, toy ny tsiron'ny “Python function” izay manazava ny fomba fampandehanana ny maodely ho toy ny fiasan'ny Python.
- Ny Modely MLflow tsirairay dia misy lahatahiry misy rakitra tsy misy dikany, ary koa rakitra modely ML ao amin'ny fototry ny lahatahiry izay mamaritra ny tsiron'ny modely.
- Rehefa mitahiry maodely, MLflow dia mamela anao hamaritra masontsivana tontolo iainana Conda izay misy ny fiankinan'ny modely. Raha tsy misy tontolo Conda voatondro, dia amboarina ny tontolo iainana mahazatra mifototra amin'ny tsiron'ilay modely. Aorian'izay dia voatahiry ao amin'ny conda.yaml ny tontolo Conda.
Raha mila fanazavana fanampiny dia azonao atao ny mijery ny ofisialy tahirin-kevitra.
4. Rejistra modely MLflow
Ny rejistra maodely dia tahiry ho an'ny maodely fianarana milina (ML). Ny Rejistra Modely dia ahitana API sy fampiharana mifototra amin'ny tranonkala izay ampiasaina amin'ny fitazonana modely amin'ny dingana isan-karazany amin'ny maha-ekipa azy. Model Lineage, Model Versioning, Easy Stage Transition, ary Annotation dia vitsivitsy amin'ireo fahaiza-manao hita ao amin'ny Model Registry.
Ny rejistra modely, ankoatry ny maodely mihitsy, dia misy fampahalalana (metadata) momba ny angona sy ny asa fanofanana ampiasaina amin'ny fananganana ny maodely. Tena ilaina ny manara-maso ireo fampidirana ilaina ireo mba hamoronana tsipika ho an'ny maodely ML. Amin'io lafiny io, ny rejistra modely dia miasa mitovy amin'ny rindrambaiko mahazatra version control rafitra (ohatra, Git, SVN) ary trano fitehirizana artifact (oh, Artifactory, PyPI).
Ny Model Registry dia rafitra ahafahan'ny mpahay siansa momba ny angona sy ny injeniera fianarana milina hamoaka, hizaha toetra, hanara-maso, hitantana, ary hizara ny maodeliny ho fiaraha-miasa amin'ny ekipa hafa. Amin'ny ankapobeny, ny rejisitra modely dia ampiasaina rehefa vita ny dingana fitsapana anao ary vonona ny hizara ny zavatra hitanao amin'ny ekipa sy ny mpandray anjara.
Ny Rejistra Modely MLflow dia manome API sy interface tsara ho an'ny fitantanana ny maodely sy ny androm-piainany avy amin'ny toerana afovoany. Ny firafitry ny maodely, ny famoahana maodely, ny fanamarihana ary ny fiovan'ny sehatra dia azo alaina amin'ny alàlan'ny rejisitra.
Ao amin'ny MLflow, ny maodely voasoratra anarana dia ilay manana anarana tokana sy metadata, dikan-tsarimihetsika, dingan'ny tetezamita, ary misy tsipika modely. Misy dikan-teny modely iray na maromaro hita ao amin'ny modely voasoratra anarana. Ny modely vaovao dia heverina ho version 1 rehefa voasoratra ao amin'ny rejisitra. Ity dikan-teny manaraka ity dia ampiana amin'ny modely vaovao mitovy anarana.
Azonao atao ny manendry dingana iray amin'ny kinova modely amin'ny fotoana rehetra. Na izany aza, ny dingana dia tsy maintsy apetraka eo ambanin'ny dingana MLflow izay efa voafaritra amin'ny fomba ofisialy, toy ny fametrahana, ny famokarana ary ny tahiry. Ny dikan-modely dia azo afindra amin'ny dingana iray mankany amin'ny iray hafa.
Ny MLflow dia ahafahanao mampiasa markdown hanamarika ny maodely ambony indrindra sy ny dikan-teny manokana. Azonao atao ny mampiditra famaritana ary koa fampahalalana mifandraika hafa, toy ny fanazavana algorithm, fomba fiasa, ary angon-drakitra ampiasaina.
Key Features
- Mba hidirana amin'ny rejisitra modely amin'ny alàlan'ny UI na API rehefa mampiantrano ny mpizara MLflow anao manokana dia tsy maintsy mampiasa fivarotana backend tohanan'ny angona ianao.
- Ny rejistra modely dia azo idirana amin'ny alàlan'ny tsiron'ny modely MLflow na ny interface MLflow Client Tracking API. Azonao atao, ohatra, misoratra anarana modely mandritra ny andrana MLflow na aorian'ny andrana rehetra ataonao.
- Tsy ny rehetra no hanomboka hampiofana ny modely amin'ny MLflow. Vokatr'izany dia mety manana modely voaofana ianao alohan'ny hampiasana MLflow. Raha tokony hampiofana indray ireo maodely ianao, dia te-hisoratra anarana fotsiny ny maodely voatahiry amin'ny Model Registry.
Raha mila fanazavana fanampiny dia azonao atao ny mijery ny ofisialy tahirin-kevitra.
Famaranana
MLflow dia fitaovana faran'izay tsara sy tsy mitsaha-mitombo ML. Azonao atao ny mampiasa azy io miaraka amin'ireo fitaovana sy sehatra misy anao ankehitriny.
Manohana fiteny fandaharana maromaro izy io, anisan'izany ny Python, Java, ary R. Azonao atao koa ny manara-maso haingana, mitahiry ary mampitaha ny dikan-teny maodely isan-karazany noho ny endrika mora ampiasaina.
Andramo ny MLflow ary ampahafantaro anay ny traikefanao!
Leave a Reply