He maha nga waahanga o te ao kei te timata ki te whakangao nui atu ki te ako miihini (ML).
Ko nga tauira ML ka taea te whakarewa me te whakahaere e nga roopu tohunga, engari ko tetahi o nga tino aukati ko te whakawhiti i nga matauranga kua riro ki te tauira e whai ake nei kia taea ai te whakawhanui i nga tikanga.
Hei whakapai ake me te whakataurite i nga tukanga e pa ana ki te whakahaere i te huringa ora, kei te whakamahia nga tikanga MLOps e nga roopu e hanga tauira ako miihini.
Haere tonu ki te panui ki te rapu korero mo etahi o nga taputapu MLOps pai me nga papaaho e waatea ana i enei ra, me pehea e taea ai e ratou te whakangwari ake i te ako miihini mai i tetahi taputapu, kaiwhakawhanake, me te tirohanga tikanga.
He aha te MLOps?
Ko tetahi tikanga mo te hanga kaupapa here, tikanga, me nga mahi pai mo nga tauira ako miihini e mohiotia ana ko "nga mahi ako miihini," ko "MLOps."
Ko te whai a MLOps ki te whakapumau i te huringa ora katoa o te whanaketanga ML - mai i te whanautanga ki te tukunga - ka tino tuhia, ka whakahaeretia mo nga hua pai, kaua ki te whakapau i te wa me nga rauemi ki roto kaore he rautaki.
Ko te whainga o MLOps ko te whakarite i nga tikanga pai kia pai ake ai te whakawhanaketanga ako miihini mo nga kaiwhakahaere me nga kaiwhakawhanake ML, me te whakarei ake i te kounga me te haumarutanga o nga tauira ML.
Ko etahi e kii ana ki nga MLOps he "DevOps mo te ako miihini" na te mea i pai tana whakamahi i nga maataapono DevOps ki tetahi waahanga whanaketanga hangarau.
He huarahi whai hua tenei ki te whakaaro mo nga MLOps na te mea, penei i a DevOps, ka whakanuia te tiritiri matauranga, te mahi tahi, me nga mahi pai i waenga i nga roopu me nga taputapu.
Ka whakawhiwhia e MLOps ki nga kaiwhakawhanake, kaiputaiao raraunga, me nga roopu whakahaere he anga mo te mahi tahi, a, na reira, ka whakaputa nga tauira ML tino kaha.
He aha te whakamahi Utauta MLOps?
Ka taea e nga taputapu MLOps te mahi i te whānuitanga o nga mahi mo te roopu ML, heoi, ka wehewehea ki nga roopu e rua: te whakahaere turanga me te whakahaere waahanga takitahi.
Ahakoa ko etahi o nga hua MLOps e aro ana ki te mahi matua kotahi, penei i te whakahaere raraunga, metadata ranei, ko etahi atu taputapu ka whakamahi i te rautaki whanui ake me te whakarato i tetahi papaa MLOps hei whakahaere i nga ahuatanga maha o te huringa oranga ML.
Rapua nga otinga MLOps hei awhina i to roopu ki te whakahaere i enei waahanga whanaketanga ML, ahakoa kei te rapu koe mo tetahi tohunga, he taputapu whanui ake ranei:
- Te whakahaere i nga raraunga
- Te hoahoa me te whakatauira
- Te whakahaere i nga kaupapa me nga waahi mahi
- Te whakatakotoranga tauira ML me te tiaki tonu
- Ko te whakahaeretanga o te ora mai i te timatanga ki te mutunga, ka tukuna e nga papaaho MLOps ratonga-katoa.
Utauta MLOps
1. MLFlow
Ko te huringa ora ako miihini e whakahaeretia ana e te papaaapapa tuwhera-puna MLflow me te whakauru i te rehitatanga tauira matua, te whakatakotoranga, me te whakamatautau.
Ka taea te whakamahi MLflow e tetahi roopu rahi, takitahi me te roopu. Kaore nga whare pukapuka e whai paanga ki te taputapu.
Ka taea e te reo hootaka me te whare pukapuka ako miihini te whakamahi.
Kia ngawari ake te whakangungu, te hora, me te whakahaere i nga tono ako miihini, ka mahi tahi a MLFlow me te maha o nga anga ako miihini, tae atu ki TensorFlow me Pytorch.
I tua atu, ka whakaratohia e MLflow nga API ngawari ki te whakamahi ka taea te whakauru ki roto i nga kaupapa ako miihini, whare pukapuka ranei.
E wha nga waahanga matua a MLflow hei whakahaere i nga whakamatautau me te whakamahere:
- Aroturuki MLflow – he API me te UI mo te tuhi i nga tawhā waehere ako miihini, nga putanga, nga inenga, me nga mahi toi tae atu ki te whakaatu me te whakataurite i nga putanga.
- Kaupapa MLflow - te kapi i te waehere ako miihini i roto i te whakatakotoranga ka taea te whakamahi, ka taea te whakaputa mo te whakawhiti ki te whakaputa, ki te tiri ranei ki etahi atu kaiputaiao raraunga.
- Nga Tauira MLflow – te pupuri me te tuku tauira ki te whānuitanga o nga tauira mahi me nga punaha whakatau mai i nga momo whare pukapuka ML
- Rehita Tauira MLflow – he toa tauira matua e taea ai te whakahaere mahi tahi mo te roanga o te oranga o te tauira MLflow, tae atu ki te whakaputa tauira, te whakawhiti atamira, me nga korero.
2. KubeFlow
Ko te pouaka taputapu ML mo Kubernetes e kiia ana ko Kubeflow. Te takai me te whakahaere i nga ipu Docker, ka awhina i te tiaki nga punaha ako miihini.
Ma te whakangawari i te whakahiato oma me te horahanga o nga rerengamahi ako miihini, ka whakatairanga i te whakahiatotanga o nga tauira ako miihini.
He kaupapa puna tuwhera kei roto he roopu taputapu taapiri me nga anga kua whakaritea ki nga hiahia ML rereke.
Ko nga mahi whakangungu ML roa, te whakamatautau a-ringa, te tukurua, me nga wero DevOps ka taea te whakahaere ma te Kubeflow Pipelines.
Mo te maha o nga waahanga o te ako miihini, tae atu ki te whakangungu, te whanaketanga paipa, me te tiaki Nga pukatuhi Jupyter, Ka tuku a Kubeflow i nga ratonga motuhake me te whakauru.
He ngawari ki te whakahaere me te whai i te roanga o to mahi AI me te tuku tauira ako miihini (ML) me nga raina paipa raraunga ki nga tautau Kubernetes.
Tuku te reira:
- Pukatuhituhi mo te whakamahi i te SDK ki te taunekeneke me te punaha
- he atanga kaiwhakamahi (UI) mo te whakahaere me te aro turuki i nga oma, mahi, me nga whakamatautau
- Kia tere te hoahoa i nga otinga mutunga-ki-mutunga me te kore e hanga ano i ia wa, me te whakamahi ano i nga waahanga me nga raina paipa.
- Hei waahanga matua o Kubeflow, hei whakaurunga tuuturu ranei, ka tukuna nga Pipeline Kubeflow.
3. Mana Putanga Raraunga
Ko te otinga mana putanga puna tuwhera mo nga kaupapa ako miihini ka kiia ko DVC, ko te Mana Putanga Raraunga.
Ahakoa te reo ka tohua e koe, he taputapu whakamatautau e awhina ana i te whakamaramatanga paipa.
Ka whakamahi a DVC i te waehere, te whakaputanga raraunga, me te whakahoki ano hei awhina i a koe ki te penapena wa ka kitea e koe he take me tetahi putanga o mua o to tauira ML.
I tua atu, ka taea e koe te whakamahi i nga paipa DVC ki te whakangungu i to tauira me te tohatoha ki nga mema o to roopu. Ka taea e DVC te whakahaere raraunga nui me te whakaputanga, a ka taea te penapena i nga raraunga i roto i te huarahi ngawari.
Ahakoa kei roto etahi o nga waahanga whakamatautau (he iti) te aro turuki, ko te nuinga e aro ana ki nga raraunga me te whakaputanga paipa me te whakahaere.
Tuku te reira:
- He rokiroki agnostic, na reira ka taea te whakamahi i nga momo momo rokiroki.
- E whakarato ana i nga tatauranga aroturuki.
- he tikanga kua oti te hanga mo te whakauru i nga wahanga ML ki te DAG me te whakahaere i te paipa katoa mai i te timatanga ki te mutunga.
- Ka taea te whai i nga whanaketanga katoa o ia tauira ML ma te whakamahi i te katoa o tana waehere me te tohu raraunga.
- Ka taea te whakaputa ma te pupuri pono i te whirihoranga tuatahi, te raraunga whakauru, me te waehere papatono mo te whakamatautau.
4. Pachyderm
Ko te Pachyderm he kaupapa whakahaere putanga mo te ako miihini me te pūtaiao raraunga, he rite ki te DVC.
I tua atu, na te mea i hangaia ma te whakamahi Docker me Kubernetes, ka taea e ia te whakahaere me te tuku i nga tono Ako Miihini ki runga i tetahi papaahi kapua.
Ka whakamanahia e Pachyderm ko ia waahanga raraunga ka pau ki roto i te tauira ako miihini ka taea te whai me te whakaputa.
Ka whakamahia ki te hanga, ki te tohatoha, ki te whakahaere, ki te titiro tonu ki nga tauira ako miihini. He rehita tauira, he punaha whakahaere tauira, he pouaka taputapu CLI kei roto katoa.
Ka taea e nga kaiwhakawhanake te whakaaunoa me te whakawhanui i o raatau huringa ora ako miihini ma te whakamahi i te turanga raraunga a Pachyderm, e whakarite ana i te tukurua.
Ka tautokohia e ia nga paerewa mana whakahaere raraunga, ka whakaheke i te tukatuka raraunga me te utu rokiroki, me te awhina i nga pakihi ki te kawe tere ake i a raatau kaupapa pūtaiao raraunga ki te maakete.
5. Polyaxon
Ma te whakamahi i te papanga Polyaxon, ka taea te whakahoki me te whakahaere i nga kaupapa ako miihini me nga tono ako hohonu i roto i o raatau huringa ora.
Ka taea e Polyaxon te manaaki me te whakahaere i te taputapu, ka taea te whakanoho ki tetahi pokapū raraunga, kaiwhakarato kapua ranei. Pērā i Torch, Tensorflow, me MXNet, e tautoko ana i nga anga ako hohonu rongonui katoa.
Ina tae mai ki te mahi whakahiato, ka taea e Polyaxon te whai hua o to roopu ma te whakarite i nga mahi me nga whakamatautau ma o raatau CLI, papatohu, SDK, REST API ranei.
Tuku te reira:
- Ka taea e koe te whakamahi i te putanga tuwhera-puna inaianei, engari kei roto ano nga whiringa mo te umanga.
- Ahakoa e kapi ana i te huringa ora katoa, tae atu ki te whakahiato oma, he kaha ake.
- Ma nga tuhinga tohutoro hangarau, nga aratohu timata, nga rauemi ako, nga pukapuka, nga akoranga, nga huringa huringa, me etahi atu, he papaa tuhi pai rawa atu.
- Ma te papatohu whakamohiotanga whakamatautau, ka taea te titiro, te whai, me te arotake i ia whakamatautau arotautanga.
6. comet
Ko Comet he papa mo te ako miihini meta e whai ana, e whakataurite ana, e whakamarama ana, e whakapai ana i nga whakamatautau me nga tauira.
Ka taea te kite me te whakataurite i o whakamatautau katoa ki te waahi kotahi.
Ka mahi mo nga mahi ako miihini, ki nga waahi katoa ka mahia to waehere, me tetahi whare pukapuka ako miihini.
Ko te Comet e tika ana mo nga roopu, takitahi, whare wananga, pakihi, me era atu e hiahia ana ki te titiro tere ki nga whakamatautau, ki te whakamaarama i nga mahi me te whakahaere i nga whakamatautau.
Ka taea e nga kaiputaiao raraunga me nga roopu te whai, te whakamaarama, te whakapai ake, me te whakataurite i nga whakamatautau me nga tauira ma te whakamahi i te kaupapa ako meta-miihini-a-kapua-a-te-kapua ko Comet.
Tuku te reira:
- He maha nga kaha mo nga mema o te roopu ki te tiri i nga mahi.
- He maha nga whakaurunga e ngawari ana ki te hono atu ki etahi atu hangarau
- He pai te mahi me nga whare pukapuka ML o naianei
- Ka tiaki i te whakahaere a te kaiwhakamahi
- Ka taea te whakatairite o nga whakamatautau, tae atu ki te whakatairite i te waehere, i nga tawhārua, i te ine, i te matapae, i te whakawhirinaki, i te inenga punaha.
- Ka whakarato i nga waahanga motuhake mo te tirohanga, ororongo, tuhinga, me nga raraunga ripanga ka taea e koe te tiro i nga tauira.
7. Otuna
Ko te Optuna he punaha mo te arotautanga hyperparameter motuhake ka taea te whakamahi ki te ako miihini me te ako hohonu tae atu ki etahi atu mara.
Kei roto i te maha o nga momo algorithms hou e taea ai e koe te kowhiri (he hono ranei), he mea ngawari ki te tohatoha whakangungu ki runga i nga rorohiko maha, me te whakaatu i nga kitenga hua ataahua.
Ko nga whare pukapuka ako miihini rongonui penei i a PyTorch, TensorFlow, Keras, FastAI, sci-kit-ako, LightGBM, me XGBoost kua hono katoa ki a ia.
E whakarato ana i nga tohu algorithm e taea ai e nga kaihoko te whiwhi hua tere ake ma te whakaheke tere i nga tauira kaore i te pai te ahua.
Ma te whakamahi i nga algorithms e ahu mai ana i te Python, ka rapu aunoa i nga taaraitua pai. Ka whakatenatena a Optuna i nga rapunga whakarara i runga i nga miro maha me te kore e whakarereke i te waehere taketake.
Tuku te reira:
- E tautoko ana i nga whakangungu toha i runga i te tautau me te rorohiko kotahi (maha-tukatuka) (maha-node)
- E tautoko ana i te maha o nga tikanga kuti kia tere ake te whakakotahitanga (me te whakamahi iti ake te tatauranga)
- He maha nga tirohanga kaha, penei i te poro porohita, te papa porohita, me nga taunga whakarara.
8. Kedro
Ko Kedro he anga Python kore utu mo te tuhi waehere ka taea te whakahou me te pupuri mo nga kaupapa pūtaiao raraunga.
Ka kawea mai he whakaaro mai i nga mahi pai rawa atu i roto i nga mahi miihini rorohiko ki te waehere ako miihini. Ko Python te turanga o tenei taputapu whakahiato rerengamahi.
Kia ngawari ake, kia tino tika hoki o tukanga ML, ka taea e koe te whakawhanake i nga rerenga mahi ka taea te whakaputa, te pupuri, me te whakarereke.
Kei te whakauruhia e Kedro nga maataapono miihini rorohiko penei i te whakarereketanga, te wehenga o nga kawenga, me te whakaputa ki te taiao ako miihini.
I runga i te Putaiao Raraunga Pihikete, ka whakaratohia he anga kaupapa mahi noa.
He maha nga hononga raraunga ngawari e whakamahia ana ki te rokiroki me te uta raraunga puta noa i te maha o nga punaha konae me nga whakatakotoranga konae, kei te whakahaerehia e te raarangi raraunga. Ka whai hua ake nga kaupapa ako miihini me te ngawari ki te hanga i te paipa raraunga.
Tuku te reira:
- Ka taea e Kedro te tuku miihini mokemoke, mokemoke ranei.
- Ka taea e koe te whakaaunoa i nga whakawhirinakitanga i waenga i te waehere Python me te tirohanga rerengamahi ma te tangohanga paipa.
- Ma te whakamahi i te waehere tauira, ka taea te whakamahi ano, ka whakahaere tenei hangarau i te mahi tahi a te roopu i runga i nga momo taumata me te whakapai ake i te hua i roto i te taiao whakawaehere.
- Ko te whainga tuatahi ko te hinga i nga ngoikoretanga o nga pukatuhi Jupyter, nga tuhinga kotahi-atu, me te kapia-waehere ma te tuhi i nga hotaka pūtaiao raraunga ka taea te pupuri.
9. BentoML
Ko te hanga i nga pito mutunga API ako miihini ka ngawari ake ma te BentoML.
Ka whakaratohia he hanganga angamaheni engari he maamaa hei neke i nga tauira ako miihini ako ki te hanga.
Ka taea e koe te kii i nga tauira kua akohia hei whakamahi i roto i te whakatakotoranga whakaputa, whakamaori ma te whakamahi i tetahi angamahi ML. E tautokohia ana te mahi puranga tuimotu me te mahi API ipurangi.
Ko te tūmau tauira mahi teitei me te rerengamahi ngawari he ahuatanga o BentoML.
I tua atu, ka tukuna e te tūmau te urutau micro-batching. Ko te huarahi whakakotahi mo te whakarite tauira me te pupuri i nga tikanga tukunga ka tukuna e te papatohu UI.
Karekau he wa paheketanga o te tūmau na te mea he rereke te tikanga whakahaere, ka taea te whakamahi ano te whirihoranga. He papa ngawari mo te whakarato, te whakarite, me te tuku tauira ML.
Tuku te reira:
- He hoahoa tauira e taea te urutau.
- Ka taea e ia te tuku ki runga i nga papaaho maha.
- Kaore e taea e ia te hapai aunoa i te tauine whakapae.
- Ka taea e ia te whakatakotoranga tauira kotahi, te whakahaere tauira, te kohinga tauira, me te mahinga tauira mahi nui.
10. Seldon
Ka taea e nga kaiputaiao raraunga te hanga, te tohatoha, me te whakahaere i nga tauira ako miihini me nga whakamatautau i runga i te tauine i runga i te Kubernetes ma te whakamahi i te angamahi Seldon Core-tuwhera.
Ko TensorFlow, sci-kit-Learn, Spark, R, Java, me H2O he torutoru noa o nga kete taputapu e tautokohia ana e ia.
Ka hono ano ki a Kubeflow me RedHat's OpenShift. Ka hurihia e te matua Seldon nga tauira ako miihini (tauira ML) he takai reo ranei (nga reo pera i te Python, Java, me etahi atu) ki te hanga REST/GRPC microservices.
Ko tetahi o nga taputapu MLOps pai mo te whakapai ake i nga tikanga ako miihini ko tenei.
He ngawari ki te whakauru i nga tauira ML me te whakamatautau mo te whakamahinga me te haumarutanga ma te whakamahi i te Seldon Core.
Tuku te reira:
- Ka taea te whakangawari ake te whakatakoto tauira me te maha o nga momo rereke, penei i te whakatakotoranga kanari.
- Kia mohio ai koe he aha i puta ai nga matapae motuhake, whakamahia nga tauira whakamarama.
- Ina puta nga take, tirohia nga tauira whakaputa ma te whakamahi i te punaha whakatupato.
Opaniraa
Ka taea e nga MLOps te whakapai ake i nga mahi ako miihini. Ka taea e nga MLOps te whakatere ake i te tuku, te whakangawari ake i te kohinga raraunga me te patuiro, me te whakapai ake i te mahi tahi i waenga i nga miihini me nga kaiputaiao raraunga.
Kia taea ai e koe te whiriwhiri i te taputapu MLOps e pai ana ki o hiahia, i tirohia e tenei panui nga otinga MLOps rongonui 10, ko te nuinga he puna tuwhera.
Waiho i te Reply