Ke hoʻomaka nei kekahi mau ʻāpana honua e hoʻolilo nui i ka aʻo mīkini (ML).
Hiki ke hoʻomaka mua ʻia nā hiʻohiʻona ML a hana ʻia e nā hui o nā loea, akā ʻo kekahi o nā mea keakea nui ʻo ka hoʻoili ʻana i ka ʻike i loaʻa i ke kumu hoʻohālike e hiki ai ke hoʻonui i nā kaʻina hana.
No ka hoʻomaikaʻi ʻana a me ka hoʻohālikelike ʻana i nā kaʻina hana e pili ana i ka hoʻokele lifecycle model, ke hoʻohana nui ʻia nei nā ʻenehana MLOps e nā hui e hana ana i nā kumu hoʻohālike mīkini.
E hoʻomau i ka heluhelu no ka ʻike hou aku e pili ana i kekahi o nā hāmeʻa MLOps maikaʻi loa a me nā paepae i loaʻa i kēia lā a pehea e hiki ai iā lākou ke maʻalahi ke aʻo ʻana i ka mīkini mai kahi hāmeʻa, mea hoʻomohala, a me ke kaʻina hana.
He aha ka MLOps?
Ua ʻike ʻia kahi ʻenehana no ka hana ʻana i nā kulekele, nā loina, a me nā hana maikaʻi loa no nā ʻano hoʻohālike e aʻo ai i nā mīkini ʻo "nā hana aʻo mīkini," a i ʻole "MLOps."
Manaʻo ʻo MLOps e hōʻoiaʻiʻo i ke ola holoʻokoʻa o ka hoʻomohala ʻana o ML - mai ka hoʻomaka ʻana a hiki i ke kau ʻana - ua kākau ʻia a mālama ʻia no nā hopena maikaʻi loa ma mua o ka hoʻolilo ʻana i ka manawa a me nā kumuwaiwai i loko me ka ʻole o ka hoʻolālā.
ʻO ka pahuhopu o MLOps ka hoʻoponopono ʻana i nā hoʻomaʻamaʻa maikaʻi loa ma ke ʻano e hoʻonui ai i ka hoʻomohala aʻo ʻana i ka mīkini no nā mea hana ML a me nā mea hoʻomohala, a me ka hoʻomaikaʻi ʻana i ka maikaʻi a me ka palekana o nā hiʻohiʻona ML.
Ke kapa nei kekahi iā MLOps ma ke ʻano he "DevOps no ke aʻo ʻana i nā mīkini" no ka mea ua hoʻohana maikaʻi ʻo ia i nā loina DevOps i kahi ʻoihana kūikawā o ka hoʻomohala ʻenehana.
He ala maikaʻi kēia e noʻonoʻo ai e pili ana i nā MLOps no ka mea, e like me DevOps, hoʻoikaika ia i ka kaʻana like ʻana i ka ʻike, ka hui pū ʻana, a me nā hana maikaʻi loa ma waena o nā hui a me nā mea hana.
Hāʻawi ʻo MLOps i nā mea hoʻomohala, ʻepekema ʻikepili, a me nā hui hana me kahi hoʻolālā no ka hui pū ʻana a ma muli o ka hana ʻana i nā hiʻohiʻona ML ikaika loa.
No ke aha e hoʻohana ai i nā mea hana MLOps?
Hiki i nā mea hana MLOps ke hana i nā hana he nui no ka hui ML, akā naʻe, ua hoʻokaʻawale pinepine ʻia lākou i ʻelua pūʻulu: ʻo ka hoʻokele platform a me ka hoʻokele waiwai hoʻokahi.
ʻOiai ke kālele nei kekahi mau huahana MLOps i hoʻokahi hana koʻikoʻi, e like me ka ʻikepili a i ʻole ka hoʻokele metadata, hoʻohana nā mea hana ʻē aʻe i kahi hoʻolālā e hoʻopuni ana i nā mea āpau a hāʻawi i kahi kahua MLOps e hoʻomalu i kekahi mau ʻano o ke ola ola ML.
E ʻimi i nā hāʻina MLOps e kōkua i kāu hui i ka hoʻokele ʻana i kēia mau wahi hoʻomohala ML, inā ʻoe e ʻimi nei i kahi loea a i ʻole kahi mea hana ākea ʻē aʻe:
- Ka mālama ʻana i ka ʻikepili
- Hoʻolālā a hoʻohālike
- Hoʻoponopono i nā papahana a me kahi hana
- Hoʻolaha ʻia ka hoʻohālike ML a mālama mau
- ʻO ka hoʻokele ola ʻana mai ka hoʻomaka a i ka hopena, i hāʻawi pinepine ʻia e nā kahua MLOps lawelawe piha.
Mea Hana MLOps
1. MLFlow
Hoʻomalu ʻia ka pōʻai ola aʻo mīkini e ka open-source platform MLflow a loaʻa i kahi kikowaena kumu hoʻohālike, hoʻolaha, a me ka hoʻokolohua.
Hiki ke hoʻohana ʻia ʻo MLflow e nā hui nui, ʻelua a hui pū kekahi. ʻAʻole pili nā hale waihona puke i ka mea hana.
Hiki ke hoʻohana i kēlā me kēia ʻōlelo papahana a me ka waihona aʻo mīkini.
I mea e maʻalahi ai ka hoʻomaʻamaʻa ʻana, hoʻopololei, a me ka hoʻokele ʻana i nā noi aʻo mīkini, hui pū ʻo MLFlow me kekahi mau papa hana aʻo mīkini. Nānā a me Pytorch.
Hoʻohui hou, hāʻawi ʻo MLflow i nā API maʻalahi hiki ke hoʻokomo ʻia i loko o nā papahana aʻo mīkini a i ʻole nā hale waihona puke.
He ʻehā mau hiʻohiʻona nui ʻo MLflow e hoʻomaʻamaʻa i ka nānā ʻana a me ka hoʻolālā ʻana i nā hoʻokolohua:
- MLflow Tracking - he API a me ka UI no ka hoʻopaʻa inoa ʻana i nā ʻāpana code aʻo ʻana i nā mīkini, nā mana, nā metric, a me nā mea kiʻi a no ka hōʻike ʻana a me ka hoʻohālikelike ʻana i nā hopena.
- MLflow Projects - ka mīkini hoʻopaʻa ʻana i ke code aʻo ʻana i ka mīkini hoʻohana hou ʻia no ka hoʻololi ʻana i ka hana a i ʻole kaʻana like ʻana me nā ʻepekema data ʻē aʻe.
- Nā Models MLflow - mālama a hoʻolālā i nā hiʻohiʻona i kahi ʻano o ka lawelawe ʻana a me nā ʻōnaehana inference mai nā hale waihona puke ML.
- MLflow Model Registry – kahi hale kūʻai kumu hoʻohālike e hiki ai i ka hoʻokele like ʻana o ke ola holoʻokoʻa o kahi hoʻohālike MLflow, me ka hoʻololi ʻana i ke kumu hoʻohālike, nā hoʻololi pae, a me nā hōʻike.
2. KubeFlow
ʻO ka pahu hana ML no nā Kubernetes i kapa ʻia ʻo Kubeflow. Hoʻopili a mālama i nā pahu Docker, kōkua i ka mālama ʻana ʻōnaehana aʻo mīkini.
Ma ka hoʻomaʻamaʻa ʻana i ka orchestration holo a me ka hoʻolaha ʻana i nā kaila hana aʻo mīkini, hoʻolaha ia i ka scalability o nā kumu aʻo mīkini.
He papahana open-source e komo pū ana me kahi pūʻulu i koho pono ʻia o nā mea hana hoʻohui a me nā hoʻolālā i hoʻohālikelike ʻia i nā pono ML like ʻole.
Hiki ke mālama ʻia nā hana hoʻomaʻamaʻa ML lōʻihi, hoʻokolohua manual, hoʻihoʻi hou, a me nā pilikia DevOps me nā Kubeflow Pipelines.
No kekahi mau pae o ke aʻo ʻana i ka mīkini, me ka hoʻomaʻamaʻa ʻana, ka hoʻomohala ʻana i ka pipeline, a me ka mālama ʻana Nā puke puke Jupyter, Hāʻawi ʻo Kubeflow i nā lawelawe kūikawā a me ka hoʻohui.
He mea maʻalahi ia i ka mālama ʻana a me ka hahai ʻana i ke ola o kāu mau hana AI a me ka hoʻokau ʻana i nā hiʻohiʻona aʻo mīkini (ML) a me nā paipu ʻikepili i nā pūʻulu Kubernetes.
Hāʻawi ia:
- Nā puke noke no ka hoʻohana ʻana i ka SDK e launa pū me ka ʻōnaehana
- kahi mea hoʻohana (UI) no ka hoʻomalu a me ka nānā ʻana i nā holo, nā hana, a me nā hoʻokolohua
- E hoʻolālā wikiwiki i nā hopena hopena me ka ʻole e kūkulu hou i kēlā me kēia manawa, a hoʻohana hou i nā ʻāpana a me nā paipu.
- Ma ke ʻano he ʻāpana koʻikoʻi o Kubeflow a i ʻole he hoʻonohonoho kūʻokoʻa, hāʻawi ʻia ʻo Kubeflow Pipelines.
3. Mana Mana Mana
Ua kapa ʻia kahi hoʻonā mana mana mana no nā papahana aʻo mīkini ʻo DVC, a i ʻole Data Version Control.
ʻO kēlā me kēia ʻōlelo āu e koho ai, he mea hana hoʻokolohua e kōkua i ka wehewehe ʻana i ka pipeline.
Hoʻohana ʻo DVC i ka code, ka hoʻololi ʻikepili, a me ka hana hou ʻana e kōkua iā ʻoe e mālama i ka manawa ke ʻike ʻoe i kahi pilikia me kahi mana mua o kāu kumu hoʻohālike ML.
Eia hou, hiki iā ʻoe ke hoʻohana i nā pipeline DVC e hoʻomaʻamaʻa i kāu kumu hoʻohālike a hāʻawi iā ia i nā lālā o kāu hui. Hiki ke mālama ʻia ka hui ʻikepili nui a me ka hoʻololi ʻana e DVC, a hiki ke mālama ʻia ka ʻikepili i kahi ala maʻalahi.
ʻOiai aia kekahi mau hiʻohiʻona hoʻokolohua (palena ʻia), ʻo ia ka nui o ka nānā ʻana i ka ʻikepili a me ka hoʻololi a me ka hoʻokele pipeline.
Hāʻawi ia:
- He agnostic ka mālama ʻana, no laila hiki ke hoʻohana i nā ʻano waihona like ʻole.
- Hāʻawi ia i nā stats tracking pū kekahi.
- kahi ala i kūkulu mua ʻia e hoʻohui i nā pae ML i kahi DAG a holo i ka pipeline holoʻokoʻa mai ka hoʻomaka a i ka pau
- Hiki ke hahai ʻia ka hoʻomohala holoʻokoʻa o kēlā me kēia hiʻohiʻona ML me ka hoʻohana ʻana i kāna code holoʻokoʻa a me ka hōʻike ʻikepili.
- Hoʻopuka hou ʻia ma ka mālama pono ʻana i ka hoʻonohonoho mua, ka ʻikepili hoʻokomo, a me ka code program no kahi hoʻokolohua.
4. Pachyderm
ʻO Pachyderm kahi polokalamu mana mana no ke aʻo ʻana i ka mīkini a me ka ʻepekema data, e like me DVC.
Eia kekahi, no ka mea ua hana ʻia me ka hoʻohana ʻana Docker a me Kubernetes, hiki iā ia ke hoʻokō a kau i nā noi Mīkini Aʻo ma luna o kekahi paepae ao.
Hoʻopaʻa ʻo Pachyderm i kēlā me kēia ʻāpana ʻikepili i hoʻopau ʻia i loko o kahi kumu aʻo mīkini hiki ke nānā ʻia a hoʻololi ʻia.
Hoʻohana ʻia ia e hana, puʻunaue, hoʻokele, a mālama i nā ʻano hoʻohālike mīkini. Hoʻokomo ʻia kahi papa inoa hoʻohālike, kahi ʻōnaehana hoʻokele hoʻohālike, a me kahi pahu hāmeʻa CLI.
Hiki i nā mea hoʻomohala ke hoʻololi a hoʻonui i kā lākou mīkini aʻo ʻana i ke ola me ka hoʻohana ʻana i ka waihona ʻikepili o Pachyderm, kahi e hōʻoia ai i ka hana hou.
Kākoʻo ia i nā kūlana hoʻomalu ʻikepili koʻikoʻi, hoʻohaʻahaʻa i ka hoʻoili ʻikepili a me nā kumukūʻai mālama, a kōkua i nā ʻoihana i ka lawe ʻana i kā lākou mau hana ʻepekema data i ka mākeke wikiwiki.
5. Polyaxon
Ke hoʻohana nei i ka Polyaxon platform, hiki ke hana hou ʻia nā papahana aʻo mīkini a me nā noi aʻo hohonu i ko lākou ola holoʻokoʻa.
Hiki iā Polyaxon ke hoʻokipa a lawelawe i ka hāmeʻa, a hiki ke waiho ʻia i loko o kahi kikowaena data a i ʻole ka mea hāʻawi kapua. E like me Torch, Tensorflow, a me MXNet, e kākoʻo ana i nā papa hana hoʻonaʻauao hohonu kaulana loa.
I ka hiki ʻana mai i ka orchestration, hiki iā Polyaxon iā ʻoe ke hana i ka hapa nui o kāu puʻupuʻu ma ka hoʻonohonoho ʻana i nā hana a me nā hoʻāʻo ma o kā lākou CLI, dashboard, SDK, a i ʻole REST API.
Hāʻawi ia:
- Hiki iā ʻoe ke hoʻohana i ka mana open-source i kēia manawa, akā aia pū kekahi i nā koho no ka hui.
- ʻOiai e uhi ana ia i ke ola holoʻokoʻa, me ka holo orchestration, hiki iā ia ke hana hou aku.
- Me nā palapala kuhikuhi ʻenehana, nā alakaʻi hoʻomaka, nā mea aʻo, nā manual, nā aʻoaʻo, changelogs, a me nā mea hou aku, he kahua paʻa maikaʻi loa ia.
- Me ka dashboard ʻike hoʻokolohua, hiki ke makaʻala, nānā, a loiloi i kēlā me kēia hoʻokolohua loiloi.
6. Comet
He kahua ʻo Comet no ke aʻo ʻana i nā mīkini meta e hahai, hoʻohālikelike, wehewehe, a hoʻomaikaʻi i nā hoʻokolohua a me nā hoʻohālike.
Hiki ke ʻike a hoʻohālikelike ʻia kāu mau hoʻokolohua a pau ma kahi hoʻokahi.
Hoʻohana ia no kēlā me kēia hana aʻo mīkini, ma nā wahi āpau e hana ʻia ai kāu code, a me kekahi waihona aʻo mīkini.
Ua kūpono ʻo Comet no nā hui, nā kānaka, nā ʻoihana hoʻonaʻauao, nā ʻoihana, a me nā mea ʻē aʻe e makemake e ʻike koke i nā hoʻokolohua, hoʻopololei i ka hana, a hana i nā hoʻokolohua.
Hiki i nā ʻepekema ʻikepili a me nā hui ke hahai, wehewehe, hoʻomaikaʻi, a hoʻohālikelike i nā hoʻokolohua a me nā hiʻohiʻona me ka hoʻohana ʻana iā ia iho a me ke ao-mekini meta-machine platform Comet.
Hāʻawi ia:
- Nui nā mana no nā lālā o ka hui e kaʻana like i nā hana.
- Loaʻa iā ia kekahi mau mea hoʻohui e maʻalahi ai ka hoʻopili ʻana iā ia me nā ʻenehana ʻē aʻe
- Hana maikaʻi me nā hale waihona puke ML o kēia manawa
- Mālama i ka hoʻokele mea hoʻohana
- Hiki ke hoʻohālikelike i nā hoʻokolohua, me ka hoʻohālikelike ʻana i ke code, hyperparameters, metrics, wānana, hilinaʻi, a me nā ana ʻōnaehana.
- Hāʻawi i nā modula ʻokoʻa no ka ʻike, leo, kikokikona, a me ka ʻikepili papa e hiki ai iā ʻoe ke nānā i nā laʻana.
7. Opuna
He ʻōnaehana ʻo Optuna no ka autonomous hyperparameter optimization i hiki ke hoʻohana ʻia i ke aʻo ʻana i ka mīkini a me ke aʻo hohonu a me nā kula ʻē aʻe.
Loaʻa iā ia nā ʻano algorithms ʻokiʻoki e hiki ai iā ʻoe ke koho (a i ʻole ka loulou), maʻalahi loa ka hāʻawi ʻana i ka hoʻomaʻamaʻa ʻana ma luna o nā kamepiula lehulehu, a hāʻawi i nā hiʻohiʻona maikaʻi.
Hoʻohui pū ʻia nā hale waihona puke aʻo mīkini kaulana e like me PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM, a me XGBoost.
Hāʻawi ia i nā algorithms ʻokiʻoki e hiki ai i nā mea kūʻai ke loaʻa i nā hopena me ka wikiwiki ma ka hōʻemi wikiwiki ʻana i nā laʻana i ʻike ʻole ʻia.
Ke hoʻohana nei i nā algorithms e pili ana i ka Python, ʻimi maʻalahi ia i nā hyperparameters kūpono. Paipai ʻo Optuna i nā hulina hyperparameter like ʻole ma nā pae he nui me ka hoʻololi ʻole i ke code kumu.
Hāʻawi ia:
- Kākoʻo ia i ka hoʻomaʻamaʻa kaʻana ʻia ma kahi pūʻulu a me kahi kamepiula hoʻokahi (multi-process) (multi-node)
- Kākoʻo ia i nā ʻano hana ʻokiʻoki e wikiwiki i ka convergence (a hoʻohana i ka helu liʻiliʻi)
- Loaʻa iā ia nā ʻano hiʻohiʻona ikaika, e like me ka slice plot, contour plot, a me nā hoʻonohonoho like.
8. Kedro
ʻO Kedro kahi papahana Python manuahi no ke kākau ʻana i nā code hiki ke hoʻonui a mālama ʻia no nā papahana ʻepekema data.
Lawe mai ia i nā manaʻo mai nā hoʻomaʻamaʻa maikaʻi loa i ka ʻenekinia polokalamu i ka code aʻo mīkini. ʻO Python ke kumu o kēia mea hana orchestration.
No ka maʻalahi a me ka pololei o kāu mau kaʻina hana ML, hiki iā ʻoe ke hoʻomohala i nā kaʻina hana hana hou, mālama ʻia, a modular.
Hoʻokomo ʻo Kedro i nā loina ʻenekinia polokalamu e like me ka modularity, ka hoʻokaʻawale ʻana i nā kuleana, a me ka hoʻololi ʻana i kahi ʻenehana aʻo mīkini.
Ma ke kumu o Cookiecutter Data Science, hāʻawi ia i kahi papahana papahana maʻamau.
Hoʻohana ʻia kekahi mau mea hoʻohui ʻikepili maʻalahi e mālama a hoʻouka i ka ʻikepili ma waena o nā ʻōnaehana faila a me nā ʻano faila, e mālama ʻia e ka waihona ʻikepili. ʻOi aku ka maikaʻi o nā papahana aʻo mīkini a maʻalahi ke kūkulu ʻana i kahi pipeline data.
Hāʻawi ia:
- Hāʻawi ʻo Kedro i ka hoʻopuehu ʻana a i ʻole ka mīkini hoʻokahi.
- Hiki iā ʻoe ke hoʻokaʻawale i nā hilinaʻi ma waena o ka code Python a me ka nānā ʻana i ka workflow me ka hoʻohana ʻana i ka pipeline abstraction.
- Ma o ka hoʻohana ʻana i ke code modular, hiki ke hoʻohana hou ʻia, hoʻomaʻamaʻa kēia ʻenehana i ka hui pū ʻana o ka hui ma nā pae like ʻole a hoʻomaikaʻi i ka huahana ma ke kaiapuni coding.
- ʻO ka pahuhopu nui ka lanakila ʻana i nā hemahema o nā puke puke Jupyter, nā palapala hoʻokahi, a me nā code glue ma ke kākau ʻana i nā polokalamu ʻepekema data mālama.
9. BentoML
E maʻalahi ke kūkulu ʻana i nā wahi hopena API me BentoML.
Hāʻawi ia i kahi ʻōnaehana maʻamau a paʻa i ka neʻe ʻana i nā kumu hoʻohālike aʻo mīkini aʻo i ka hana.
Hiki iā ʻoe ke hoʻopaʻa i nā hiʻohiʻona i aʻo ʻia no ka hoʻohana ʻana i kahi hoʻonohonoho hana, me ka unuhi ʻana iā lākou me ka hoʻohana ʻana i kekahi ʻano ML. Kākoʻo ʻia ka lawelawe pūʻulu pūnaewele a me ka lawelawe API pūnaewele.
ʻO kahi kikowaena hiʻohiʻona kiʻekiʻe a me kahi kaila hana maʻalahi nā hiʻohiʻona o BentoML.
Hoʻohui, hāʻawi ke kikowaena adaptive micro-batching. Hāʻawi ʻia kahi ala hui no ka hoʻonohonoho ʻana i nā hiʻohiʻona a me ka mālama ʻana i nā kaʻina hana hoʻolaha e ka dashboard UI.
ʻAʻohe manawa hoʻomaha o ke kikowaena no ka mea modular ka mīkini hana a hiki ke hoʻohana hou ʻia ka hoʻonohonoho. He kahua maʻalahi ia no ka hoʻolako ʻana, hoʻonohonoho, a me ka lawe ʻana i nā hiʻohiʻona ML.
Hāʻawi ia:
- Loaʻa iā ia kahi hoʻolālā modular i hiki ke hoʻololi.
- Hāʻawi ia i ka hoʻolaha ʻana ma nā pae he nui.
- ʻAʻole hiki iā ia ke hoʻopaʻa maʻalahi i ka hoʻonui ʻia ʻana.
- Hāʻawi ia i kahi hōʻano hoʻohālike hoʻokahi, hoʻokele kumu hoʻohālike, hoʻopihapiha hoʻohālike, a me ka lawelawe ʻana i ke kumu hoʻohālike kiʻekiʻe.
10. kūʻokoʻa
Hiki i nā ʻepekema ʻikepili ke hana, hoʻopololei, a hoʻokele i nā ʻano hoʻohālike aʻo mīkini a me nā hoʻokolohua ma ke ʻano nui ma nā Kubernetes me ka hoʻohana ʻana i ke kumu open-source Seldon Core framework.
ʻO TensorFlow, sci-kit-learn, Spark, R, Java, a me H2O kekahi mau mea paahana i kākoʻo ʻia e ia.
Hoʻopili pū ia me Kubeflow a me RedHat's OpenShift. Hoʻololi ka Seldon core i nā hiʻohiʻona aʻo mīkini (ML models) a i ʻole nā ʻōwili ʻōlelo (nā ʻōlelo e like me Python, Java, a me nā mea ʻē aʻe).
ʻO kekahi o nā mea hana MLOps maikaʻi loa no ka hoʻomaikaʻi ʻana i nā kaʻina aʻo mīkini ʻo ia kēia.
He mea maʻalahi ka hoʻokomo ʻana i nā hiʻohiʻona ML a hoʻāʻo no ka hoʻohana a me ka palekana me ka hoʻohana ʻana iā Seldon Core.
Hāʻawi ia:
- Hiki ke maʻalahi ka hoʻolālā ʻana me nā ʻano ʻokoʻa like ʻole, e like me ka hoʻopili ʻana i nā canary.
- No ka hoʻomaopopo ʻana i ke kumu i hana ʻia ai nā wānana kikoʻī, e hoʻohana i nā wehewehe hoʻohālike.
- Ke kū mai nā pilikia, e makaʻala i nā hiʻohiʻona hana e hoʻohana ana i ka ʻōnaehana makaʻala.
Panina
Hiki i nā MLOps ke kōkua i ka hoʻomaikaʻi ʻana i nā hana aʻo mīkini. Hiki i nā MLOps ke hoʻolalelale i ka hoʻolaha ʻana, e maʻalahi ka hōʻiliʻili ʻikepili a me ka hoʻopau ʻana, a hoʻomaikaʻi i ka hana like ʻana ma waena o nā ʻenekinia a me nā ʻepekema data.
I mea e hiki ai iā ʻoe ke koho i ka hāmeʻa MLOps i kūpono i kou pono, ua nānā kēia pou i 10 mau hopena MLOps kaulana, ʻo ka hapa nui o ia mea he open-source.
Waiho i ka Reply