Sassan duniya da yawa sun fara saka hannun jari sosai a cikin koyon inji (ML).
Ƙungiyoyin ƙwararrun ƙwararrun ƙwararru za su iya ƙaddamar da ƙirar ML da farko da sarrafa su, amma ɗayan manyan cikas shine canja wurin ilimin da aka samu zuwa samfuri na gaba ta yadda za a iya faɗaɗa tafiyar matakai.
Don haɓakawa da daidaita tsarin tafiyar da tsarin tafiyar rayuwa, ƙungiyoyin da ke ƙirƙira ƙirar koyan inji suna ƙara yin amfani da dabarun MLOps.
Ci gaba da karatu don neman ƙarin bayani game da wasu mafi kyawun kayan aikin MLOps da dandamali da ake da su a yau da kuma yadda za su iya sauƙaƙa koyon na'ura daga kayan aiki, mai haɓakawa, da tsarin tsari.
Menene MLOps?
Dabarar ƙirƙirar manufofi, ƙa'idodi, da mafi kyawun ayyuka don ƙirar koyon injin ana kiranta "ayyukan koyan injin," ko "MLOps."
MLOps yana da nufin tabbatar da duk rayuwar ci gaban ML - daga tunani zuwa turawa - an rubuta shi sosai kuma ana sarrafa shi don sakamako mafi kyau maimakon saka hannun jari mai yawa da albarkatu a ciki ba tare da dabara ba.
Manufar MLOps ita ce tsara mafi kyawun ayyuka ta hanyar da za ta sa ci gaban koyon na'ura ya fi daidaitawa ga ma'aikatan ML da masu haɓakawa, da kuma haɓaka inganci da tsaro na ƙirar ML.
Wasu suna kiran MLOps a matsayin "DevOps don koyon inji" tun da ya sami nasarar aiwatar da ƙa'idodin DevOps zuwa wani yanki na musamman na ci gaban fasaha.
Wannan hanya ce mai amfani don yin tunani game da MLOps saboda, kamar DevOps, yana jaddada raba ilimi, haɗin gwiwa, da mafi kyawun ayyuka tsakanin ƙungiyoyi da kayan aiki.
MLOps yana ba masu haɓakawa, masana kimiyyar bayanai, da ƙungiyoyin ayyuka tare da tsarin haɗin gwiwa kuma, a sakamakon haka, samar da samfuran ML mafi ƙarfi.
Me yasa Amfani da Kayan aikin MLOps?
Kayan aikin MLOps na iya aiwatar da ayyuka da yawa don ƙungiyar ML, duk da haka, galibi ana raba su zuwa ƙungiyoyi biyu: gudanarwar dandamali da sarrafa sassan mutum ɗaya.
Yayin da wasu samfuran MLOps ke mayar da hankali kan aiki guda ɗaya kawai, kamar bayanai ko sarrafa metadata, wasu kayan aikin suna ɗaukar dabarun da ke tattare da duka kuma suna samar da dandamali na MLOps don sarrafa abubuwa da yawa na tsarin rayuwar ML.
Nemo mafita na MLOps waɗanda ke taimaka wa ƙungiyar ku don sarrafa waɗannan wuraren ci gaban ML, ko kuna neman ƙwararre ko ƙarin kayan aiki:
- Gudanar da bayanai
- Zane da ƙirar ƙira
- Gudanar da ayyuka da wuraren aiki
- ƙaddamar da ƙirar ML da ci gaba da kiyayewa
- Gudanar da keken rai daga farkon zuwa ƙarshe, wanda galibi ana samarwa ta dandamalin MLOps masu cikakken sabis.
Kayayyakin MLOps
1. MLFlow
Tsarin rayuwa na koyon injin yana sarrafa shi ta hanyar dandamali mai buɗewa MLflow kuma ya haɗa da rajista na tsakiya, turawa, da gwaji.
Ana iya amfani da MLflow ta kowace ƙungiyar girman, duka ɗaya da kuma gaba ɗaya. Dakunan karatu ba su da wani tasiri a kan kayan aiki.
Duk wani harshe na shirye-shirye da ɗakin karatu na koyon injin na iya amfani da shi.
Don sauƙaƙe don horarwa, turawa, da sarrafa aikace-aikacen koyon injin, MLFlow yana hulɗa tare da tsarin koyo na inji, gami da TensorFlow da kuma Pytorch.
Bugu da ƙari, MLflow yana ba da APIs masu sauƙin amfani waɗanda za a iya haɗa su a cikin kowane shirye-shiryen koyon inji ko ɗakunan karatu.
MLflow yana da mahimman fasali guda huɗu waɗanda ke sauƙaƙe bin diddigin gwaje-gwajen tsarawa:
- MLflow Tracking – API da UI don shigar da sigogin lambar koyan inji, sigogin, awo, da kayan tarihi da kuma don nunawa da bambanta sakamakon.
- Ayyukan MLflow - lambar koyo na injin marufi a cikin tsarin sake amfani da shi, wanda za'a iya sakewa don canja wuri zuwa samarwa ko rabawa tare da wasu masana kimiyyar bayanai.
- Samfuran MLflow - kiyayewa da tura samfura zuwa kewayon samfurin sabis da tsarin ƙima daga ɗakunan karatu na ML daban-daban.
- MLflow Model Registry – babban kantin sayar da samfuri wanda ke ba da damar gudanar da haɗin gwiwa na tsawon rayuwar samfurin MLflow, gami da sigar ƙira, sauyin mataki, da bayanai.
2. KubeFlow
Akwatin kayan aiki na ML na Kubernetes ana kiransa Kubeflow. Marufi da sarrafa kwantena Docker, yana taimakawa wajen kiyayewa tsarin koyon injin.
Ta hanyar sauƙaƙe ƙungiyoyin kade-kade da tura kayan aikin koyo na injin, yana haɓaka haɓakar ƙirar koyon injin.
Aikin buɗaɗɗen tushe ne wanda ya haɗa da rukunin da aka zaɓa a hankali na ƙarin kayan aikin da tsarin da aka keɓance da buƙatun ML daban-daban.
Dogayen ayyukan horo na ML, gwajin hannu, maimaitawa, da ƙalubalen DevOps ana iya sarrafa su tare da Kubeflow Pipelines.
Don matakai da yawa na koyon injin, gami da horo, haɓaka bututun mai, da kiyayewa Littafin rubutu na Jupyter, Kubeflow yana ba da sabis na musamman da haɗin kai.
Yana ba da sauƙi don sarrafawa da bin diddigin rayuwar aikin AI ɗin ku da kuma tura samfuran koyon injin (ML) da bututun bayanai zuwa gungu na Kubernetes.
Yana bayar da:
- Littattafan rubutu don amfani da SDK don yin hulɗa tare da tsarin
- mai amfani da mai amfani (UI) don sarrafawa da saka idanu, ayyuka, da gwaje-gwaje
- Don ƙirƙira da sauri-zuwa-ƙarshen mafita ba tare da sake ginawa kowane lokaci ba, da sake amfani da abubuwan haɗin gwiwa da bututun mai.
- A matsayin maɓalli mai mahimmanci na Kubeflow ko azaman shigarwa na tsaye, ana ba da Kubeflow Pipelines.
3. Sarrafa Sigar Bayanai
Maganin sarrafa nau'in buɗaɗɗen tushe don ayyukan koyon injin ana kiransa DVC, ko Kula da Sigar Data.
Ko wane yare da kuka zaba, kayan aikin gwaji ne wanda ke taimakawa wajen ma'anar bututun mai.
DVC tana amfani da lamba, sigar bayanai, da sakewa don taimaka muku adana lokaci lokacin da kuka gano matsala tare da sigar farko ta ML ɗin ku.
Bugu da ƙari, zaku iya amfani da bututun DVC don horar da ƙirar ku da rarraba shi ga membobin ƙungiyar ku. DVC na iya sarrafa manyan ƙungiyoyin bayanai da siga, kuma ana iya adana bayanan cikin sauƙi mai sauƙi.
Kodayake ya haɗa da wasu fasalulluka (iyakayan) gwajin gwaji, galibi yana mai da hankali kan bayanai da sigar bututun da sarrafa su.
Yana bayar da:
- Yana da agnostic ajiya, saboda haka yana yiwuwa a yi amfani da nau'ikan ajiya iri-iri.
- Yana bayar da kididdigar bin diddigi kuma.
- hanyar da aka riga aka gina ta shiga matakan ML cikin DAG da tafiyar da bututun gabaɗaya daga farkon zuwa ƙarshe.
- Kowane samfurin ML gabaɗayan ci gabansa ana iya bin shi ta amfani da gabaɗayan lambar sa da tabbatar da bayanai.
- Maimaituwa ta amintaccen kiyaye tsarin farko, bayanan shigarwa, da lambar shirin don gwaji.
4. Pachyderm
Pachyderm shiri ne na sarrafa sigar don koyon inji da kimiyyar bayanai, kama da DVC.
Bugu da ƙari, saboda an halicce shi ta amfani da shi Docker da Kubernetes, yana iya aiwatarwa da tura aikace-aikacen Koyon Injin akan kowane dandamali na girgije.
Pachyderm yana ba da garantin cewa kowane yanki na bayanai da aka cinye a cikin ƙirar koyo na inji za a iya bin diddigin baya da kuma siffanta su.
Ana amfani da shi don ƙirƙira, rarrabawa, sarrafawa, da kuma sa ido kan ƙirar koyon injin. Rijistar samfuri, tsarin sarrafa samfuri, da akwatin kayan aiki na CLI duk an haɗa su.
Masu haɓakawa za su iya sarrafa kansa da faɗaɗa rayuwar koyon injin ɗinsu ta amfani da tushen bayanan Pachyderm, wanda kuma ke tabbatar da maimaitawa.
Yana goyan bayan ƙaƙƙarfan ƙa'idodin gudanarwar bayanai, yana rage sarrafa bayanai da tsadar ajiya, kuma yana taimaka wa 'yan kasuwa wajen kawo dabarun kimiyyar bayanan su zuwa kasuwa cikin sauri.
5. Polyaxon
Yin amfani da dandali na Polyaxon, ayyukan koyo na inji da aikace-aikacen ilmantarwa mai zurfi za a iya yin kwafi da sarrafa su a duk tsawon rayuwarsu.
Polyaxon yana iya karbar bakuncin da sarrafa kayan aiki, kuma ana iya sanya shi cikin kowane cibiyar bayanai ko mai ba da girgije. Irin su Torch, Tensorflow, da MXNet, waɗanda ke goyan bayan duk shahararrun tsarin ilmantarwa mai zurfi.
Idan ya zo ga ƙungiyar kade-kade, Polyaxon yana ba ku damar cin gajiyar tarin ku ta hanyar tsara ayyuka da gwaje-gwaje ta hanyar CLI, dashboard, SDKs, ko REST API.
Yana bayar da:
- Kuna iya amfani da sigar buɗaɗɗen tushe a yanzu, amma kuma ta haɗa da zaɓi na kamfani.
- Ko da yake yana rufe cikakkiyar zagayowar rayuwa, gami da ƙungiyar kaɗe-kaɗe, yana iya yin ƙari da yawa.
- Tare da takaddun bayani na fasaha, ƙa'idodin farawa, kayan koyo, litattafai, koyawa, canje-canje, da ƙari, dandamali ne da aka rubuta sosai.
- Tare da dashboard ɗin bayanan gwaji, yana yiwuwa a sa ido, waƙa, da kimanta kowane gwajin haɓakawa.
6. tauraro mai wutsiya
Comet dandamali ne don koyan injin meta wanda ke bibiyar waƙa, bambanta, yin bayani, da haɓaka gwaji da ƙira.
Ana iya ganin duk gwaje-gwajenku kuma a kwatanta su a wuri ɗaya.
Yana aiki don kowane aikin koyon na'ura, a duk inda aka yi lambar ku, kuma tare da kowane ɗakin karatu na koyon injin.
Comet ya dace da ƙungiyoyi, daidaikun mutane, cibiyoyin ilimi, kasuwanci, da duk wani wanda ke son yin saurin hango gwaje-gwaje, daidaita aiki, da gudanar da gwaje-gwaje.
Masana kimiyyar bayanai da ƙungiyoyi za su iya bin diddigin, fayyace, haɓakawa, da kwatanta gwaje-gwaje da ƙira ta amfani da dandamalin koyo-na'ura mai ɗaukar nauyi da Comet.
Yana bayar da:
- Akwai iyakoki da yawa don membobin ƙungiyar don raba ayyuka.
- Yana da haɗe-haɗe da yawa waɗanda ke sauƙaƙa haɗa shi zuwa wasu fasahohin
- Yana aiki da kyau tare da ɗakunan karatu na ML na yanzu
- Yana kula da sarrafa mai amfani
- An kunna kwatancen gwaje-gwaje, gami da kwatancen lamba, hyperparameters, awo, tsinkaya, dogaro, da ma'aunin tsarin.
- Yana ba da keɓantattun kayayyaki don hangen nesa, sauti, rubutu, da bayanan tambura waɗanda ke ba ku damar hango samfuran.
7. Optuna
Optuna wani tsari ne don inganta haɓakar hyperparameter mai cin gashin kansa wanda za'a iya amfani da shi ga koyon na'ura da zurfin koyo da sauran fannoni.
Ya ƙunshi nau'ikan algorithms na yanke-yanke daga waɗanda zaku iya zaɓar (ko hanyar haɗin gwiwa), suna sa ya zama mai sauƙi don rarraba horo akan kwamfutoci da yawa, kuma yana ba da kyan gani na sakamako.
Shahararrun ɗakunan karatu na koyon injin kamar PyTorch, TensorFlow, Keras, FastAI, sci-kit-learn, LightGBM, da XGBoost duk an haɗa su da shi.
Yana ba da manyan algorithms waɗanda ke ba abokan ciniki damar samun sakamako da sauri ta hanyar rage samfuran da ba su da tabbas.
Yin amfani da algorithms na tushen Python, yana bincika madaidaicin hyperparameter ta atomatik. Optuna yana ƙarfafa binciken da aka yi daidai da hyperparameter a cikin zaren da yawa ba tare da canza lambar asali ba.
Yana bayar da:
- Yana goyan bayan horon da aka rarraba akan gungu da kuma kwamfuta guda ɗaya (multi-process) (multi-node)
- Yana goyan bayan fasahohin datsa da yawa don haɓaka haɗuwa (da amfani da ƙarancin ƙididdigewa)
- Yana da nau'ikan iya gani iri-iri, kamar yanki yanki, filin kwane-kwane, da daidaitawa iri ɗaya.
8. Kedro
Kedro tsari ne na Python kyauta don rubuta lambar da za a iya sabuntawa da kiyayewa don ayyukan kimiyyar bayanai.
Yana kawo ra'ayoyi daga mafi kyawun ayyuka a aikin injiniyan software zuwa lambar koyan injin. Python shine tushen wannan kayan aikin kaɗe-kaɗe.
Don yin ayyukan ML ɗinku mafi sauƙi kuma mafi daidai, zaku iya haɓaka ayyukan aiki da za'a iya maimaitawa, dawwama, da na yau da kullun.
Kedro ya haɗa da ƙa'idodin injiniyan software kamar daidaitawa, raba nauyi, da siga cikin yanayin koyon injin.
Dangane da Kimiyyar Bayanai na Cookiecutter, yana ba da tsarin gamayya, tsarin aiki mai daidaitawa.
Yawancin masu haɗin bayanai masu sauƙi waɗanda aka yi amfani da su don adanawa da loda bayanai a cikin tsarin fayil da yawa da tsarin fayil, ana sarrafa su ta kundin bayanan. Yana sa ayyukan koyo na inji ya fi tasiri kuma yana sauƙaƙa gina bututun bayanai.
Yana bayar da:
- Kedro yana ba da damar ko dai tarwatsawa ko tura injin keɓe.
- Kuna iya sarrafa abin dogaro tsakanin lambar Python da hangen nesa na aiki ta amfani da abstraction na bututu.
- Ta hanyar amfani da na'ura mai mahimmanci, lambar sake amfani da ita, wannan fasaha yana sauƙaƙe haɗin gwiwar ƙungiya akan matakai daban-daban kuma yana inganta yawan aiki a cikin yanayin coding.
- Manufar farko ita ce a shawo kan kurakuran littattafan rubutu na Jupyter, rubutun kashe-kashe, da lambar manne ta hanyar rubuta shirye-shiryen kimiyyar bayanan da za a iya kiyayewa.
9. BentoML
Gine-gine na koyon injin API an sauƙaƙe shi tare da BentoML.
Yana ba da kayan aikin yau da kullun tukuna masu ƙarfi don matsar da ƙirar injunan koyo zuwa samarwa.
Yana ba ku damar haɗa samfuran koyo don amfani da su a cikin tsarin samarwa, fassara su ta amfani da kowane tsarin ML. Dukansu hidimar batch na layi da kuma hidimar API ta kan layi ana tallafawa.
Babban uwar garken ƙirar ƙira da sassauƙan aikin aiki shine fasalulluka na BentoML.
Bugu da ƙari, uwar garken yana ba da ƙaramar batching mai daidaitawa. Haɗin kai don tsara samfura da kiyaye hanyoyin turawa ana samar da dashboard ɗin UI.
Ba za a sami raguwar lokacin uwar garken ba saboda tsarin aiki na zamani ne kuma ana iya sake amfani da tsarin. dandamali ne mai sassauƙa don samarwa, tsarawa, da tura samfuran ML.
Yana bayar da:
- Yana da tsari na zamani wanda zai iya daidaitawa.
- Yana ba da damar turawa a kan dandamali da yawa.
- Ba zai iya ɗaukar ma'aunin kwance ta atomatik ba.
- Yana ba da damar tsarin ƙira ɗaya, sarrafa ƙirar ƙira, marufi samfurin, da sabis na ƙirar ƙira mai girma.
10. Seldon
Masana kimiyyar bayanai za su iya ƙirƙira, turawa, da sarrafa samfuran koyo na inji da gwaje-gwaje a sikeli akan Kubernetes ta amfani da tsarin buɗe tushen Seldon Core.
TensorFlow, sci-kit-learn, Spark, R, Java, da H2O kaɗan ne daga cikin kayan aikin da ke goyan bayansa.
Hakanan yana hulɗa tare da Kubeflow da RedHat's OpenShift. Seldon core yana canza ƙirar koyon inji (samfurin ML) ko nade-naden harshe (harsuna kamar Python, Java, da sauransu) zuwa samar da ƙananan sabis na REST/GRPC.
Ɗaya daga cikin mafi kyawun kayan aikin MLOps don inganta tsarin ilmantarwa na inji shine wannan.
Abu ne mai sauƙi don ɗaukar samfuran ML da gwada amfani da tsaro ta amfani da Seldon Core.
Yana bayar da:
- Za'a iya yin jigilar samfuri mafi sauƙi tare da hanyoyi da yawa, kamar ƙaddamar da canary.
- Don fahimtar dalilin da yasa aka yi takamaiman tsinkaya, yi amfani da masu bayyana samfuri.
- Lokacin da al'amura suka taso, kula da samfuran samarwa ta amfani da tsarin faɗakarwa.
Kammalawa
MLOps na iya taimakawa don inganta ayyukan koyon inji mafi kyau. MLOps na iya hanzarta tura aiki, yin tattara bayanai da yin gyara cikin sauƙi, da haɓaka haɗin gwiwa tsakanin injiniyoyi da masana kimiyyar bayanai.
Domin ku zaɓi kayan aikin MLOps wanda ya fi dacewa da buƙatunku, wannan post ɗin ya bincika shahararrun hanyoyin MLOps guda 10, waɗanda galibinsu buɗaɗɗen tushe ne.
Leave a Reply