Teburin Abubuwan Ciki[Boye][Nuna]
- 1. Me kuke nufi da MLOps?
- 2. Ta yaya masana kimiyyar bayanai, injiniyoyin bayanai, da injiniyoyin ML suka bambanta da juna?
- 3. Menene ya bambanta MLOps daga ModelOps da AIOps?
- 4. Za a iya gaya mani wasu fa'idodin MLOps?
- 5. Za a iya gaya mani sassan MLOps?
- 6. Waɗanne haɗari ke tattare da amfani da kimiyyar bayanai?
- 7. Za ku iya bayyana, menene drift model?
- 8. Hanyoyi daban-daban nawa za a iya amfani da MLOps, a ra'ayin ku?
- 9. Menene ya bambanta tura aiki a tsaye da aiki mai ƙarfi?
- 10. Wadanne dabarun gwajin samarwa kuke sane da su?
- 11. Menene ya bambanta sarrafa rafi da sarrafa batch?
- 12. Me kuke nufi da Horon Hidimar Skew?
- 13. Me kuke nufi da Model Registry?
- 14. Za ku iya yin ƙarin bayani kan fa'idodin Rijista na Model?
- 15. Za ku iya bayyana dabarun Champion-Challenger yana aiki?
- 16. Bayyana aikace-aikacen matakin kasuwanci na zagayen rayuwa na MLOps?
- Kammalawa
Kamfanoni suna amfani da fasahohi masu tasowa kamar hankali na wucin gadi (AI) da koyan injin (ML) akai-akai don ƙara samun damar jama'a ga bayanai da ayyuka.
Ana ƙara amfani da waɗannan fasahohin a fannoni daban-daban, ciki har da banki, kuɗi, dillalai, masana'antu, har ma da kiwon lafiya.
Masana kimiyyar bayanai, injiniyoyin koyon injin, da injiniyoyi a cikin bayanan wucin gadi suna buƙatar ƙarin adadin kamfanoni.
Sanin mai yiwuwa injin inji Tambayoyin hira na aiki waɗanda manajoji da masu daukar ma'aikata za su iya haifar muku suna da mahimmanci idan kuna son yin aiki a cikin filayen ML ko MLOps.
Kuna iya koyon yadda ake amsa wasu tambayoyin tambayoyin MLOps a cikin wannan sakon yayin da kuke aiki don samun aikin ku na mafarki.
1. Me kuke nufi da MLOps?
Batun aiwatar da samfuran ML shine mayar da hankali na MLOps, wanda kuma aka sani da Ayyukan Koyon Na'ura, filin haɓakawa a cikin ƙarin manyan fagen AI/DS/ML.
Babban burin tsarin injiniyan software da al'adun da aka sani da MLOps shine haɗawa da ƙirƙirar ƙirar injuna / ƙirar kimiyyar bayanai da aikin aikin su na gaba (Ops).
DevOps na al'ada da MLOps suna raba wasu kamanceceniya, duk da haka, MLOps suma sun bambanta sosai da DevOps na gargajiya.
MLOps yana ƙara sabon salo na sarƙaƙƙiya ta hanyar mai da hankali kan bayanai, yayin da DevOps da farko yana mai da hankali kan aiwatar da lamba da fitar da software waɗanda ba za su iya zama mai faɗi ba.
Haɗin ML, Data, da Ops shine abin da ke ba MLOps sunansa gama gari (ilimin injin, injiniyan bayanai, da DevOps).
2. Ta yaya masana kimiyyar bayanai, injiniyoyin bayanai, da injiniyoyin ML suka bambanta da juna?
Ya bambanta, a ganina, ya danganta da kamfani. Muhallin sufuri da sauya bayanai, da kuma ajiyarsa, injiniyoyi ne suka gina su.
Masana kimiyyar bayanai ƙwararru ne wajen yin amfani da dabarun kimiyya da ƙididdiga don nazarin bayanai da zayyana sakamako, gami da yin hasashe game da halaye na gaba dangane da yanayin da ake ciki yanzu.
Injiniyoyin software suna nazarin ayyuka da sarrafa kayan aikin turawa a ƴan shekaru da suka wuce. Ƙungiyoyin Ops, a gefe guda, suna nazarin ci gaba yayin amfani da abubuwan more rayuwa azaman lamba. An samar da matsayi na DevOps ta waɗannan rafukan biyu.
MLOps yana cikin rukuni ɗaya da Masanin kimiyya da Injiniya Data. Injiniyoyin bayanai suna samun ilimi game da abubuwan more rayuwa da ake buƙata don tallafawa ƙirar rayuwa da ƙirƙirar bututun don horo mai gudana.
Masana ilimin kimiyar bayanai suna neman haɓaka ƙirar ƙirar su da damar ƙira.
Injiniyoyi na ML ne suka gina bututun bayanai-daraja waɗanda ke amfani da ababen more rayuwa waɗanda ke canza ɗanyen bayanai zuwa shigar da ake buƙata ta tsarin kimiyyar bayanai, runduna da gudanar da ƙirar, kuma suna fitar da saitin bayanai masu ƙima zuwa tsarin ƙasa.
Duk injiniyoyin bayanai da masana kimiyyar bayanai suna iya zama injiniyoyin ML.
3. Menene ya bambanta MLOps daga ModelOps da AIOps?
Lokacin gina ƙarshen-zuwa-ƙarshe mashin ilmin lissafi, MLOps aikace-aikacen DevOps ne wanda ya haɗa da tattara bayanai, bayanan da aka riga aka tsara, ƙirƙira samfurin, ƙaddamar da ƙirar ƙira a cikin samarwa, ƙirar ƙira a cikin samarwa, da haɓaka samfurin lokaci-lokaci.
Amfani da DevOps wajen sarrafa duk aiwatar da kowane algorithms, kamar Samfuran-Tsakanin Doka, ana san su da ModelOps.
AI Ops yana haɓaka ƙa'idodin DevOps don ƙirƙirar ƙa'idodin AI daga karce.
4. Za a iya gaya mani wasu fa'idodin MLOps?
- Masana kimiyyar bayanai da masu haɓaka MLOps na iya hanzarta sake yin gwaji don tabbatar da cewa an horar da samfura kuma an tantance su yadda ya kamata tunda MLOps yana taimakawa sarrafa sarrafa duk ko galibin ayyuka/matakai a cikin MDLC (tsawon ci gaban rayuwa). Bugu da kari izini data da kuma model versioning.
- Sanya ra'ayoyin MLOps a aikace yana baiwa Injiniyoyi da Masana Kimiyyar Bayanai damar samun damar shiga mara iyaka zuwa abubuwan da aka ƙirƙira da ƙirƙira, waɗanda ke haɓaka haɓaka samfuran ƙira.
- Masana kimiyyar bayanai za su iya komawa kan ƙirar da ta yi aiki mafi kyau idan haɓakar halin yanzu bai cika tsammanin da ake tsammani ba godiya ga ikon samun samfuri da sigar bayanan bayanai, wanda zai haɓaka ingantaccen tsarin tantancewa.
- Kamar yadda hanyoyin MLOps suka dogara sosai akan DevOps, sun kuma haɗa da dama na ra'ayoyin CI/CD, waɗanda ke haɓaka haɓakawa. inganci da dogaro da lambar.
5. Za a iya gaya mani sassan MLOps?
Design: MLOps sun haɗa da tunanin ƙira. Farawa da yanayin batun, gwada hasashe, gine-gine, da turawa
Ginin samfurin: Gwajin samfuri da tabbatarwa wani ɓangare ne na wannan matakin, tare da bututun injiniyoyin bayanai da gwaji don saita mafi kyawun tsarin koyon injin.
Ayyuka: Dole ne a aiwatar da samfurin a matsayin wani ɓangare na ayyukan kuma a ci gaba da dubawa da kimantawa. Ana sa ido kan hanyoyin CI/CD kuma a fara amfani da kayan aikin kaɗe-kaɗe.
6. Waɗanne haɗari ke tattare da amfani da kimiyyar bayanai?
- Yana da wuya a daidaita samfurin a fadin kamfanin.
- Ba tare da gargadi ba, samfurin yana rufewa kuma ya daina aiki.
- Mafi yawa, daidaiton samfuran yana ƙaruwa da lokaci.
- Samfurin yana yin tsinkaya mara kyau bisa ƙayyadaddun kallo wanda ba za a iya ƙara bincika ba.
- Masana kimiyyar bayanai yakamata su kula da samfuran, amma suna da tsada.
- Ana iya amfani da MLOps don rage waɗannan haɗari.
7. Za ku iya bayyana, menene drift model?
Lokacin da aikin ƙaddamar da ƙirar ƙira (ta yin amfani da bayanan ainihin duniya) ya tabarbare daga aikin lokacin horonsa, ana kiran wannan da drift model, wanda kuma aka sani da drift ra'ayi (ta yin amfani da tarihi, bayanan labeled).
Ayyukan ƙirar sun karkata ne idan aka kwatanta da horo da matakan hidima, don haka sunan "jirgin ƙasa/ba da skew."
Abubuwa da yawa, gami da:
- Babban hanyar da ake rarraba bayanai ta canza.
- Horon ya mayar da hankali kan ƙananan nau'o'i, duk da haka, sauyin yanayi da ya faru ya kara wani yanki.
- A cikin matsalolin NLP, bayanan duniya na ainihi suna da adadin alamun lamba da bai dace ba fiye da bayanan horo.
- Abubuwan da ba a zata ba, kamar samfurin da aka gina akan bayanan pre-COVID ana hasashen zai yi muni sosai akan bayanan da aka tattara yayin barkewar COVID-19.
Ci gaba da lura da aikin ƙirar ana buƙatar koyaushe don gano ƙwanƙwasa ƙirar ƙira.
Koyaushe ana buƙatar sake horar da samfuri azaman magani lokacin da aka sami raguwar ƙima a aikin ƙirar; Dole ne a gano dalilin raguwa kuma dole ne a yi amfani da hanyoyin magani masu dacewa.
8. Hanyoyi daban-daban nawa za a iya amfani da MLOps, a ra'ayin ku?
Akwai hanyoyi guda uku don sanya MLOps a aikace:
MLOps matakin 0 (Tsarin Manual): A wannan matakin, duk matakai-ciki har da shirye-shiryen bayanai, bincike, da horo-ana yin su da hannu. Dole ne a gudanar da kowane mataki da hannu, da kuma sauyawa daga ɗaya zuwa na gaba.
Tushen tushen shi ne cewa ƙungiyar kimiyyar bayanan ku kawai tana sarrafa ƙananan ƙira waɗanda ba a sabunta su akai-akai.
A sakamakon haka, babu Ci gaba da Haɗuwa (CI) ko Ci gaba da Ƙaddamarwa (CD), kuma gwada lambar yawanci an haɗa shi cikin aiwatar da rubutun ko aiwatar da littafin rubutu, tare da turawa a cikin microservice tare da REST API.
MLOps matakin 1 (aiki na bututun ML): Ta hanyar sarrafa tsarin ML, makasudin shine ci gaba da horar da samfurin (CT). Kuna iya cim ma ci gaba da isar da sabis na hasashen samfurin ta wannan hanya.
Aiwatar da bututun horo na gabaɗaya yana tabbatar da cewa samfurin yana horarwa ta atomatik a samarwa ta hanyar amfani da sabbin bayanai dangane da abubuwan da ke haifar da bututun mai aiki.
MLOps matakin 2 (aiki na bututun CI / CD): Yana hawa mataki ɗaya sama da matakin MLOps. Ana buƙatar tsarin CI/CD mai ƙarfi mai sarrafa kansa idan kuna son sabunta bututun samarwa cikin sauri da dogaro:
- Kuna ƙirƙiri lambar tushe kuma kuna aiwatar da gwaje-gwaje masu yawa a cikin matakin CI. Fakiti, abubuwan aiwatarwa, da kayan tarihi sune abubuwan da aka samu a matakin, waɗanda za a tura su nan gaba.
- Abubuwan da aka ƙirƙira ta matakin CI ana tura su zuwa yanayin da aka yi niyya yayin matakin CD. Bututun da aka tura tare da aiwatar da ƙirar da aka bita shine fitowar matakin.
- Kafin bututun ya fara sabon juzu'in gwajin, masana kimiyyar bayanai dole ne su yi lokacin nazarin bayanai da samfurin da hannu.
9. Menene ya bambanta tura aiki a tsaye da aiki mai ƙarfi?
An horar da samfurin a layi don Aiki A tsaye. A takaice dai, muna horar da samfurin daidai sau ɗaya sannan mu yi amfani da shi na ɗan lokaci. Bayan an horar da samfurin a cikin gida, ana adana shi kuma a aika shi zuwa uwar garken don amfani da shi don samar da tsinkaya na ainihi.
Ana rarraba samfurin azaman software mai shigar da aikace-aikacen. shirin da ke ba da izinin buƙatun buƙatun batch, a matsayin misali.
An horar da samfurin akan layi don Ƙaddamarwa Mai ƙarfi. Wato, ana ƙara sabbin bayanai akai-akai a cikin tsarin, kuma ana sabunta ƙirar ta ci gaba da ƙididdige shi.
Sakamakon haka, zaku iya yin tsinkaya ta amfani da sabar akan buƙata. Bayan haka, ana amfani da samfurin ta hanyar kawo shi azaman ƙarshen API wanda ke amsa tambayoyin mai amfani, ta amfani da tsarin gidan yanar gizo kamar Flask ko FastAPI.
10. Wadanne dabarun gwajin samarwa kuke sane da su?
Gwajin tsari: Ta hanyar yin gwaji a wani wuri daban da na yanayin horo, yana tabbatar da samfurin. Yin amfani da ma'auni na zaɓi, kamar daidaito, RMSE, da sauransu, ana yin gwajin tsari akan rukunin samfuran bayanai don tabbatar da ƙirar ƙira.
Ana iya yin gwajin batch akan dandamalin kwamfuta iri-iri, kamar sabar gwaji, sabar nesa, ko gajimare. Yawanci, ana ba da samfurin azaman fayil ɗin jeri, wanda aka ɗora a matsayin abu kuma an ƙididdige shi daga bayanan gwaji.
Binciken A / B: Ana amfani da shi akai-akai don nazarin yakin tallace-tallace da kuma ƙira na ayyuka (shafukan yanar gizo, aikace-aikacen hannu, da sauransu).
Dangane da kamfani ko ayyuka, ana amfani da hanyoyin ƙididdiga don nazarin sakamakon gwajin A/B don yanke shawarar wane samfurin zai yi mafi kyau a samarwa. Yawancin lokaci, ana yin gwajin A/B ta hanya mai zuwa:
- An raba bayanan kai tsaye ko na ainihi zuwa saiti biyu, Saitin A da Saitin B.
- Ana aika bayanan saitin A zuwa samfurin da ya gabata, yayin da ake aika bayanan Saitin B zuwa samfurin da aka sabunta.
- Dangane da shari'ar amfani da kasuwanci ko matakai, ana iya amfani da hanyoyin ƙididdiga da yawa don kimanta aikin ƙirar (misali, daidaito, daidaito, da sauransu) don sanin ko sabon ƙirar (samfurin B) ya fi tsohuwar ƙirar (samfurin A).
- Sai mu yi gwajin hasashe na ƙididdiga: Hasashen da ba shi da tushe ya ce sabon ƙirar ba shi da wani tasiri akan matsakaicin ƙimar alamun kasuwancin da ake sa ido. Dangane da madadin hasashe, sabon samfurin yana ƙara matsakaicin ƙimar alamun kasuwancin sa ido.
- A ƙarshe, muna tantance idan sabon samfurin ya haifar da gagarumin ci gaba a wasu KPI na kasuwanci.
Gwajin inuwa ko mataki: Ana kimanta samfurin a cikin kwafin yanayin samarwa kafin a yi amfani da shi wajen samarwa (yanayin tsarawa).
Wannan yana da mahimmanci don ƙayyade aikin ƙirar tare da bayanan ainihin lokaci da kuma tabbatar da juriyar ƙirar. Ana aiwatar da shi ta hanyar ƙaddamar da bayanai iri ɗaya kamar bututun samarwa da kuma isar da reshe da aka haɓaka ko samfurin da za a gwada akan sabar mai sa ido.
Babban koma baya shi ne cewa ba za a yi zaɓin kasuwanci a kan uwar garken tsarawa ko bayyane ga masu amfani ba sakamakon reshen ci gaba.
Za a yi la'akari da juriya da aikin ƙirar ƙididdiga ta amfani da sakamakon yanayin tsarawa ta amfani da ma'auni masu dacewa.
11. Menene ya bambanta sarrafa rafi da sarrafa batch?
Za mu iya sarrafa halayen da muke amfani da su don samar da hasashen ainihin lokacinmu ta amfani da hanyoyin sarrafawa guda biyu: tsari da rafi.
Tsarin tsari fasalulluka daga wani wuri na gaba don wani takamaiman abu, wanda aka yi amfani da shi don haifar da tsinkaya na ainihi.
- Anan, muna iya yin ƙididdige ƙididdiga na fasali a kan layi kuma muna da bayanan da aka shirya don saurin fahimta.
- Siffofin, duk da haka, shekaru tun lokacin da aka ƙaddara su a baya. Wannan na iya zama babban koma baya idan hasashen ku ya dogara ne akan abubuwan da suka faru kwanan nan. (Misali, gano ma'amaloli na yaudara da zaran ya yiwu.)
Tare da kusan ainihin lokaci, fasalin yawo don takamaiman mahalli, ana aiwatar da ƙaddamarwa a cikin sarrafa rafi akan wani sashe na bayanai.
- Anan, ta hanyar ba da samfurin ainihin-lokaci, fasalin yawo, za mu iya samun ƙarin ingantattun tsinkaya.
- Koyaya, ana buƙatar ƙarin kayan aikin don sarrafa rafi da kuma kula da rafukan bayanai (Kafka, Kinesis, da sauransu). (Apache Flink, Beam, da dai sauransu)
12. Me kuke nufi da Horon Hidimar Skew?
Bambance-bambancen tsakanin aiki lokacin yin hidima da aiki a lokacin horo an san shi da skew mai hidimar horo. Wannan skew na iya haifar da abubuwa masu zuwa:
- Bambanci a yadda kuke sarrafa bayanai tsakanin bututun don hidima da horo.
- Canji a cikin bayanai daga horon ku zuwa sabis ɗin ku.
- Tashar martani tsakanin algorithm ɗinku da ƙirar ku.
13. Me kuke nufi da Model Registry?
Rijista Model babban ma'ajiya ce inda masu ƙirƙira ƙira za su iya buga ƙira waɗanda suka dace da amfani wajen samarwa.
Masu haɓakawa za su iya haɗa kai tare da wasu ƙungiyoyi da masu ruwa da tsaki don gudanar da rayuwar duk samfuran da ke cikin kasuwancin ta amfani da rajista. Ana iya loda samfuran da aka horar da su zuwa wurin rajistar samfurin ta masanin kimiyyar bayanai.
An shirya samfuran don gwaji, tabbatarwa, da turawa zuwa samarwa da zarar sun kasance cikin rajista. Bugu da ƙari, ana adana samfuran horarwa a cikin rajistar samfuri don samun dama ga sauri ta kowane haɗaɗɗiyar aikace-aikace ko sabis.
Don gwadawa, kimantawa, da tura samfurin don samarwa, masu haɓaka software kuma masu bita za su iya gane da sauri kuma su zaɓi mafi kyawun sigar ƙirar da aka horar (bisa ma'aunin ƙima).
14. Za ku iya yin ƙarin bayani kan fa'idodin Rijista na Model?
Waɗannan su ne wasu hanyoyin da ke yin rajistar ƙirar ƙirar ƙirar sarrafa zagayowar rayuwa:
- Don yin aiki cikin sauƙi, adana buƙatun lokacin aiki da metadata don ƙirar ku da aka horar.
- Samfuran da aka horar da ku, waɗanda aka tura, da waɗanda suka yi ritaya yakamata a yi rajista, bin diddigin su, da sigar su a cikin ma'ajin da aka keɓe, wanda za'a iya nema.
- Ƙirƙirar bututun mai sarrafa kansa wanda ke ba da damar ci gaba da bayarwa, horo, da haɗa nau'in ƙirar ku.
- Kwatanta sabbin ƙwararrun ƙira (ko ƙirar ƙalubalen) a cikin yanayin tsarawa zuwa ƙirar da ke aiki a halin yanzu a samarwa (samfurin zakara).
15. Za ku iya bayyana dabarun Champion-Challenger yana aiki?
Yana yiwuwa a gwada shawarwarin aiki iri-iri a cikin samarwa ta amfani da dabarar Challenger Champion. Wataƙila kun ji labarin gwajin A/B a cikin mahallin talla.
Misali, zaku iya rubuta layukan jigo guda biyu daban kuma ku rarraba su bazuwar zuwa ga alƙaluman alƙaluman da kuke niyya don haɓaka buɗaɗɗen ƙimar kamfen imel.
Tsarin yana yin rikodin ayyukan imel (watau aikin buɗe imel) dangane da layin batunsa, yana ba ku damar kwatanta ƙimar buɗe kowane layi don sanin wanda ya fi tasiri.
Champion-Challenger yana kwatankwacin gwajin A/B dangane da wannan. Kuna iya amfani da dabarun yanke shawara don kimanta kowane sakamako kuma zaɓi mafi inganci yayin da kuke gwaji tare da hanyoyi daban-daban don zuwa zaɓi.
Samfurin da ya fi nasara yana da alaƙa da zakara. Wanda ya kalubalanci na farko da jerin masu kalubalantar yanzu duk abin da ke cikin kashi na farko na kisa maimakon zakara.
An zaɓi zakara ta tsarin don ƙarin aiwatar da matakin aiwatar da aikin.
An bambanta masu hamayya da juna. Sabon zakaran sai ya zama abokin hamayya wanda ya ba da sakamako mafi girma.
Ayyukan da ke cikin tsarin kwatanta zakara-kalubalanci an jera su a ƙasa daki-daki:
- Kimanta kowane samfurin kishiya.
- Kimanta maki na karshe.
- Kwatanta sakamakon kimantawa don kafa ƙalubale mai nasara.
- Ƙara sabon zakara zuwa rumbun adana bayanai
16. Bayyana aikace-aikacen matakin kasuwanci na zagayen rayuwa na MLOps?
Muna buƙatar dakatar da yin la'akari da koyan na'ura a matsayin gwaji na maimaitawa kawai don ƙirar koyon injin su shiga samarwa. MLOps shine ƙungiyar injiniyan software tare da koyon injin.
Ya kamata a yi tunanin sakamakon da aka gama kamar haka. Don haka, dole ne a gwada lambar samfurin fasaha, mai aiki, da na zamani.
MLOps yana da tsawon rayuwa wanda yayi kwatankwacin kwatankwacin kwararar koyan inji na al'ada, ban da cewa ana kiyaye samfurin a cikin tsari har zuwa samarwa.
Injiniyoyin MLOps sannan su sanya ido kan wannan don tabbatar da ingancin samfurin a samarwa shine abin da ake nufi.
Anan akwai wasu lokuta masu amfani don yawancin fasahohin MLOps:
- Model Registries: Shi ne abin da ya bayyana. Manyan ƙungiyoyi suna adanawa da kula da tsarin sigar a cikin rajistar ƙira. Ko da komawa ga sigar da ta gabata zaɓi ne.
- Shagon Siffar: Lokacin da ake mu'amala da manyan saitin bayanai, za'a iya samun nau'ikan nau'ikan bayanan kididdiga da juzu'i don takamaiman ayyuka. Shagon sifa mai yankewa ne, kyakkyawar hanya don amfani da aikin shirya bayanai daga abubuwan da aka yi a baya ko daga wasu ƙungiyoyi kuma.
- Stores don Metadata: Yana da mahimmanci don saka idanu akan metadata daidai a duk lokacin samarwa idan bayanan da ba a tsara su ba, kamar bayanan hoto da bayanan rubutu, za a yi amfani da su cikin nasara.
Kammalawa
Yana da mahimmanci a tuna cewa, a mafi yawan lokuta, mai tambayoyin yana neman tsari, yayin da dan takarar yana neman mafita.
Na farko ya dogara ne akan ƙwarewar fasahar ku, yayin da na biyu kuma ya shafi hanyar da kuke amfani da ita don nuna ƙwarewar ku.
Akwai hanyoyi da yawa da ya kamata ku bi yayin amsa tambayoyin tambayoyin MLOps don taimakawa mai tambayoyin ya fi fahimtar yadda kuke da niyyar tantancewa da magance matsalar da ke hannunku.
Hankalin su ya fi kan abin da ba daidai ba fiye da wanda ya dace. Magani yana ba da labari, kuma tsarin ku shine mafi kyawun kwatancen ilimin ku da iyawar ku don sadarwa.
Leave a Reply