ကမ္ဘာလုံးဆိုင်ရာ ကဏ္ဍအများအပြားသည် စက်သင်ယူမှု (ML) တွင် သိသိသာသာ ရင်းနှီးမြှုပ်နှံရန် စတင်လာကြသည်။
ML မော်ဒယ်များကို ကျွမ်းကျင်ပညာရှင်များအဖွဲ့များက အစပိုင်းတွင် စတင်လုပ်ဆောင်နိုင်ပြီး လုပ်ဆောင်နိုင်သော်လည်း အကြီးမားဆုံးအတားအဆီးတစ်ခုမှာ ရရှိလာသောအသိပညာကို နောက်မော်ဒယ်သို့ လွှဲပြောင်းပေးခြင်းဖြစ်ပြီး လုပ်ငန်းစဉ်များကို ချဲ့ထွင်နိုင်စေရန်ဖြစ်သည်။
မော်ဒယ်ဘဝစက်ဝန်းစီမံခန့်ခွဲမှုတွင်ပါ၀င်သော လုပ်ငန်းစဉ်များကို မြှင့်တင်ရန်နှင့် စံချိန်စံညွှန်းသတ်မှတ်ရန်၊ MLOps နည်းပညာများကို စက်သင်ယူမှုပုံစံများကို ဖန်တီးသည့်အဖွဲ့များမှ ပိုမိုအသုံးပြုလာကြသည်။
ယနေ့ရရှိနိုင်သည့် အကောင်းဆုံး MLOps ကိရိယာများနှင့် ပလက်ဖောင်းအချို့အကြောင်းနှင့် ၎င်းတို့သည် စက်ကိရိယာ၊ ဆော့ဖ်ဝဲရေးသားသူနှင့် လုပ်ထုံးလုပ်နည်းဆိုင်ရာ ရှုထောင့်မှ မည်သို့ပိုမိုလွယ်ကူအောင် ပြုလုပ်နိုင်ပုံကို ဆက်လက်ရှာဖွေရန် ဆက်လက်ဖတ်ရှုပါ။
MLOps ဆိုတာဘာလဲ။
စက်သင်ယူမှုမော်ဒယ်များအတွက် မူဝါဒများ၊ စံနှုန်းများနှင့် အကောင်းဆုံးအလေ့အကျင့်များ ဖန်တီးခြင်းအတွက် နည်းပညာကို "machine learning operations" သို့မဟုတ် "MLOps" ဟုခေါ်သည်။
MLOps သည် ML ဖွံ့ဖြိုးတိုးတက်မှု၏ ဘဝသံသရာတစ်ခုလုံး—သန္ဓေတည်ချိန်မှ အသုံးချခြင်းအထိ — မဟာဗျူဟာမရှိဘဲ အချိန်နှင့် အရင်းအမြစ်များစွာကို ရင်းနှီးမြှုပ်နှံခြင်းထက် အကောင်းဆုံးရလဒ်များရရှိရန် စေ့စေ့စပ်စပ် မှတ်တမ်းတင်ပြီး စီမံခန့်ခွဲပါသည်။
MLOps ၏ ရည်မှန်းချက်မှာ ML အော်ပရေတာများနှင့် ဆော့ဖ်ဝဲရေးသားသူများအတွက် စက်သင်ယူမှု ဖွံ့ဖြိုးတိုးတက်မှုကို ပိုမိုချဲ့ထွင်နိုင်စေသည့် နည်းလမ်းဖြင့် အကောင်းဆုံးအလေ့အကျင့်များကို ပေါင်းစပ်ပြင်ဆင်ရန်နှင့် ML မော်ဒယ်များ၏ အရည်အသွေးနှင့် လုံခြုံရေးကို မြှင့်တင်ရန်ဖြစ်သည်။
အချို့က ၎င်းသည် DevOps စည်းမျဉ်းများကို နည်းပညာဆိုင်ရာ ဖွံ့ဖြိုးတိုးတက်မှုဆိုင်ရာ အထူးပြုနယ်ပယ်တစ်ခုတွင် အောင်မြင်စွာအသုံးချနိုင်သောကြောင့် အချို့က MLOps အား "စက်သင်ယူမှုအတွက် DevOps" အဖြစ် ရည်ညွှန်းကြသည်။
၎င်းသည် DevOps ကဲ့သို့ အသိပညာမျှဝေခြင်း၊ ပူးပေါင်းဆောင်ရွက်ခြင်းနှင့် အဖွဲ့များနှင့် ကိရိယာများအကြား အကောင်းဆုံးအလေ့အကျင့်များကို အလေးပေးသောကြောင့် MLOps အကြောင်း စဉ်းစားရန် အသုံးဝင်သောနည်းလမ်းတစ်ခုဖြစ်သည်။
MLOps သည် ဆော့ဖ်ဝဲအင်ဂျင်နီယာများ၊ ဒေတာသိပ္ပံပညာရှင်များနှင့် လုပ်ငန်းဆောင်ရွက်မှုအဖွဲ့များကို ပူးပေါင်းဆောင်ရွက်ရန်အတွက် မူဘောင်တစ်ခုပေးကာ ရလဒ်အနေဖြင့် အစွမ်းထက်ဆုံး ML မော်ဒယ်များကို ထုတ်လုပ်ပေးပါသည်။
ဘာကြောင့် MLOps Tools ကိုသုံးတာလဲ။
MLOps ကိရိယာများသည် ML အဖွဲ့အတွက် ကျယ်ပြန့်သော တာဝန်များကို လုပ်ဆောင်နိုင်သော်လည်း ၎င်းတို့ကို အုပ်စုနှစ်စုအဖြစ် မကြာခဏ ခွဲထုတ်ကြသည်- ပလက်ဖောင်း စီမံခန့်ခွဲရေးနှင့် တစ်ဦးချင်း အစိတ်အပိုင်း စီမံခန့်ခွဲမှု။
အချို့သော MLOps ထုတ်ကုန်များသည် ဒေတာ သို့မဟုတ် မက်တာဒေတာစီမံခန့်ခွဲမှုကဲ့သို့ ပင်မလုပ်ဆောင်ချက်တစ်ခုတည်းကိုသာ အာရုံစိုက်နေသော်လည်း အခြားကိရိယာများသည် ပိုမိုပြည့်စုံသောဗျူဟာကို လက်ခံကျင့်သုံးကြပြီး ML ဘဝသံသရာ၏ ရှုထောင့်များစွာကို ထိန်းချုပ်ရန် MLOps ပလပ်ဖောင်းကို ပံ့ပိုးပေးပါသည်။
ကျွမ်းကျင်သူတစ်ဦး သို့မဟုတ် ပိုမိုကျယ်ပြန့်သောကိရိယာကို သင်ရှာဖွေနေသည်ဖြစ်စေ ဤ ML ဖွံ့ဖြိုးတိုးတက်မှုနယ်ပယ်များကို စီမံခန့်ခွဲရာတွင် သင့်အဖွဲ့အား ကူညီပေးသည့် MLOps ဖြေရှင်းချက်များအား ရှာဖွေပါ-
- ဒေတာကိုင်တွယ်ခြင်း။
- ဒီဇိုင်းနှင့် မော်ဒယ်
- ပရောဂျက်များနှင့် လုပ်ငန်းခွင်စီမံခန့်ခွဲမှု
- ML မော်ဒယ်ကို ဖြန့်ကျက်ခြင်းနှင့် စဉ်ဆက်မပြတ် ထိန်းသိမ်းခြင်း။
- ပုံမှန်အားဖြင့် ဝန်ဆောင်မှုအပြည့်ရှိသော MLOps ပလပ်ဖောင်းများမှ ပေးဆောင်သည့် အစမှအဆုံး ဘဝလည်ပတ်မှုစီမံခန့်ခွဲမှု။
MLOps ကိရိယာများ
1. MLFlow
စက်သင်ယူမှုဘဝစက်ဝန်းအား ပွင့်လင်းအရင်းအမြစ်ပလပ်ဖောင်း MLflow မှ ထိန်းချုပ်ထားပြီး ဗဟိုမော်ဒယ်မှတ်ပုံတင်ခြင်း၊ အသုံးချခြင်းနှင့် စမ်းသပ်ခြင်းများ ပါဝင်သည်။
MLflow ကို မည်သည် အရွယ်အစား အဖွဲ့မှမဆို တစ်ဦးချင်းနှင့် စုပေါင်း၍ သုံးနိုင်သည်။ စာကြည့်တိုက်များသည် ကိရိယာပေါ်တွင် သက်ရောက်မှုမရှိပါ။
မည်သည့် programming language နှင့် machine learning library မဆို ၎င်းကို အသုံးပြုနိုင်သည်။
စက်သင်ယူမှုအပလီကေးရှင်းများကို လေ့ကျင့်ရန်၊ အသုံးပြုရန်နှင့် စီမံခန့်ခွဲရန် ပိုမိုလွယ်ကူစေရန် MLFlow သည် အပါအဝင် စက်သင်ယူမှုဘောင်များစွာနှင့် အပြန်အလှန်အကျိုးသက်ရောက်သည်။ TensorFlow နှင့် Pytorg
ထို့အပြင်၊ MLflow သည် ရှိပြီးသား စက်သင်ယူမှုပရိုဂရမ်များ သို့မဟုတ် စာကြည့်တိုက်များတွင် ထည့်သွင်းနိုင်သော အသုံးပြုရလွယ်ကူသော API များကို ပံ့ပိုးပေးပါသည်။
MLflow တွင် ခြေရာခံခြင်းနှင့် လက်တွေ့စမ်းသပ်မှုများကို လွယ်ကူချောမွေ့စေမည့် အဓိကအင်္ဂါရပ်လေးခု ရှိသည်။
- MLflow ခြေရာခံခြင်း - စက်သင်ယူမှုကုဒ် ကန့်သတ်ချက်များ၊ ဗားရှင်းများ၊ မက်ထရစ်များနှင့် ရှေးဟောင်းပစ္စည်းများကို မှတ်တမ်းတင်ခြင်းအတွက် API နှင့် UI တစ်ခုအပြင် ရလဒ်များကို ပြသခြင်းနှင့် ဆန့်ကျင်ဘက်ပြုလုပ်ခြင်းတို့အတွက်
- MLflow ပရောဂျက်များ - အခြားဒေတာသိပ္ပံပညာရှင်များနှင့် ထုတ်လုပ်ခြင်းသို့ လွှဲပြောင်းခြင်း သို့မဟုတ် မျှဝေခြင်းအတွက် ပြန်သုံးနိုင်သော၊ ပြန်လည်ထုတ်လုပ်နိုင်သော ဖော်မတ်ဖြင့်ထုပ်ပိုးခြင်းစက်သင်ယူခြင်းကုဒ်
- MLflow မော်ဒယ်များ - ML စာကြည့်တိုက်အမျိုးမျိုးမှ မော်ဒယ်ဝန်ဆောင်မှုပေးသည့် စံနမူနာနှင့် အနုမာနစနစ်များဆီသို့ မော်ဒယ်များကို ထိန်းသိမ်းခြင်းနှင့် အသုံးချခြင်း
- MLflow Model Registry – မော်ဒယ်ဗားရှင်း၊ အဆင့်အကူးအပြောင်းများနှင့် မှတ်ချက်များအပါအဝင် MLflow မော်ဒယ်၏ သက်တမ်းတစ်ခုလုံးကို ပူးပေါင်းစီမံခန့်ခွဲနိုင်စေသည့် ဗဟိုမော်ဒယ်စတိုးဆိုင်တစ်ခု။
2. ကွမ်းခြံကုန်း
Kubernetes အတွက် ML toolbox ကို Kubeflow ဟုခေါ်သည်။ ထုပ်ပိုးခြင်းနှင့် Docker ကွန်တိန်နာများကို စီမံခန့်ခွဲခြင်း၊ ပြုပြင်ထိန်းသိမ်းခြင်းအတွက် အထောက်အကူဖြစ်စေသည်။ စက်သင်ယူမှုစနစ်များ.
စက်လည်ပတ်မှုပုံစံများကို ရိုးရှင်းစေပြီး စက်သင်ယူမှုလုပ်ငန်းအသွားအလာများကို အသုံးချခြင်းဖြင့်၊ ၎င်းသည် စက်သင်ယူမှုပုံစံများ၏ အရွယ်အစားကို မြှင့်တင်ပေးသည်။
၎င်းသည် မတူညီသော ML လိုအပ်ချက်များအတွက် ဂရုတစိုက်ရွေးချယ်ထားသော ဖြည့်စွက်ကိရိယာများနှင့် မူဘောင်များပါဝင်သည့် open-source ပရောဂျက်တစ်ခုဖြစ်သည်။
ရှည်လျားသော ML လေ့ကျင့်ရေးတာဝန်များ၊ ကိုယ်တိုင်စမ်းသပ်မှု၊ ထပ်တလဲလဲလုပ်ဆောင်နိုင်မှုနှင့် DevOps စိန်ခေါ်မှုများကို Kubeflow Pipelines ဖြင့် ကိုင်တွယ်နိုင်ပါသည်။
လေ့ကျင့်မှု၊ ပိုက်လိုင်းတည်ဆောက်မှုနှင့် ပြုပြင်ထိန်းသိမ်းမှုအပါအဝင် စက်သင်ယူမှုအဆင့်များစွာအတွက် Jupyter မှတ်စုစာအုပ်များKubeflow သည် အထူးပြုဝန်ဆောင်မှုများနှင့် ပေါင်းစပ်မှုကို ပေးဆောင်သည်။
၎င်းသည် သင်၏ AI အလုပ်တာဝန်များ၏ သက်တမ်းတစ်လျှောက် စီမံခန့်ခွဲခြင်းနှင့် ခြေရာခံခြင်းအပြင် စက်သင်ယူခြင်း (ML) မော်ဒယ်များနှင့် Kubernetes အစုအဝေးများသို့ ဒေတာပိုက်လိုင်းများကို အသုံးပြုရန် ရိုးရှင်းစေသည်။
ကမ်းလှမ်းသည်
- စနစ်နှင့် အပြန်အလှန်တုံ့ပြန်ရန်အတွက် SDK ကို အသုံးပြုရန်အတွက် မှတ်စုစာအုပ်များ
- လည်ပတ်မှုများ၊ အလုပ်များနှင့် စမ်းသပ်မှုများကို ထိန်းချုပ်ရန်နှင့် စောင့်ကြည့်ရန်အတွက် အသုံးပြုသူ အင်တာဖေ့စ် (UI)
- အကြိမ်တိုင်း ပြန်လည်တည်ဆောက်ရန်မလိုဘဲ အဆုံးမှအဆုံးဖြေရှင်းချက်များကို လျင်မြန်စွာဒီဇိုင်းထုတ်ရန်နှင့် အစိတ်အပိုင်းများနှင့် ပိုက်လိုင်းများကို ပြန်လည်အသုံးပြုရန်။
- Kubeflow ၏ အဓိကအစိတ်အပိုင်းတစ်ခုအဖြစ် သို့မဟုတ် သီးခြားတပ်ဆင်မှုတစ်ခုအနေဖြင့် Kubeflow Pipelines ကို ကမ်းလှမ်းထားသည်။
3. ဒေတာဗားရှင်းထိန်းချုပ်မှု
စက်သင်ယူမှုပရောဂျက်များအတွက် ပွင့်လင်းအရင်းအမြစ်ဗားရှင်းထိန်းချုပ်မှုဖြေရှင်းချက်အား DVC သို့မဟုတ် ဒေတာဗားရှင်းထိန်းချုပ်မှုဟုခေါ်သည်။
သင်မည်သည့်ဘာသာစကားကိုမဆို ရွေးချယ်ပါ၊ ၎င်းသည် ပိုက်လိုင်းအဓိပ္ပါယ်ဖွင့်ဆိုချက်ကို အထောက်အကူဖြစ်စေသော စမ်းသပ်ကိရိယာတစ်ခုဖြစ်သည်။
DVC သည် သင့် ML မော်ဒယ်၏ အစောပိုင်းဗားရှင်းနှင့် ပြဿနာတစ်ခုကို တွေ့ရှိသောအခါ အချိန်ကုန်သက်သာစေရန် ကုဒ်၊ ဒေတာဗားရှင်းထုတ်ခြင်းနှင့် ပြန်လည်ထုတ်လုပ်ခြင်းတို့ကို အသုံးပြုသည်။
ထို့အပြင်၊ သင်သည် သင်၏ မော်ဒယ်ကို လေ့ကျင့်ရန်နှင့် သင့်အဖွဲ့၀င်များထံ ဖြန့်ဝေရန် DVC ပိုက်လိုင်းများကို အသုံးပြုနိုင်သည်။ ကြီးမားသောဒေတာအဖွဲ့အစည်းနှင့် ဗားရှင်းထုတ်လုပ်ခြင်းကို DVC က ကိုင်တွယ်နိုင်ပြီး ဒေတာကို အလွယ်တကူရနိုင်သောနည်းလမ်းဖြင့် သိမ်းဆည်းထားနိုင်သည်။
၎င်းတွင် အချို့သော (အကန့်အသတ်) စမ်းသပ်ခြေရာခံခြင်းအင်္ဂါရပ်များ ပါဝင်သော်လည်း၊ ၎င်းသည် ဒေတာနှင့် ပိုက်လိုင်းဗားရှင်းနှင့် စီမံခန့်ခွဲမှုတို့ကို အဓိကထားလုပ်ဆောင်ပါသည်။
ကမ်းလှမ်းသည်
- ၎င်းသည် သိမ်းဆည်းခြင်းမှ ကင်းစင်သောကြောင့် သိုလှောင်မှု အမျိုးအစား အမျိုးမျိုးကို အသုံးပြုရန် ဖြစ်နိုင်သည်။
- ၎င်းသည် ခြေရာခံခြင်း ကိန်းဂဏာန်းများကိုလည်း ပေးဆောင်သည်။
- DAG ထဲသို့ ML အဆင့်များပါ၀င်ပြီး ပိုက်လိုင်းတစ်ခုလုံးကို အစမှအဆုံးအထိ လုပ်ဆောင်ခြင်းအတွက် ကြိုတင်တည်ဆောက်ထားသည့်နည်းလမ်း
- ML မော်ဒယ်တစ်ခုစီ၏ ဖွံ့ဖြိုးတိုးတက်မှုတစ်ခုလုံးကို ၎င်း၏ကုဒ်တစ်ခုလုံးနှင့် ဒေတာသက်သေကို အသုံးပြု၍ လိုက်နာနိုင်သည်။
- စမ်းသပ်မှုတစ်ခုအတွက် ကနဦးဖွဲ့စည်းပုံ၊ ထည့်သွင်းမှုဒေတာနှင့် ပရိုဂရမ်ကုဒ်တို့ကို သစ္စာရှိရှိထိန်းသိမ်းခြင်းဖြင့် ပြန်လည်ထုတ်လုပ်ခြင်း
4. Pachyderm
Pachyderm သည် DVC ကဲ့သို့ စက်သင်ယူမှုနှင့် ဒေတာသိပ္ပံအတွက် ဗားရှင်းထိန်းချုပ်မှုပရိုဂရမ်တစ်ခုဖြစ်သည်။
ထို့ အပြင် ၎င်းကို အသုံးပြု၍ ဖန်တီးခဲ့ခြင်း ဖြစ်သည်။ Docker နှင့် Kubernetes၊ ၎င်းသည် မည်သည့် cloud platform တွင်မဆို Machine Learning အပလီကေးရှင်းများကို လုပ်ဆောင်နိုင်ပြီး အသုံးချနိုင်သည်။
Pachyderm သည် machine learning model တစ်ခုစီတွင် အသုံးပြုသည့် ဒေတာအပိုင်းတစ်ခုစီကို ပြန်လည်ခြေရာခံပြီး ဗားရှင်းပြုလုပ်နိုင်ကြောင်း အာမခံပါသည်။
၎င်းကို ဖန်တီးရန်၊ ဖြန့်ဝေရန်၊ စီမံခန့်ခွဲရန်နှင့် စက်သင်ယူမှုပုံစံများကို စောင့်ကြည့်ရန် အသုံးပြုသည်။ မော်ဒယ်မှတ်ပုံတင်ခြင်း၊ မော်ဒယ်စီမံခန့်ခွဲမှုစနစ်နှင့် CLI ကိရိယာပုံးတို့ ပါဝင်ပါသည်။
Developer များသည် Pachyderm ၏ဒေတာအခြေခံကို အသုံးပြု၍ ၎င်းတို့၏ စက်သင်ယူမှုဘဝစက်ဝိုင်းကို အလိုအလျောက်ချဲ့ထွင်နိုင်ပြီး ထပ်ခါတလဲလဲလုပ်ဆောင်နိုင်မှုကိုသေချာစေသည်။
၎င်းသည် တင်းကြပ်သော ဒေတာအုပ်ချုပ်မှုစံနှုန်းများကို ပံ့ပိုးပေးကာ၊ ဒေတာလုပ်ဆောင်ခြင်းနှင့် သိုလှောင်မှုကုန်ကျစရိတ်များကို လျှော့ချပေးကာ စီးပွားရေးလုပ်ငန်းများ၏ ဒေတာသိပ္ပံဆိုင်ရာ အစပျိုးမှုများကို ဈေးကွက်သို့ ပိုမိုလျင်မြန်စွာ သယ်ဆောင်လာစေရန် ကူညီပေးပါသည်။
5. Polyaxon
Polyaxon ပလပ်ဖောင်းကို အသုံးပြု၍ စက်သင်ယူမှုပရောဂျက်များနှင့် နက်ရှိုင်းသောသင်ယူမှုအက်ပ်လီကေးရှင်းများကို ၎င်းတို့၏ဘဝစက်ဝန်းတစ်ခုလုံးတွင် ပုံတူပွားကာ စီမံခန့်ခွဲနိုင်သည်။
Polyaxon သည် ကိရိယာကို လက်ခံဆောင်ရွက်ပေးနိုင်ပြီး ဒေတာစင်တာ သို့မဟုတ် cloud ဝန်ဆောင်မှုပေးသူတိုင်းတွင် ထားရှိနိုင်ပါသည်။ လူကြိုက်အများဆုံး နက်နဲသောသင်ယူမှုဘောင်အားလုံးကို ပံ့ပိုးပေးသော Torch၊ Tensorflow နှင့် MXNet ကဲ့သို့သော။
တီးမှုတ်ခြင်းနှင့်ပတ်သက်လာလျှင် Polyaxon သည် ၎င်းတို့၏ CLI၊ ဒက်ရှ်ဘုတ်၊ SDK သို့မဟုတ် REST API မှတစ်ဆင့် လုပ်ဆောင်စရာများနှင့် စမ်းသပ်မှုများကို အချိန်ဇယားဆွဲခြင်းဖြင့် သင်၏အစုအဝေးကို အများဆုံးအသုံးချနိုင်စေပါသည်။
ကမ်းလှမ်းသည်
- သင်ယခုအချိန်တွင် open-source ဗားရှင်းကို သုံးနိုင်သော်လည်း ၎င်းတွင် ကော်ပိုရိတ်အတွက် ရွေးချယ်မှုများလည်း ပါဝင်သည်။
- ပြေးလွှားမှု အပါအဝင် ပြီးပြည့်စုံသော ဘဝသံသရာကို လွှမ်းခြုံထားသော်လည်း၊ ၎င်းသည် ပိုမိုလုပ်ဆောင်နိုင်စွမ်းရှိသည်။
- နည်းပညာဆိုင်ရာ အကိုးအကားစာရွက်စာတမ်းများ၊ စတင်ခြင်းလမ်းညွှန်ချက်များ၊ သင်ကြားရေးပစ္စည်းများ၊ လက်စွဲစာအုပ်များ၊ သင်ခန်းစာများ၊ ပြောင်းလဲမှုမှတ်တမ်းများနှင့် အခြားအရာများဖြင့်၊ ၎င်းသည် အလွန်ကောင်းမွန်စွာမှတ်တမ်းတင်ထားသော ပလပ်ဖောင်းတစ်ခုဖြစ်သည်။
- စမ်းသပ်မှုဆိုင်ရာ ထိုးထွင်းသိမြင်မှု ဒက်ရှ်ဘုတ်ဖြင့်၊ ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ထားသော စမ်းသပ်မှုတစ်ခုစီကို စောင့်ကြည့်၊ ခြေရာခံပြီး အကဲဖြတ်ရန် ဖြစ်နိုင်သည်။
6. ကြယ်တံခွန်
Comet သည် စမ်းသပ်မှုများနှင့် မော်ဒယ်များကို ခြေရာခံခြင်း၊ ဆန့်ကျင်ဘက်ပြုခြင်း၊ ရှင်းပြခြင်းနှင့် တိုးတက်ကောင်းမွန်စေသည့် meta machine learning အတွက် ပလပ်ဖောင်းတစ်ခုဖြစ်သည်။
သင့်စမ်းသပ်မှုအားလုံးကို တစ်နေရာတည်းတွင် တွေ့မြင်နိုင်ပြီး နှိုင်းယှဉ်နိုင်ပါသည်။
၎င်းသည် မည်သည့်စက်သင်ယူမှုလုပ်ငန်း၊ သင့်ကုဒ်ကိုလုပ်ဆောင်သည်နှင့်မဆို စက်သင်ယူမှုဒစ်ဂျစ်တိုက်ဖြင့် လုပ်ဆောင်နိုင်သည်။
ကြယ်တံခွန်သည် အုပ်စုများ၊ လူပုဂ္ဂိုလ်များ၊ ပညာရပ်ဆိုင်ရာအဖွဲ့အစည်းများ၊ စီးပွားရေးလုပ်ငန်းများနှင့် စမ်းသပ်မှုများကို လျင်မြန်စွာမြင်ယောင်နိုင်စေရန်၊ အလုပ်ကို ချောမွေ့စေပြီး စမ်းသပ်မှုများပြုလုပ်လိုသော အခြားမည်သူမဆိုအတွက် သင့်လျော်ပါသည်။
ဒေတာသိပ္ပံပညာရှင်များနှင့် အဖွဲ့များသည် ကိုယ်တိုင်လက်ခံဆောင်ရွက်ပေးပြီး cloud-based meta-machine သင်ယူမှုပလပ်ဖောင်း Comet ကို အသုံးပြု၍ စမ်းသပ်မှုများနှင့် မော်ဒယ်များကို ခြေရာခံခြင်း၊ ရှင်းလင်းခြင်း၊ မြှင့်တင်ခြင်းနှင့် နှိုင်းယှဉ်နိုင်သည်။
ကမ်းလှမ်းသည်
- အဖွဲ့သားများအတွက် အလုပ်များကို မျှဝေရန် စွမ်းရည်များစွာရှိသည်။
- ၎င်းတွင် အခြားနည်းပညာများနှင့် ချိတ်ဆက်ရန် လွယ်ကူစေသော ပေါင်းစပ်မှုများ အများအပြားပါရှိသည်။
- လက်ရှိ ML စာကြည့်တိုက်များနှင့် ကောင်းမွန်စွာ လုပ်ဆောင်နိုင်သည်။
- သုံးစွဲသူစီမံခန့်ခွဲမှုကို ဂရုစိုက်ပါ။
- ကုဒ်၊ ဟိုက်ပါပါရာမီတာများ၊ မက်ထရစ်များ၊ ခန့်မှန်းချက်များ၊ မှီခိုမှုနှင့် စနစ်မက်ထရစ်များကို နှိုင်းယှဉ်ခြင်း အပါအဝင် စမ်းသပ်မှုများ၏ နှိုင်းယှဉ်မှုကို ဖွင့်ထားသည်။
- နမူနာများကို မြင်ယောင်နိုင်စေမည့် အမြင်၊ အသံ၊ စာသားနှင့် ဇယားဒေတာများအတွက် ကွဲပြားသော မော်ဂျူးများကို ပံ့ပိုးပေးပါသည်။
7. Optuna
Optuna သည် စက်သင်ယူမှုနှင့် နက်ရှိုင်းသောသင်ယူမှုအပြင် အခြားနယ်ပယ်များတွင်ပါ အသုံးချနိုင်သည့် ကိုယ်ပိုင်အုပ်ချုပ်ခွင့်ရ hyperparameter ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းအတွက် စနစ်တစ်ခုဖြစ်သည်။
၎င်းတွင် သင်ရွေးချယ်နိုင်သော (သို့မဟုတ် လင့်ခ်) အမျိုးမျိုးရှိသည့် နောက်ဆုံးပေါ် အယ်လဂိုရီသမ်များပါရှိသည်၊ လေ့ကျင့်ရေးကွန်ပြူတာမြောက်မြားစွာကို ဖြန့်ဝေရန် အလွန်ရိုးရှင်းစေပြီး ဆွဲဆောင်မှုရှိသော ရလဒ်များကို မြင်ယောင်မှုပေးပါသည်။
PyTorch၊ TensorFlow၊ Keras၊ FastAI၊ sci-kit-learn၊ LightGBM နှင့် XGBoost ကဲ့သို့သော နာမည်ကြီး စက်သင်ယူမှု စာကြည့်တိုက်များကို ၎င်းနှင့် ပေါင်းစပ်ထားသည်။
၎င်းသည် ဖောက်သည်များအား အလားအလာမရှိသော နမူနာများကို လျင်မြန်စွာလျှော့ချခြင်းဖြင့် ရလဒ်များကို ပိုမိုလျင်မြန်စွာရနိုင်စေမည့် နောက်ဆုံးပေါ် algorithms များကို ပံ့ပိုးပေးပါသည်။
Python-based algorithms ကို အသုံးပြု၍ စံပြ hyperparameters များကို အလိုအလျောက် ရှာဖွေသည်။ Optuna သည် မူရင်းကုဒ်ကို မပြောင်းလဲဘဲ စာတွဲများစွာတွင် အပြိုင် hyperparameter ရှာဖွေမှုများကို အားပေးသည်။
ကမ်းလှမ်းသည်
- ၎င်းသည် အစုအဝေးတစ်ခုပေါ်တွင် ဖြန့်ဝေလေ့ကျင့်မှုကို ပံ့ပိုးပေးသည့်အပြင် ကွန်ပြူတာတစ်လုံးတည်း (multi-process) (multi-node)
- ၎င်းသည် convergence ကိုအရှိန်မြှင့်ရန် (နှင့်တွက်ချက်နည်းကိုသုံးပါ)
- ၎င်းတွင် အချပ်ကွက်၊ ကွန်တိုကွက်ကွက်နှင့် မျဉ်းပြိုင်သြဒိနိတ်များကဲ့သို့သော အစွမ်းထက်သော စိတ်ကူးပုံဖော်မှုများ အမျိုးမျိုးရှိသည်။
8. Kedro
Kedro သည် ဒေတာသိပ္ပံပရောဂျက်များအတွက် ကုဒ်ရေးသားခြင်းအတွက် အခမဲ့ Python framework တစ်ခုဖြစ်သည်။
၎င်းသည် ဆော့ဖ်ဝဲအင်ဂျင်နီယာတွင် အကောင်းဆုံးအလေ့အကျင့်များမှ စိတ်ကူးများကို စက်သင်ယူမှုကုဒ်သို့ ယူဆောင်လာသည်။ Python သည် ဤ workflow orchestration tool ၏ အခြေခံအုတ်မြစ်ဖြစ်သည်။
သင်၏ ML လုပ်ငန်းစဉ်များကို ပိုမိုရိုးရှင်းပြီး တိကျစေရန်၊ ပြန်လည်ထုတ်လုပ်နိုင်သော၊ ထိန်းသိမ်းနိုင်သော၊ နှင့် မော်ဂျူလာလုပ်ငန်းအသွားအလာများကို ပြုစုပျိုးထောင်နိုင်ပါသည်။
Kedro သည် မော်ဂျူလာစနစ်၊ တာဝန်များကို ခွဲထုတ်ခြင်းနှင့် စက်သင်ယူမှုပတ်ဝန်းကျင်တွင် ဗားရှင်းထည့်သွင်းခြင်းကဲ့သို့သော ဆော့ဖ်ဝဲအင်ဂျင်နီယာဆိုင်ရာ အခြေခံမူများကို ပေါင်းစပ်ထားသည်။
Cookiecutter Data Science ကို အခြေခံ၍ ၎င်းသည် အများအားဖြင့် လိုက်လျောညီထွေ လိုက်လျောညီထွေရှိသော ပရောဂျက်မူဘောင်ကို ပံ့ပိုးပေးပါသည်။
ဖိုင်စနစ်များစွာနှင့် ဖိုင်ဖော်မတ်များတစ်လျှောက် ဒေတာများကို သိမ်းဆည်းရန်နှင့် သယ်ဆောင်ရန်အသုံးပြုသည့် ရိုးရှင်းသောဒေတာချိတ်ဆက်ကိရိယာများစွာကို ဒေတာကတ်တလောက်ဖြင့် စီမံခန့်ခွဲသည်။ ၎င်းသည် စက်သင်ယူမှုပရောဂျက်များကို ပိုမိုထိရောက်စေပြီး ဒေတာပိုက်လိုင်းတစ်ခုတည်ဆောက်ရန် ပိုမိုလွယ်ကူစေသည်။
ကမ်းလှမ်းသည်
- Kedro သည် လူစုခွဲခြင်း သို့မဟုတ် တစ်ယောက်တည်း စက်ဖြန့်ကျက်ခြင်းအတွက် ခွင့်ပြုသည်။
- ပိုက်လိုင်း abstraction ကို အသုံးပြု၍ Python ကုဒ်နှင့် အလုပ်အသွားအလာ မြင်ယောင်ခြင်းကြားတွင် မှီခိုမှုကို အလိုအလျောက်လုပ်ဆောင်နိုင်သည်။
- မော်ဂျူလာ၊ ပြန်သုံးနိုင်သော ကုဒ်ကို အသုံးပြုခြင်းဖြင့်၊ ဤနည်းပညာသည် အဆင့်အမျိုးမျိုးတွင် အဖွဲ့၏ပူးပေါင်းဆောင်ရွက်မှုကို လွယ်ကူချောမွေ့စေပြီး ကုဒ်ရေးပတ်ဝန်းကျင်တွင် ထုတ်လုပ်မှုစွမ်းရည်ကို တိုးတက်စေသည်။
- မူလရည်မှန်းချက်မှာ Jupyter မှတ်စုစာအုပ်များ၊ one-off scripts များနှင့်ကော်-ကုဒ်များကို ထိန်းသိမ်းနိုင်သော အချက်အလက်သိပ္ပံပရိုဂရမ်ရေးသားခြင်းဖြင့် ကျော်လွှားရန်ဖြစ်သည်။
9. BentoML
BentoML ဖြင့် စက်သင်ယူခြင်း API အဆုံးမှတ်များကို တည်ဆောက်ခြင်းသည် ပိုမိုလွယ်ကူစေသည်။
၎င်းသည် လေ့လာသင်ယူထားသော စက်သင်ယူမှုမော်ဒယ်များကို ထုတ်လုပ်မှုသို့ ရွှေ့ပြောင်းရန်အတွက် ပုံမှန်ဖြစ်သော်လည်း ပေါင်းစပ်ဖွဲ့စည်းပုံ အခြေခံအဆောက်အအုံကို ထောက်ပံ့ပေးသည်။
၎င်းသည် သင့်အား ML framework တစ်ခုခုကို အသုံးပြု၍ ထုတ်လုပ်မှုဆက်တင်တွင် အသုံးပြုရန်အတွက် သင်ယူထားသော မော်ဒယ်များကို ထုပ်ပိုးနိုင်စေပါသည်။ အော့ဖ်လိုင်းအသုတ်ဝန်ဆောင်မှုနှင့် အွန်လိုင်း API ဝန်ဆောင်မှုနှစ်ခုလုံးကို ပံ့ပိုးထားသည်။
စွမ်းဆောင်ရည်မြင့် မော်ဒယ်ဆာဗာနှင့် လိုက်လျောညီထွေရှိသော အလုပ်အသွားအလာများသည် BentoML ၏ အင်္ဂါရပ်များဖြစ်သည်။
ထို့အပြင်၊ ဆာဗာသည် adaptive micro-batching ကို ပေးဆောင်သည်။ မော်ဒယ်များ စုစည်းခြင်းနှင့် ဖြန့်ကျက်ခြင်းဆိုင်ရာ လုပ်ထုံးလုပ်နည်းများကို ခြေရာခံခြင်းအတွက် ပေါင်းစပ်ချဉ်းကပ်မှုကို UI ဒက်ရှ်ဘုတ်မှ ပံ့ပိုးပေးပါသည်။
လည်ပတ်မှုယန္တရားသည် မော်ဂျူလာဖြစ်ပြီး ဖွဲ့စည်းမှုအား ပြန်လည်အသုံးပြုနိုင်သောကြောင့် ဆာဗာစက်ရပ်နေမည်မဟုတ်ပါ။ ၎င်းသည် ML မော်ဒယ်များကို ပံ့ပိုးပေးခြင်း၊ စုစည်းခြင်းနှင့် အသုံးချခြင်းအတွက် ပြောင်းလွယ်ပြင်လွယ်ရှိသော ပလပ်ဖောင်းတစ်ခုဖြစ်သည်။
ကမ်းလှမ်းသည်
- ၎င်းတွင် လိုက်လျောညီထွေ လိုက်လျောညီထွေရှိသော မော်ဂျူလာ ဒီဇိုင်း ပါရှိသည်။
- ၎င်းသည် ပလပ်ဖောင်းများစွာတွင် ဖြန့်ကျက်မှုကို လုပ်ဆောင်နိုင်သည်။
- အလျားလိုက် အတိုင်းအတာကို အလိုအလျောက် မကိုင်တွယ်နိုင်ပါ။
- ၎င်းသည် မော်ဒယ်ဖော်မတ်တစ်ခုတည်း၊ မော်ဒယ်စီမံခန့်ခွဲမှု၊ မော်ဒယ်ထုပ်ပိုးမှုနှင့် စွမ်းဆောင်ရည်မြင့်မားသော မော်ဒယ်ကို ဝန်ဆောင်မှုပေးသည်။
10 ။ ဆဲလ်ဒန်
ဒေတာသိပ္ပံပညာရှင်များသည် open-source Seldon Core မူဘောင်ကို အသုံးပြု၍ Kubernetes တွင် စက်သင်ယူမှုပုံစံများနှင့် စမ်းသပ်မှုများကို အတိုင်းအတာတစ်ခုအတွင်း ဖန်တီး၊ အသုံးချကာ စီမံခန့်ခွဲနိုင်သည်။
TensorFlow၊ sci-kit-learn၊ Spark၊ R၊ Java နှင့် H2O တို့သည် ၎င်းကို ပံ့ပိုးပေးထားသော toolkits အနည်းငယ်မျှသာဖြစ်သည်။
၎င်းသည် Kubeflow နှင့် RedHat ၏ OpenShift တို့နှင့်လည်း ချိတ်ဆက်ထားသည်။ Seldon core သည် စက်သင်ယူမှုမော်ဒယ်များ (ML မော်ဒယ်များ) သို့မဟုတ် ဘာသာစကားထုပ်ပိုးခြင်း (Python၊ Java စသည်ဖြင့်) ကို ထုတ်လုပ်သည့် REST/GRPC microservices အဖြစ်သို့ ပြောင်းလဲပေးပါသည်။
စက်သင်ယူမှု လုပ်ငန်းစဉ်များ တိုးတက်ကောင်းမွန်စေရန်အတွက် အကောင်းဆုံး MLOps ကိရိယာများထဲမှ တစ်ခုသည် ဤတစ်ခုဖြစ်သည်။
Seldon Core ကို အသုံးပြု၍ ML မော်ဒယ်များကို သိမ်းဆည်းရန်နှင့် အသုံးပြုနိုင်စွမ်းနှင့် လုံခြုံရေးအတွက် စမ်းသပ်ရန် ရိုးရှင်းပါသည်။
ကမ်းလှမ်းသည်
- Canary deployment ကဲ့သို့သော အခြားရွေးချယ်စရာများစွာဖြင့် မော်ဒယ်ဖြန့်ကျက်မှုကို ပိုမိုလွယ်ကူအောင် ပြုလုပ်နိုင်သည်။
- တိကျသောခန့်မှန်းချက်များကို အဘယ်ကြောင့်ပြုလုပ်ထားကြောင်း နားလည်ရန် မော်ဒယ်ရှင်းပြချက်များကို အသုံးပြုပါ။
- ပြဿနာများ ပေါ်ပေါက်လာသောအခါ သတိပေးမှုစနစ်ကို အသုံးပြု၍ ထုတ်လုပ်သည့် မော်ဒယ်များကို စောင့်ကြည့်ပါ။
ကောက်ချက်
MLOps သည် စက်သင်ယူမှု လုပ်ဆောင်ချက်များကို ပိုမိုကောင်းမွန်စေရန် ကူညီပေးနိုင်ပါသည်။ MLOps များသည် ဖြန့်ကျက်မှုကို အရှိန်မြှင့်ပေးကာ ဒေတာစုဆောင်းခြင်းနှင့် အမှားရှာပြင်ခြင်းကို ပိုမိုလွယ်ကူစေပြီး အင်ဂျင်နီယာများနှင့် ဒေတာသိပ္ပံပညာရှင်များကြား ပူးပေါင်းဆောင်ရွက်မှုကို မြှင့်တင်ပေးနိုင်ပါသည်။
သင့်လိုအပ်ချက်များနှင့် အကိုက်ညီဆုံး MLOps ကိရိယာကို သင်ရွေးချယ်ရန်အတွက် ဤပို့စ်သည် လူကြိုက်များသော MLOps ဖြေရှင်းချက် 10 ခုကို စစ်ဆေးခဲ့ပြီး အများစုမှာ open-source များဖြစ်သည်။
တစ်ဦးစာပြန်ရန် Leave