ډیری نړیوال سکتورونه د ماشین زده کړې (ML) کې د پام وړ پانګوونې پیل کوي.
د ML ماډلونه په پیل کې د متخصصینو ټیمونو لخوا په لاره اچول کیدی شي او چلول کیدی شي ، مګر یو له لوی خنډونو څخه د ترلاسه شوي پوهې لیږد راتلونکي ماډل ته دی ترڅو پروسې پراخه شي.
د ماډل د ژوند دورې مدیریت کې دخیل پروسې ښه کولو او معیاري کولو لپاره ، د MLOps تخنیکونه په زیاتیدونکي ډول د ټیمونو لخوا کارول کیږي چې د ماشین زده کړې ماډلونه رامینځته کوي.
د نن ورځې د ځینې غوره MLOps وسیلو او پلیټ فارمونو په اړه د نورو معلوماتو موندلو لپاره لوستلو ته دوام ورکړئ او دا چې څنګه دوی کولی شي د وسیلې ، پراختیا کونکي ، او طرزالعمل لید څخه د ماشین زده کړه اسانه کړي.
MLOps څه شی دی؟
د ماشین زده کړې ماډلونو لپاره د پالیسیو، نورمونو، او غوره عملونو رامینځته کولو تخنیک د "ماشین زده کړې عملیات" یا "MLOps" په نوم پیژندل کیږي.
د MLOps موخه دا ده چې د ML پراختیا ټول ژوند دوره تضمین کړي - له تصور څخه تر ګمارلو پورې - په دقت سره مستند شوي او د غوره پایلو لپاره اداره کیږي پرته له دې چې د ستراتیژۍ پرته پدې کې ډیر وخت او سرچینې پانګونه وکړي.
د MLOps هدف دا دی چې غوره عملونه په داسې طریقه کوډ کړي چې د ماشین زده کړې پراختیا د ML آپریټرانو او پراختیا کونکو لپاره د اندازې وړ وړ کړي، او همدارنګه د ML ماډلونو کیفیت او امنیت ته وده ورکړي.
ځینې MLOps ته د "ماشین زده کړې لپاره DevOps" په توګه اشاره کوي ځکه چې دا په بریالیتوب سره د ټیکنالوژیکي پراختیا په ځانګړي ساحه کې د DevOps اصول پلي کوي.
دا د MLOps په اړه فکر کولو یوه ګټوره لاره ده ځکه چې د DevOps په څیر، دا د ټیمونو او وسیلو ترمنځ د پوهې شریکولو، همکارۍ، او غوره کړنو ټینګار کوي.
MLOps پراختیا ورکوونکي، د معلوماتو ساینس پوهانو، او عملیاتي ټیمونو ته د همکارۍ لپاره چوکاټ چمتو کوي او په پایله کې، خورا پیاوړي ML ماډلونه تولیدوي.
ولې د MLOps وسیلې وکاروئ؟
د MLOps وسیلې کولی شي د ML ټیم لپاره پراخه دندې ترسره کړي ، په هرصورت ، دوی ډیری وختونه په دوه ډلو ویشل شوي: د پلیټ فارم اداره او د انفرادي برخې مدیریت.
پداسې حال کې چې د MLOps ځینې محصولات یوازې په یو واحد اصلي فعالیت تمرکز کوي، لکه د ډاټا یا میټاډاټا مدیریت، نور وسیلې خورا پراخه ستراتیژي غوره کوي او د MLOps پلیټ فارم چمتو کوي ترڅو د ML ژوند دورې ډیری اړخونه کنټرول کړي.
د MLOps حلونو په لټه کې شئ چې ستاسو ټیم سره د دې ML پراختیایی ساحو اداره کولو کې مرسته وکړي، که تاسو د متخصص په لټه کې یاست یا د یوې پراخې وسیلې په لټه کې یاست:
- د معلوماتو اداره کول
- ډیزاین او ماډلینګ
- د پروژو مدیریت او د کار ځای
- د ML ماډل پلي کول او دوامداره ساتنه
- د ژوند دورې مدیریت له پیل څخه تر پای پورې، کوم چې معمولا د بشپړ خدمت MLOps پلیټ فارمونو لخوا وړاندیز کیږي.
د MLOps وسیلې
1. MLFlow
د ماشین زده کړې ژوند دوره د خلاصې سرچینې پلیټ فارم MLflow لخوا کنټرول کیږي او د مرکزي ماډل راجسټریشن ، ځای په ځای کول ، او تجربه پکې شامله ده.
MLflow د هرې اندازې ټیم لخوا کارول کیدی شي، دواړه په انفرادي او ډله ایز ډول. کتابتونونه په وسیله هیڅ اغیزه نلري.
د پروګرام کولو ژبه او د ماشین زده کړې کتابتون کولی شي دا وکاروي.
د ماشین زده کړې غوښتنلیکونو روزلو، پلي کولو او اداره کولو لپاره د ساده کولو لپاره، MLFlow د ماشین زده کړې یو شمیر چوکاټونو سره اړیکه لري، په شمول ټیسسر فولډ او Pytorch.
سربیره پردې ، MLflow د کارولو اسانه APIs چمتو کوي چې د ماشین زده کړې په هر موجوده برنامو یا کتابتونونو کې شامل کیدی شي.
MLflow څلور کلیدي ځانګړتیاوې لري چې د تعقیب او پالن کولو تجربې اسانه کوي:
- د MLflow تعقیب - د ماشین زده کړې کوډ پیرامیټونو، نسخو، میټریکونو، او آثارو او همدارنګه د پایلو ښودلو او توپیر لپاره د ننوتلو لپاره یو API او UI
- د MLflow پروژې - د بسته بندۍ ماشین زده کړې کوډ د بیا کارونې وړ ، بیا تولید وړ ب formatه کې تولید ته لیږد یا د نورو معلوماتو ساینس پوهانو سره شریکولو لپاره
- د MLflow ماډلونه - د مختلف ML کتابتونونو څخه د ماډل خدمت کولو او انفرنس سیسټمونو لړۍ ته د ماډلونو ساتل او ځای پرځای کول
- د MLflow ماډل راجسټری - د مرکزي ماډل پلورنځی چې د MLflow ماډل ټول عمر د کوپراتیف مدیریت وړ کوي ، پشمول د ماډل نسخه کول ، د مرحلې لیږدونه ، او تشریحات.
2. کیوب فلو
د Kubernetes لپاره د ML اوزار بکس د Kubeflow په نوم یادیږي. د ډاکر کانټینرونو بسته بندي او اداره کول، په ساتنه کې مرسته کوي د ماشین زده کړې سیسټمونه.
د چلولو آرکیسټریشن او د ماشین زده کړې کاري فلو پلي کولو ساده کولو سره ، دا د ماشین زده کړې ماډلونو اندازه کولو ته وده ورکوي.
دا د خلاصې سرچینې پروژه ده چې په دقت سره د بشپړونکي وسیلو او چوکاټونو غوره شوي ګروپ پکې شامل دي چې د مختلف ML اړتیاو سره مطابقت لري.
د ML اوږدې روزنې دندې ، لارښود تجربه ، تکرار وړتیا ، او د DevOps ننګونې د کوبی فلو پایپ لاینونو سره اداره کیدی شي.
د ماشین زده کړې د څو مرحلو لپاره، په شمول د روزنې، پایپ لاین پراختیا، او ساتنه جوپېټر نوټ بوکونه، Kubeflow ځانګړي خدمتونه او ادغام وړاندیز کوي.
دا ستاسو د AI کاري بارونو ژوند مدیریت او تعقیب کول او همدارنګه د کوبرنیټس کلسترونو ته د ماشین زده کړې (ML) ماډلونو او ډیټا پایپ لاینونو ځای په ځای کول اسانه کوي.
دا وړاندیز کوي:
- د سیسټم سره د تعامل لپاره د SDK کارولو لپاره نوټ بوکونه
- د منډو، دندو، او تجربو د کنټرول او څارنې لپاره د کاروونکي انٹرفیس (UI).
- په چټکۍ سره د پای څخه تر پای پورې حلونه ډیزاین کړئ پرته له دې چې هر ځل بیا جوړ کړئ، او اجزاوې او پایپ لاینونه بیا وکاروئ.
- د کیوب فلو د کلیدي برخې په توګه یا د یو واحد نصب کولو په توګه ، د کوبی فلو پایپ لاینونه وړاندیز کیږي.
3. د ډاټا نسخه کنټرول
د ماشین زده کړې پروژې لپاره د خلاصې سرچینې نسخه کنټرول حل د DVC یا ډیټا نسخه کنټرول په نوم یادیږي.
کومه ژبه چې تاسو غوره کوئ، دا یوه تجربه لرونکې وسیله ده چې د پایپ لاین تعریف کې مرسته کوي.
DVC کوډ، ډیټا نسخه کول، او بیا تولید وړتیا کاروي ترڅو تاسو سره د وخت خوندي کولو کې مرسته وکړي کله چې تاسو د خپل ML ماډل پخوانۍ نسخې سره ستونزه ومومئ.
برسیره پردې، تاسو کولی شئ د DVC پایپ لاینونه وکاروئ ترڅو خپل ماډل وروزي او ستاسو د ټیم غړو ته یې وویشئ. د لوی ډیټا تنظیم او نسخه د DVC لخوا اداره کیدی شي ، او ډاټا په اسانۍ سره د لاسرسي وړ ذخیره کیدی شي.
که څه هم پدې کې ځینې (محدود) د تجربې تعقیب ځانګړتیاوې شاملې دي، دا ډیری د معلوماتو او پایپ لاین نسخه کولو او مدیریت تمرکز کوي.
دا وړاندیز کوي:
- دا د ذخیره کولو اګنوسټیک دی، نو دا ممکنه ده چې د ذخیره کولو مختلف ډولونه وکاروئ.
- دا د تعقیب احصایې هم چمتو کوي.
- په DAG کې د ML مرحلو سره یوځای کیدو او له پیل څخه تر پای پورې د پایپ لاین د چلولو لپاره دمخه جوړ شوی وسیله
- د هر ML ماډل بشپړ پرمختګ د دې ټول کوډ او ډیټا ثابتولو په کارولو سره تعقیب کیدی شي.
- د تجربې لپاره د لومړني ترتیب ، ان پټ ډیټا ، او برنامې کوډ په وفادارۍ سره د بیا تولید وړتیا.
4. Pachyderm
Pachyderm د ماشین زده کړې او ډیټا ساینس لپاره د نسخې کنټرول برنامه ده ، د DVC سره ورته.
برسیره پردې، ځکه چې دا په کارولو سره رامینځته شوی Docker او Kubernetes، دا کولی شي په هر کلاوډ پلیټ فارم کې د ماشین زده کړې غوښتنلیکونه اجرا او ځای په ځای کړي.
Pachyderm تضمین کوي چې د معلوماتو هره برخه چې د ماشین زده کړې ماډل کې مصرف کیږي بیرته تعقیب او نسخه کیدی شي.
دا د ماشین زده کړې ماډلونو رامینځته کولو ، توزیع ، اداره کولو او نظر ساتلو لپاره کارول کیږي. د ماډل ثبت، د ماډل مدیریت سیسټم، او د CLI اوزار بکس ټول شامل دي.
پراختیا کونکي کولی شي د پیچیډرم ډیټا فاونډیشن په کارولو سره د دوی ماشین زده کړې ژوند دوره اتومات او پراخه کړي ، کوم چې د تکرار وړتیا هم تضمینوي.
دا د ډیټا حکومتولۍ سخت معیارونو ملاتړ کوي ، د ډیټا پروسس کولو او ذخیره کولو لګښتونه کموي ، او سوداګرۍ سره مرسته کوي چې د دوی ډیټا ساینس نوښتونه ډیر ګړندي بازار ته راوړي.
5. پولی اکسون
د Polyaxon پلیټ فارم په کارولو سره، د ماشین زده کړې پروژې او د ژورې زده کړې غوښتنلیکونه د دوی د ټول ژوند دوره کې تکرار او اداره کیدی شي.
پولیاکسن د دې وړتیا لري چې وسیله کوربه او اداره کړي ، او دا د هر ډیټا مرکز یا کلاوډ چمتو کونکي کې کیښودل کیدی شي. لکه مشعل، Tensorflow، او MXNet، کوم چې د خورا مشهور ژور زده کړې چوکاټونو ملاتړ کوي.
کله چې د آرکیسټریشن خبره راځي ، پولیاکسن تاسو ته وړتیا درکوي د دوی د CLI ، ډشبورډ ، SDKs ، یا REST API له لارې د دندو او ازموینو مهالویش کولو له لارې ستاسو له کلستر څخه ډیره ګټه پورته کړئ.
دا وړاندیز کوي:
- تاسو کولی شئ همدا اوس د خلاصې سرچینې نسخه وکاروئ ، مګر پدې کې د کارپوریټ لپاره انتخابونه هم شامل دي.
- که څه هم دا بشپړ ژوند دوره پوښي، په شمول د چلولو آرکیسټریشن، دا د ډیر څه وړتیا لري.
- د تخنیکي حوالې سندونو سره ، د پیل لارښودونو ترلاسه کول ، د زده کړې توکي ، لارښودونه ، ښوونې ، چینج لاګونه او نور ډیر څه ، دا خورا ښه مستند پلیټ فارم دی.
- د تجربې بصیرت ډشبورډ سره، دا ممکنه ده چې د هرې اصلاح کولو تجربې نظر وساتئ، تعقیب کړئ او ارزونه وکړئ.
6. Comet
کومیټ د میټا ماشین زده کړې لپاره یو پلیټ فارم دی چې تجربې او ماډلونه تعقیبوي ، برعکس ، توضیح کوي او ښه کوي.
ستاسو ټولې تجربې په یو ځای کې لیدل کیدی شي او پرتله کیدی شي.
دا د ماشین زده کړې د هرې دندې لپاره کار کوي، چیرته چې ستاسو کوډ ترسره کیږي، او د ماشین زده کړې کتابتون سره.
کومیټ د ډلو، اشخاصو، اکاډمیکو موسسو، سوداګرۍ او هر هغه چا لپاره مناسب دی چې غواړي ژر تر ژره تجربې وګوري، کار منظم کړي، او تجربې ترسره کړي.
د ډیټا ساینس پوهان او ټیمونه کولی شي د ځان کوربه شوي او کلاوډ میشته میټا ماشین زده کړې پلیټ فارم Comet په کارولو سره تجربې او ماډلونه تعقیب ، روښانه کړي ، ښه کړي او پرتله کړي.
دا وړاندیز کوي:
- د ټیم غړو لپاره د دندو شریکولو لپاره ډیری وړتیاوې شتون لري.
- دا ډیری ادغامونه لري چې دا د نورو ټیکنالوژیو سره لینک کول اسانه کوي
- د اوسني ML کتابتونونو سره ښه کار کوي
- د کاروونکي مدیریت ته پاملرنه کوي
- د تجربو پرتله کول فعال شوي، پشمول د کوډ پرتله کول، هایپر پارامیټرونه، میټریکونه، وړاندوینې، انحصار، او سیسټم میټریکونه.
- د لید، آډیو، متن، او جدول ډیټا لپاره جلا ماډلونه چمتو کوي چې تاسو ته اجازه درکوي نمونې لیدو.
7. غوره
آپټونا د خودمختاره هایپرپرامیټر اصلاح کولو سیسټم دی چې د ماشین زده کړې او ژورې زده کړې او همدارنګه نورو برخو کې پلي کیدی شي.
دا مختلف الګوریتمونه لري چې تاسو یې غوره کولی شئ (یا لینک)، په ډیری کمپیوټرونو کې د روزنې ویشلو لپاره خورا ساده کوي، او د زړه پورې پایلو لید وړاندې کوي.
د ماشین زده کړې مشهور کتابتونونه لکه PyTorch، TensorFlow، Keras، FastAI، sci-kit-learn، LightGBM، او XGBoost ټول ورسره مدغم شوي دي.
دا عصري الګوریتمونه وړاندې کوي چې پیرودونکو ته وړتیا ورکوي چې په ګړندۍ توګه د نمونو کمولو سره ډیرې ګړندي پایلې ترلاسه کړي چې امید نه ښکاري.
د Python-based algorithms په کارولو سره، دا په اتوماتيک ډول د مثالي هایپرپرامیټرونو لټون کوي. آپټونا د اصلي کوډ بدلولو پرته په ډیری تارونو کې موازي هایپرپرامیټر لټون هڅوي.
دا وړاندیز کوي:
- دا په کلستر کې د توزیع شوي روزنې ملاتړ کوي او همدارنګه یو واحد کمپیوټر (ملټي پروسس) (ملټي نوډ)
- دا د کنورژن ګړندی کولو لپاره د ډیری تخریب تخنیکونو ملاتړ کوي (او لږ شمیره وکاروئ)
- دا یو شمیر قوي لیدونه لري، لکه سلائس پلاټ، کنټور پلاټ، او موازي همغږي.
8. کیډرو
کیډرو د کوډ لیکلو لپاره د Python وړیا چوکاټ دی چې د ډیټا ساینس پروژو لپاره تازه او ساتل کیدی شي.
دا د سافټویر انجینرۍ کې د غوره تمرینونو څخه د ماشین زده کړې کوډ ته نظرونه راوړي. پایتون د دې کاري فلو آرکیسټریشن وسیلې بنسټ دی.
ستاسو د ML پروسې ساده او دقیق کولو لپاره ، تاسو کولی شئ د تولید وړ ، ساتلو وړ او ماډلر کاري فلو ته وده ورکړئ.
کیډرو د سافټویر انجینرۍ اصول لکه ماډلریت ، د مسؤلیتونو جلا کول ، او نسخه د ماشین زده کړې چاپیریال کې شاملوي.
د کوکی کټر ډیټا ساینس پراساس ، دا یو عام ، د تطبیق وړ پروژې چوکاټ چمتو کوي.
یو شمیر ساده ډیټا نښلونکي چې په ډیری فایل سیسټمونو او فایل فارمیټونو کې د ډیټا ذخیره کولو او بارولو لپاره کارول کیږي ، د ډیټا کتلاګ لخوا اداره کیږي. دا د ماشین زده کړې پروژې خورا مؤثره کوي او د ډیټا پایپ لاین رامینځته کول اسانه کوي.
دا وړاندیز کوي:
- کیډرو د منتشر یا یوازینۍ ماشین ګمارلو ته اجازه ورکوي.
- تاسو کولی شئ د پایپ لاین خلاصون په کارولو سره د پایتون کوډ او د کاري فلو لید ترمینځ انحصار اتومات کړئ.
- د ماډلر، د بیا کارونې وړ کوډ کارولو له لارې، دا ټیکنالوژي په بیالبیلو کچو کې د ټیم همکاري اسانه کوي او د کوډ کولو چاپیریال کې تولید ته وده ورکوي.
- لومړنی هدف د ساتلو وړ ډیټا ساینس برنامې لیکلو سره د جوپیټر نوټ بوکونو ، یو بند سکریپټونو ، او ګلو کوډ نیمګړتیاو لرې کول دي.
9. BentoML
د ماشین زده کړې API پای ټکي جوړول د BentoML سره اسانه شوي.
دا د ماشین زده کړې موډلونو تولید ته د حرکت کولو لپاره یو عادي مګر کم شوی زیربنا چمتو کوي.
دا تاسو ته وړتیا درکوي چې زده شوي ماډلونه د تولید په ترتیب کې د کارولو لپاره بسته کړئ، د هر ML چوکاټ په کارولو سره یې تشریح کړئ. دواړه آفلاین بیچ خدمت کول او آنلاین API خدمت کول ملاتړ کیږي.
د لوړ فعالیت ماډل سرور او د انعطاف وړ کاري فلو د BentoML ځانګړتیاوې دي.
سربیره پردې، سرور د تطبیق وړ مایکرو بیچینګ وړاندیز کوي. د ماډلونو تنظیم کولو او د پلي کولو پروسیجرونو تعقیب لپاره یو متحد چلند د UI ډشبورډ لخوا چمتو شوی.
د سرور بند وخت به شتون ونلري ځکه چې عملیاتي میکانیزم ماډلر دی او ترتیب د بیا کارولو وړ دی. دا د ML ماډلونو چمتو کولو ، تنظیم کولو او پلي کولو لپاره انعطاف وړ پلیټ فارم دی.
دا وړاندیز کوي:
- دا یو ماډلر ډیزاین لري چې د تطبیق وړ دی.
- دا په ډیری پلیټ فارمونو کې ځای پرځای کول وړوي.
- دا نشي کولی په اتوماتيک ډول افقی پیمانه اداره کړي.
- دا د واحد ماډل بڼه، د ماډل مدیریت، د ماډل بسته بندي، او د لوړ فعالیت ماډل خدمت کول وړوي.
10. سیلډن
د ډیټا ساینس پوهان کولی شي د خلاصې سرچینې سیلډون کور چوکاټ په کارولو سره په کبرنیټس کې د ماشین زده کړې ماډلونه او تجربې په پیمانه رامینځته کړي ، ځای په ځای کړي او اداره کړي.
TensorFlow، sci-kit-learn، Spark، R، Java، او H2O یوازې یو څو وسیلې دي چې د دې لخوا ملاتړ کیږي.
دا د Kubeflow او RedHat's OpenShift سره هم مداخله کوي. د سیلډون کور د ماشین زده کړې ماډلونه (ML ماډلونه) یا د ژبې ریپرونه (ژبې لکه Python، Java، او نور) د تولید REST/GRPC مایکرو خدماتو ته بدلوي.
د ماشین زده کړې پروسې ښه کولو لپاره د MLOps یو له غوره وسیلو څخه دا دی.
دا د ML ماډلونو کانټینر کولو لپاره ساده دی او د سیلډون کور په کارولو سره د کارونې او امنیت لپاره ازموینه وکړئ.
دا وړاندیز کوي:
- د ماډل ګمارل د ډیری بدیلونو سره ساده کیدی شي، لکه د کانري ځای پرځای کول.
- د دې لپاره چې پوه شي چې ولې ځانګړي وړاندوینې شوي، د ماډل تشریح کونکي وکاروئ.
- کله چې مسلې رامینځته کیږي ، د خبرتیا سیسټم په کارولو سره د تولید ماډلونو ته پام وکړئ.
پایله
MLOps کولی شي د ماشین زده کړې عملیات غوره کولو کې مرسته وکړي. MLOps کولی شي ګمارل ګړندي کړي ، د معلوماتو راټولول او ډیبګ کول اسانه کړي ، او د انجینرانو او ډیټا ساینس پوهانو ترمینځ همکارۍ ته وده ورکړي.
د دې لپاره چې تاسو د MLOps وسیله غوره کړئ چې ستاسو اړتیاو سره مناسب وي، دا پوسټ د 10 مشهور MLOps حلونه معاینه کړي، چې ډیری یې خلاصې سرچینې دي.
یو ځواب ورکړئ ووځي