موږ په ډیری ریښتیني نړۍ شرایطو کې د اصلاح کولو ستونزو سره مخ یو چیرې چې موږ اړتیا لرو لږترلږه یا اعظمي فعالیت وپیژنو.
یو فعالیت په پام کې ونیسئ چې د سیسټم ریاضياتي نمایندګي وي، او د هغې لږترلږه یا اعظمي ټاکل د مختلف غوښتنلیکونو لکه ماشین زده کړې، انجینرۍ، مالیې او نورو لپاره خورا مهم دي.
د غرونو او وادونو سره یوه منظره په پام کې ونیسئ، او زموږ هدف دا دی چې ترټولو ټیټ ټکی (لږترلږه) ومومئ ترڅو ژر تر ژره خپل منزل ته ورسیږو.
موږ ډیری وختونه د دې ډول اصلاح کولو ننګونو حل کولو لپاره د تدریجي نزول الګوریتمونه کاروو. دا الګوریتمونه د غوره نزول (منفي تدریجي) په لور د ګامونو په اخیستلو سره د فعالیت کمولو لپاره د تکراري اصلاح کولو میتودونه دي.
ګریډینټ په فعالیت کې د خورا لوړ زیاتوالي سره سمت منعکس کوي ، او په مخالف لوري سفر کول موږ لږترلږه ته رسوي.
په حقیقت کې د تدریجي نزول الګوریتم څه شی دی؟
تدریجي نزول د فعالیت لږترلږه (یا اعظمي) ټاکلو لپاره د تکراري اصلاح کولو مشهوره طریقه ده.
دا په ډیری برخو کې یو مهم وسیله ده، په شمول ماشین زده کړهژوره زده کړه، مصنوعي استخبارات، انجنیري، او مالي.
د الګوریتم بنسټیز اصول د هغې د تدریجي کارولو پر بنسټ والړ دی، کوم چې د فعالیت په ارزښت کې د چټک زیاتوالي سمت څرګندوي.
الګوریتم په مؤثره توګه د فعالیت منظره لږترلږه په لور حرکت کوي په مکرر ډول د تدریجي په توګه په مخالف لوري کې د ګامونو په اخیستلو سره ، په تکراري ډول حل تر کنورژن پورې پاکوي.
ولې موږ د تدریجي نزول الګوریتم کاروو؟
د پیل کونکو لپاره، دوی د پراخ ډول اصلاح کولو ستونزو حل کولو لپاره کارول کیدی شي، پشمول د لوړ ابعادو ځایونو او پیچلي دندو سره.
دوهم، دوی کولی شي غوره حلونه ژر تر ژره ومومي، په ځانګړې توګه کله چې تحلیلي حل شتون نلري یا په کمپیوټري توګه ګران وي.
د تدریجي نزول تخنیکونه خورا د توزیع وړ دي او کولی شي په بریالیتوب سره لوی ډیټاسیټونه اداره کړي.
د پایلې په توګه، دوی په پراخه توګه کارول کیږي د ماشین زده کړې الګوریتمونه لکه د عصبي شبکو روزنه ترڅو د معلوماتو څخه زده کړي او د وړاندوینې غلطیو کمولو لپاره د دوی پیرامیټونه بدل کړي.
د تدریجي نزول مرحلو تفصيلي مثال
راځئ چې د تدریجي نزول تخنیک ښه پوهیدو لپاره یو ډیر مفصل مثال وګورو.
د 2D فنکشن f(x) = x2 په پام کې ونیسئ، کوم چې د لږترلږه (0,0) سره یو بنسټیز پارابولیک وکر رامینځته کوي. د تدریجي نزول الګوریتم به د دې لږترلږه نقطې ټاکلو لپاره وکارول شي.
1 ګام: پیل کول
د تدریجي نزول الګوریتم د متغیر x ارزښت په پیل کولو سره پیل کیږي ، چې د x0 په توګه ښودل شوی.
لومړنی ارزښت کولی شي د الګوریتم فعالیت باندې د پام وړ اغیزه ولري.
تصادفي پیل کول یا د ستونزې په اړه دمخه پوهه کارول دوه عام تخنیکونه دي. فرض کړئ چې x₀ = 3 زموږ د قضیې په پیل کې.
مرحله 2: ګریډینټ محاسبه کړئ
په اوسني موقعیت کې د f(x) د فعالیت تدریجي x₀. بیا باید محاسبه شي.
ګریډینټ په هغه ځانګړي موقعیت کې د فعالیت د بدلون سلپ یا نرخ په ګوته کوي.
موږ د x په اړه مشتق د فنکشن f(x) = x2 لپاره محاسبه کوو، کوم چې f'(x) = 2x چمتو کوي. موږ د gradient محاسبه کې د x₀ = 0 په ځای کولو سره په x2 کې 3 * 6 = 3 ترلاسه کوو.
3 ګام: پارامترونه تازه کړئ
د تدریجي معلوماتو په کارولو سره، موږ د x ارزښت په لاندې ډول تازه کوو: x = x₀ - α * f'(x₀)، چیرته چې α (الفا) د زده کړې کچه څرګندوي.
د زده کړې کچه یو هایپرپرامیټر دی چې د تازه کولو پروسې کې د هر ګام اندازه ټاکي. د مناسب زده کړې نرخ ترتیب کول خورا مهم دي ځکه چې د زده کړې ورو کچه کولی شي د دې لامل شي الګوریتم لږترلږه ته د رسیدو لپاره ډیری تکرارونه.
له بلې خوا د زده کړې لوړه کچه کولی شي د الګوریتم د راښکته کیدو یا یوځای کیدو کې پاتې راشي. راځئ چې د دې مثال لپاره د زده کړې کچه α = 0.1 فرض کړو.
څلورم ګام: تکرار کړئ
وروسته له دې چې موږ د x نوي ارزښت ولرو، موږ 2 او 3 مرحلې د مخکینۍ ټاکل شوې شمیرې لپاره تکرار کوو یا تر هغه چې په x کې بدلون لږ تر لږه شي، کنورژن په ګوته کوي.
میتود تدریجي محاسبه کوي، د x ارزښت تازه کوي، او په هر تکرار کې پروسیجر ته دوام ورکوي، دا اجازه ورکوي چې لږترلږه ته نږدې شي.
5 ګام: همغږي
تخنیک د یو څو تکرارونو وروسته یوې نقطې ته بدلیږي چیرې چې نور تازه معلومات د فعالیت ارزښت په مادي توګه اغیزه نه کوي.
زموږ په قضیه کې، لکه څنګه چې تکرار دوام لري، x به 0 ته نږدې شي، کوم چې د f(x) = x^2 لږترلږه ارزښت دی. د همغږي کولو لپاره اړین تکرارونو شمیر د فکتورونو لخوا ټاکل کیږي لکه د زده کړې نرخ ټاکل شوی او د فعالیت پیچلتیا غوره کیږي.
د زده کړې نرخ غوره کول ()
د منلو وړ زده کړې نرخ غوره کول () د تدریجي نزول الګوریتم اغیزمنتیا لپاره خورا مهم دی. لکه څنګه چې مخکې وویل شول، د زده کړې ټیټه کچه کولی شي ورو همغږي رامنځته کړي، پداسې حال کې چې د لوړې زده کړې کچه کولی شي د یو بل سره د زیاتوالي او ناکامۍ لامل شي.
د مناسب توازن موندل خورا مهم دي ترڅو ډاډ ترلاسه شي چې الګوریتم د امکان تر حده په مؤثره توګه مطلوب حد ته متوجه کیږي.
د زده کړې نرخ تنظیم کول په عمل کې په مکرر ډول د محاکمې او خطا کړنلاره ده. څیړونکي او متخصصین په منظمه توګه د مختلف زده کړې نرخونو سره تجربه کوي ترڅو وګوري چې دوی څنګه د دوی ځانګړي ننګونې په اړه د الګوریتم همغږي اغیزه کوي.
د غیر محدب دندو اداره کول
پداسې حال کې چې مخکیني مثال یو ساده محدب فعالیت درلود، د ریښتینې نړۍ د اصلاح کولو ډیری مسلې د ډیری محلي مینیما سره غیر محدب افعال شامل دي.
کله چې په داسې قضیو کې د تدریجي نزول څخه کار واخیستل شي، دا طریقه کولی شي د نړیوال لږترلږه په پرتله محلي لږترلږه ته واړوي.
د دې مسلې د لرې کولو لپاره د تدریجي نزول ډیری پرمختللي بڼې رامینځته شوي. Stochastic Gradient Descent (SGD) یو داسې میتود دی چې په هر تکرار کې د تدریجي محاسبه کولو لپاره د ډیټا پوائنټونو تصادفي فرعي سیټ (د مینی بیچ په نوم پیژندل کیږي) په غوره کولو سره تصادفي معرفي کوي.
دا تصادفي نمونه اخیستل الګوریتم ته اجازه ورکوي چې د ځایی مینیما څخه مخنیوی وکړي او د فنکشن ساحې نوې برخې وپلټي، د غوره لږترلږه موندلو امکانات زیاتوي.
ادم (د تطبیق وړ شیبې اټکل) یو بل مهم توپیر دی، کوم چې د انډول زده کړې نرخ اصلاح کولو طریقه ده چې د RMSprop او حرکت دواړه ګټې شاملوي.
اډم د هر پیرامیټر لپاره د زده کړې کچه په متحرک ډول د مخکینیو تدریجي معلوماتو پراساس بدلوي، کوم چې کیدای شي په غیر محدق کارونو کې د ښه همغږۍ پایله ولري.
دا پیچلي تدریجي نزول تغیرات د مخ په زیاتیدونکي پیچلي دندو په اداره کولو کې اغیزمن ثابت شوي او د ماشین زده کړې او ژورې زده کړې کې معیاري وسیلې ګرځیدلي ، چیرې چې د غیر محدق اصلاح کولو مسلې عام دي.
شپږم ګام: خپل پرمختګ وګورئ
راځئ چې د تدریجي نزول الګوریتم پرمختګ وګورو ترڅو د دې تکراري پروسې ښه پوهه ترلاسه کړو. یو ګراف په پام کې ونیسئ چې د x-محور سره د تکرارونو نمایندګي کوي او یو y-محور د فنکشن f(x) ارزښت څرګندوي.
لکه څنګه چې د الګوریتم تکرار کیږي، د x ارزښت صفر ته نږدې کیږي او په پایله کې، د فعالیت ارزښت د هر ګام سره راټیټیږي. کله چې په ګراف کې پلاټ شوی وي، دا به د کمیدو یو ځانګړی تمایل ښکاره کړي، د الګوریتم پرمختګ لږترلږه ته د رسیدو په لور منعکس کوي.
7 ګام: د زده کړې کچه ښه تنظیم کړئ
د زده کړې کچه () د الګوریتم په فعالیت کې یو مهم فکتور دی. په عمل کې، د مثالي زده کړې نرخ ټاکل په مکرر ډول محاکمې او خطا ته اړتیا لري.
د اصلاح کولو ځینې تخنیکونه، لکه د زده کړې نرخ مهالویش، کولی شي د روزنې په جریان کې د زده کړې کچه په متحرک ډول بدله کړي، د لوړ ارزښت سره پیل کوي او په تدریجي ډول کموي ځکه چې د الګوریتم همغږي ته نږدې کیږي.
دا طریقه په پیل کې د چټک پرمختګ او د اصلاح کولو پروسې پای ته نږدې د ثبات ترمنځ د توازن ساتلو کې مرسته کوي.
بله بیلګه: د څلور اړخیز فعالیت کمول
راځئ چې د تدریجي نزول د ښه پوهیدو لپاره یو بل مثال وګورو.
دوه اړخیز څلور اړخیز فعالیت g(x) = (x – 5)^2 په پام کې ونیسئ. په x = 5 کې، دا فعالیت هم لږ تر لږه لري. د دې لږترلږه موندلو لپاره، موږ به د تدریجي نزول تطبیق کړو.
1. ابتکار: راځئ چې د x0 = 8 سره زموږ د پیل ټکي پیل کړو.
2. د g(x): g'(x) = 2(x – 5). کله چې موږ x0 = 8 بدل کړو، په x0 کې تدریجي 2 * (8 – 5) = 6 دی.
3. د = 0.2 سره زموږ د زده کړې نرخ په توګه، موږ x په لاندې ډول تازه کوو: x = x₀ – α * g'(x₀) = 8 – 0.2 * 6 = 6.8.
4. تکرار: موږ 2 او 3 مرحلې څو څو ځله تکرار کوو تر څو چې همغږي ته ورسیږو. هره دوره x 5 ته نږدې کوي، د g(x) = (x – 5) 2 لږ تر لږه ارزښت.
5. همغږي: دا طریقه به په پای کې x = 5 ته واړوي، کوم چې د g(x) = (x – 5)2 لږ تر لږه ارزښت دی.
د زده کړې نرخ پرتله کول
راځئ چې د مختلف زده کړې نرخونو لپاره د تدریجي نزول سرعت پرتله کړو، زموږ په نوې مثال کې α = 0.1، α = 0.2، او α = 0.5 ووایاست. موږ لیدلی شو چې د زده کړې ټیټه کچه (د مثال په توګه = 0.1) به د اوږدې همغږۍ پایله ولري مګر لږ تر لږه دقیق.
د زده کړې لوړه کچه (د بیلګې په توګه، = 0.5) به په چټکۍ سره یو ځای شي مګر کولی شي د لږ تر لږه په اړه ډیر شوټ یا حرکت وکړي، په پایله کې د ضعیف دقت سبب کیږي.
د غیر محدب فنکشن اداره کولو څو ماډل بیلګه
په پام کې ونیسئ h(x) = sin(x) + 0.5x، یو غیر محدب فعالیت.
د دې فعالیت لپاره ډیری ځایی مینیما او میکسیما شتون لري. د پیل موقعیت او د زده کړې اندازې پورې اړه لري، موږ کولی شو د معیاري تدریجي نزول په کارولو سره هرې محلي مینیما ته ورسیږو.
موږ کولی شو دا د نورو پرمختللي اصلاح کولو تخنیکونو لکه آدم یا سټوچیسټیک ګریډینټ نزول (SGD) په کارولو سره حل کړو. دا میتودونه د انډول زده کړې نرخونه یا تصادفي نمونې کاروي ترڅو د فعالیت منظرې مختلفې سیمې وپلټي ، د غوره لږترلږه ترلاسه کولو احتمال ډیروي.
پایله
د تدریجي نزول الګوریتمونه د اصلاح کولو قوي وسیلې دي چې په پراخه کچه د صنعتونو پراخه لړۍ کې کارول کیږي. دوی د تدریجي سمت پراساس په تکراري ډول د پیرامیټونو تازه کولو سره د فعالیت ترټولو ټیټ (یا اعظمي) کشف کوي.
د الګوریتم د تکرار طبیعت له امله، دا کولی شي لوړ ابعادي ځایونه او پیچلې دندې اداره کړي، دا د ماشین زده کړې او ډیټا پروسس کولو کې اړین کوي.
تدریجي نزول کولی شي په اسانۍ سره د ریښتیني نړۍ ستونزې حل کړي او د ټیکنالوژۍ وده او د ډیټا لخوا پرمخ وړل شوي پریکړې کولو کې د زده کړې نرخ په احتیاط سره غوره کولو او پرمختللي تغیراتو لکه سټوچیسټیک تدریجي نزول او ادم پلي کولو سره خورا مرسته وکړي.
یو ځواب ورکړئ ووځي