Мо дар бисёр ҳолатҳои воқеии ҷаҳонӣ бо мушкилоти оптимизатсия дучор мешавем, ки мо бояд ҳадди ақал ё максималии функсияро муайян кунем.
Функсияро ҳамчун тасвири математикии система баррасӣ кунед ва муайян кардани ҳадди ақал ё максималии он метавонад барои барномаҳои гуногун, аз қабили омӯзиши мошинсозӣ, муҳандисӣ, молия ва ғайра муҳим бошад.
Манзараи дорои теппаҳо ва водиҳоро баррасӣ кунед ва ҳадафи мо ин аст, ки нуқтаи пасттаринро (ҳадди ақал) пайдо кунем, то ҳарчи зудтар ба макони таъинотамон расем.
Мо барои ҳалли чунин мушкилоти оптимизатсия аксар вақт алгоритмҳои градиентиро истифода мебарем. Ин алгоритмҳо усулҳои оптимизатсияи такрорӣ барои кам кардани функсия тавассути андешидани қадамҳо дар самти пасттарин (градиенти манфӣ) мебошанд.
Градиент самтро бо афзоиши босуръати функсия инъикос мекунад ва сафар ба самти муқобил моро ба ҳадди ақал мерасонад.
Алгоритми фаромадани градиент маҳз чист?
Пастшавии градиент як равиши маъмули итеративии оптимизатсия барои муайян кардани ҳадди ақал (ё максималии) функсия мебошад.
Ин як воситаи муҳим дар якчанд соҳаҳо, аз ҷумла омӯзиши машқҳо, омӯзиши амиқ, зеҳни сунъӣ, муҳандисӣ ва молия.
Принсипи асосии алгоритм ба истифодаи градиент, ки самти афзоиши якбораи арзиши функсияро нишон медиҳад, асос ёфтааст.
Алгоритм манзараи функсияро ба ҳадди ақал тавассути андешидани қадамҳои такрорӣ дар самти муқобил ҳамчун градиент ва такроран ҳалли то конвергенсия такмил медиҳад.
Чаро мо алгоритмҳои фаромадани градиентро истифода мебарем?
Барои шурӯъкунандагон, онҳо метавонанд барои ҳалли як қатор масъалаҳои оптимизатсия истифода шаванд, аз ҷумла онҳое, ки дорои ҷойҳои баландандоза ва функсияҳои мураккаб мебошанд.
Дуюм, онҳо метавонанд ҳалли оптималиро зуд пайдо кунанд, хусусан вақте ки ҳалли таҳлилӣ дастрас нест ё аз ҷиҳати ҳисоб гарон аст.
Усулҳои фаромадани градиент хеле миқёспазиранд ва метавонанд маҷмӯи додаҳои азимро бомуваффақият идора кунанд.
Дар натиҷа, онҳо ба таври васеъ истифода мешаванд алгоритмҳои омӯзиши мошин ба монанди омӯзиши шабакаҳои нейрон барои омӯхтани маълумот ва тағир додани параметрҳои онҳо барои кам кардани хатогиҳои пешгӯӣ.
Намунаи муфассали қадамҳои фаромадани градиент
Биёед як мисоли муфассалро дида бароем, то дар бораи техникаи градиентӣ беҳтар фаҳмем.
Функсияи 2D f(x) = x2-ро дида мебароем, ки каҷи асосии параболиро бо ҳадди ақал дар (0,0) тавлид мекунад. Барои муайян кардани ин нуқтаи минималӣ алгоритми пастшавии градиент истифода мешавад.
Қадами 1: Оғозсозӣ
Алгоритми пастшавии градиент бо оғоз кардани арзиши тағирёбандаи x, ки ҳамчун x0 муаррифӣ мешавад, оғоз меёбад.
Арзиши ибтидоӣ метавонад ба кори алгоритм таъсири назаррас расонад.
Оғозкунии тасодуфӣ ё истифодаи дониши пешакии мушкилот ду усули маъмул мебошанд. Фарз мекунем, ки x₀ = 3 дар оғози парвандаи мо.
Қадами 2: Градиентро ҳисоб кунед
Градиенти функсияи f(x) дар мавқеи ҳозираи x₀. пас бояд ҳисоб карда шавад.
Градиент нишеб ё суръати тағирёбии функсияро дар ин мавқеи мушаххас нишон медиҳад.
Мо ҳосилаи марбут ба хро барои функсияи f(x) = x2 ҳисоб мекунем, ки f'(x) = 2x-ро таъмин мекунад. Мо градиентро дар x0 ҳамчун 2 * 3 = 6 бо иваз кардани x₀ = 3 дар ҳисоби градиент мегирем.
Қадами 3: Навсозии параметрҳо
Бо истифода аз маълумоти градиент, мо арзиши x-ро ба таври зерин навсозӣ мекунем: x = x₀ – α * f'(x₀), ки дар он α (альфа) суръати омӯзишро ифода мекунад.
Сатҳи омӯзиш гиперпараметрест, ки андозаи ҳар як қадамро дар раванди навсозӣ муайян мекунад. Муқаррар кардани суръати мувофиқи омӯзиш муҳим аст, зеро суръати сусти омӯзиш метавонад боиси ба вуҷуд омадан гардад алгоритм барои расидан ба ҳадди ақал такрорҳои зиёд.
Сатҳи баланди омӯзиш, аз тарафи дигар, метавонад ба ҷаббидан ё ноком шудани алгоритм оварда расонад. Барои ин мисол сатҳи омӯзиши α = 0.1-ро фарз кунем.
Қадами 4: такрор кунед
Пас аз он ки мо арзиши навшудаи x-ро дорем, қадамҳои 2 ва 3-ро барои шумораи пешакии такрорӣ такрор мекунем ё то он даме, ки тағирот дар x ҳадди ақал гардад, ки конвергенсияро нишон медиҳад.
Ин усул градиентро ҳисоб мекунад, арзиши x-ро нав мекунад ва тартибро дар ҳар як такрор идома медиҳад ва имкон медиҳад, ки он ба ҳадди ақал наздиктар шавад.
Қадами 5: Конвергенсия
Технология пас аз чанд такрор ба нуқтае муттаҳид мешавад, ки навсозии минбаъда ба арзиши функсия ба таври ҷиддӣ таъсир намерасонад.
Дар ҳолати мо, вақте ки такрорҳо идома доранд, x ба 0 наздик мешавад, ки арзиши ҳадди ақали f(x) = x^2 мебошад. Миқдори такрори зарурӣ барои конвергенсия бо омилҳое, ба монанди суръати интихобшуда ва мураккабии функсияи оптимизатсияшуда муайян карда мешавад.
Интихоби суръати омӯзиш ()
Интихоби суръати қобили омӯзиш () барои самаранокии алгоритми пастшавии градиент муҳим аст. Тавре ки қаблан гуфта шуда буд, суръати пасти омӯзиш метавонад конвергенсияи сустро ба вуҷуд орад, дар ҳоле ки суръати баланди омӯзиш метавонад боиси аз ҳад зиёд ва нокомии конвергенсия шавад.
Ҷустуҷӯи тавозуни дуруст барои таъмини он, ки алгоритм то ҳадди имкон самаранок ба ҳадди ақали пешбинишуда мувофиқат кунад, муҳим аст.
Танзими суръати омӯзиш дар амал аксар вақт як раванди озмоиш ва хато аст. Тадқиқотчиён ва таҷрибаомӯзон мунтазам бо суръати гуногуни омӯзиш озмоиш мекунанд, то бубинанд, ки онҳо ба конвергенсияи алгоритм дар мушкилоти мушаххаси онҳо чӣ гуна таъсир мерасонанд.
Идоракунии функсияҳои ғайриконвекс
Гарчанде ки мисоли қаблӣ вазифаи оддии конвекс дошт, бисёр масъалаҳои оптимизатсия дар ҷаҳони воқеӣ функсияҳои ғайриконвексро бо бисёр минимумҳои маҳаллӣ дар бар мегиранд.
Ҳангоми истифодаи фаромадани градиент дар чунин ҳолатҳо, усул метавонад ба ҳадди ақали маҳаллӣ на ба ҳадди ақали глобалӣ наздик шавад.
Якчанд шаклҳои пешрафтаи градиентӣ барои бартараф кардани ин мушкилот таҳия карда шудаанд. Стохастикии градиентӣ (SGD) яке аз чунин усулҳоест, ки тасодуфиро тавассути интихоби зермаҷмӯи тасодуфии нуқтаҳои додаҳо (бо номи мини-партия маълум) барои ҳисоб кардани градиент дар ҳар як итератсия ҷорӣ мекунад.
Ин интихоби тасодуфӣ ба алгоритм имкон медиҳад, ки аз минимуми маҳаллӣ канорагирӣ кунад ва қисматҳои нави релефи функсияро омӯзад ва имкони дарёфти минимуми беҳтарро афзоиш диҳад.
Одам (Баҳодиҳии лаҳзаи мутобиқшавӣ) як варианти дигари барҷастаест, ки равиши мутобиқсозии суръати омӯзиш мебошад, ки бартариҳои RMSprop ва импулсро дар бар мегирад.
Одам суръати омӯзишро барои ҳар як параметр дар асоси маълумоти қаблии градиент ба таври динамикӣ тағир медиҳад, ки метавонад ба конвергенсияи беҳтар дар функсияҳои ғайриконвекс оварда расонад.
Ин вариантҳои мураккаби фаромадани градиент дар идоракунии вазифаҳои торафт мураккабтар самаранок будани худро исбот карданд ва ба абзори стандартӣ дар омӯзиши мошинсозӣ ва омӯзиши амиқ табдил ёфтанд, ки дар он ҷо масъалаҳои оптимизатсияи ғайриконвекс маъмуланд.
Қадами 6: Пешрафти худро тасаввур кунед
Биёед пешрафти алгоритми пастшавии градиентро бубинем, то дар бораи раванди такрории он беҳтар фаҳмем. Графикро бо меҳвари х, ки такрорҳоро ифода мекунад ва меҳвари y, ки арзиши функсияи f(x) мебошад, баррасӣ кунед.
Ҳангоми такрор шудани алгоритм, арзиши x ба сифр наздик мешавад ва дар натиҷа, арзиши функсия бо ҳар як қадам коҳиш меёбад. Вақте ки дар график ҷойгир карда мешавад, ин тамоюли камшавии мушаххасро нишон медиҳад, ки пешрафти алгоритмро дар самти расидан ба ҳадди ақал инъикос мекунад.
Қадами 7: Танзими дақиқи суръати омӯзиш
Сатҳи омӯзиш () омили муҳими иҷрои алгоритм аст. Дар амал, муайян кардани суръати идеалии омӯзиш аксар вақт озмоиш ва хаторо талаб мекунад.
Баъзе усулҳои оптимизатсия, ба монанди ҷадвали суръати омӯзиш, метавонанд суръати омӯзишро дар давоми омӯзиш динамикӣ тағир диҳанд, аз арзиши баландтар оғоз карда, тадриҷан онро бо наздикшавии алгоритм ба конвергенсия коҳиш диҳанд.
Ин усул барои ба даст овардани мувозинат байни рушди босуръат дар ибтидо ва субот дар охири раванди оптимизатсия кӯмак мекунад.
Мисоли дигар: Кам кардани функсияи квадратӣ
Биёед мисоли дигарро дида бароем, то дар бораи градиенти градиент беҳтар фаҳмем.
Функсияи квадратии дученака g(x) = (x – 5)^2-ро дида мебароем. Дар x = 5, ин функсия низ ҳадди ақал дорад. Барои дарёфти ин ҳадди ақал, мо пастшавии градиентро истифода мебарем.
1. Оғозсозӣ: Биёед бо x0 = 8 ҳамчун нуқтаи ибтидоии худ оғоз кунем.
2. Градиенти g(x) -ро њисоб кунед: g'(x) = 2(x – 5). Вақте ки мо x0 = 8-ро иваз мекунем, градиент дар x0 2 * (8 – 5) = 6 аст.
3. Бо = 0.2 ҳамчун суръати омӯзиши мо, мо x-ро ба таври зерин навсозӣ мекунем: x = x₀ – α * g'(x₀) = 8 – 0.2 * 6 = 6.8.
4. Такрор кунед: Мо қадамҳои 2 ва 3-ро ба қадри зарурӣ такрор мекунем, то он даме, ки конвергенсия ҳосил шавад. Ҳар як давра x-ро ба 5 наздик мекунад, арзиши ҳадди ақали g(x) = (x – 5)2.
5. Конвергенсия: Усул дар ниҳоят ба x = 5 наздик мешавад, ки арзиши ҳадди ақали g(x) = (x – 5)2 мебошад.
Муқоисаи нархҳои омӯзиш
Биёед суръати конвергенсияи пастшавии градиентро барои суръати гуногуни омӯзиш муқоиса кунем, масалан α = 0.1, α = 0.2 ва α = 0.5 дар мисоли нави мо. Мо мебинем, ки сатҳи пасти омӯзиш (масалан, = 0.1) ба конвергенсияи дарозтар оварда мерасонад, аммо ҳадди ақали дақиқтар.
Сатҳи баландтари омӯзиш (масалан, = 0.5) тезтар ҷамъ мешавад, аммо метавонад аз ҳадди ақал боло равад ё ларзиш кунад, ки дар натиҷа дақиқии пасттар мешавад.
Намунаи мултимодалии коркарди функсияҳои ғайриконвекс
h(x) = sin(x) + 0.5x, функсияи ғайриконвексро баррасӣ кунед.
Барои ин функсия якчанд минимум ва максимаҳои маҳаллӣ мавҷуданд. Вобаста аз мавқеъи ибтидоӣ ва суръати омӯзиш, мо метавонем бо истифода аз пастшавии стандартии градиент ба ҳар як минимуми маҳаллӣ наздик шавем.
Мо метавонем инро бо истифода аз усулҳои пешрафтаи оптимизатсия ба монанди Одам ё пайдоиши градиенти стохастикӣ (SGD) ҳал кунем. Ин усулҳо суръати омӯзиши мутобиқшавӣ ё интихоби тасодуфиро барои омӯхтани минтақаҳои гуногуни манзараи функсия истифода мебаранд, ки эҳтимолияти ноил шудан ба ҳадди ақали беҳтарро афзоиш медиҳанд.
хулоса
Алгоритмҳои фаромадани градиент воситаҳои пурқуввати оптимизатсия мебошанд, ки дар доираи васеи соҳаҳо васеъ истифода мешаванд. Онҳо пасттарин (ё максималии) функсияро тавассути такроран нав кардани параметрҳо дар асоси самти градиент кашф мекунанд.
Аз сабаби хусусияти итеративии алгоритм, он метавонад фосилаҳои баландандоза ва функсияҳои мураккабро идора кунад, ки онро дар омӯзиши мошинсозӣ ва коркарди додаҳо ҳатмӣ месозад.
Пайдоиши градиент метавонад душвориҳои воқеиро ба осонӣ ҳал кунад ва ба афзоиши технология ва қабули қарорҳои ба маълумот асосёфта тавассути интихоби бодиққат суръати омӯзиш ва татбиқи вариантҳои пешрафта, аз қабили градиенти стохастикӣ ва Одам мусоидат кунад.
Дин ва мазҳаб