Matou te feagai ma faʻafitauli faʻapitoa i le tele o tulaga moni o le lalolagi lea e manaʻomia ai ona matou iloa le laʻititi poʻo le maualuga o se galuega.
Mafaufau i se galuega e avea ma faʻataʻitaʻiga o le matematika o se faiga, ma le fuafuaina o lona laʻititi poʻo le maualuga e mafai ona taua tele mo le tele o faʻaoga e pei o le aʻoaʻoina o masini, inisinia, tupe, ma isi.
Mafaufau i se laufanua e iai aʻega ma vanu, ma o la matou sini o le suʻeina lea o le pito pito i lalo (maualalo) e oʻo atu ai i le matou taunuuga i se taimi vave e mafai ai.
E masani ona matou fa'aogaina fa'agasologa fa'agasologa fa'asolosolo e fo'ia ai fa'afitauli fa'apea. O nei algorithms o metotia faʻataʻitaʻi faʻapitoa mo le faʻaitiitia o se galuega e ala i le faia o laʻasaga i le itu o le paʻu pito sili ona maualuga (negative gradient).
O le gradient e atagia ai le itu ma le siʻitia sili ona maualuga o le galuega, ma o le faimalaga i le isi itu e taʻitaʻia ai i tatou i le pito i lalo.
Ole a tonu ole Gradient Descent Algorithm?
O le fa'asolosolo fa'asolosolo o se faiga fa'apitoa e fa'ata'ita'i fa'ata'ita'i mo le fuafuaina o le la'ititi (po'o le maualuga) o se galuega.
O se meafaigaluega taua i le tele o vaega, e aofia ai masini suʻesuʻe, a'oa'oga loloto, atamai fa'apitoa, inisinia, ma tupe.
O le mataupu faavae a le algorithm e faʻavae i luga o lona faʻaogaina o le gradient, lea e faʻaalia ai le itu o le faʻateleina faʻateleina o le tau o le galuega.
O le algorithm e fa'atautaia lelei le laufanua o le galuega agai i le pito maualalo e ala i le faia pea o laasaga i le itu faafeagai e pei o le fa'alili, fa'amama fa'asolosolo le fofo seia o'o ina fa'atasi.
Aisea tatou te Fa'aaogaina ai Algorithm Fa'agasologa Gradient?
Mo le amataga, e mafai ona faʻaaogaina e foia ai le tele o faʻafitauli faʻapitoa, e aofia ai i latou e iai avanoa maualuga ma galuega faʻalavelave.
Lona lua, e mafai ona latou vave maua ni fofo sili ona lelei, aemaise lava pe a le maua le fofo auʻiliʻili pe taugata faʻatusatusa.
O metotia fa'asolosolo fa'asolosolo e matua'i fa'ateleina ma e mafai ona fa'amanuiaina fa'amaumauga tetele.
O se taunuuga, latou te faʻaaogaina lautele i masini aoaoina algorithms e pei o le aʻoaʻoina o fesoʻotaʻiga neural e aʻoaʻo mai faʻamaumauga ma fesuiaʻi o latou taʻaloga e faʻaitiitia ai mea sese.
O se Fa'ata'ita'iga Auiliili o La'asaga Tu'u Agaifanua
Se'i o tatou va'ava'ai i se fa'ata'ita'iga e sili atu ona au'ili'ili ina ia maua ai se malamalamaga sili atu i le fa'aogaina o le fa'agasologa fa'asolosolo.
Manatunatu i le galuega 2D f(x) = x2, lea e fa'atupu ai se fa'ata'oto fa'ata'oto ma le la'ititi i le (0,0). Ole gradient descent algorithm ole a fa'aogaina e iloa ai le la'ititi lea.
Laasaga 1: Initialization
O le fa'asolosolo fa'asolosolo algorithm e amata i le amataina o le tau o le fesuiaiga x, fa'atusaina o le x0.
O le tau muamua e mafai ona i ai se aafiaga tele i le faʻatinoga o le algorithm.
Fa'ailoga fa'afuase'i po'o le fa'aaogaina o le malamalama muamua o le fa'afitauli o ni auala masani e lua. Fa'apea o le x₀ = 3 i le amataga o la tatou mataupu.
Laasaga 2: Fa'atatau le Gradient
O le faanene o le galuega f(x) i le tulaga nei x₀. e tatau loa ona fuafua.
O le gradient o lo'o fa'aalia ai le slope po'o le fua o le suiga o le galuega i lena tulaga patino.
Matou te fa'atusatusaina le fa'atatau i le x mo le galuega f(x) = x2, lea e maua ai le f'(x) = 2x. Matou te maua le fa'alili i le x0 e pei o le 2 * 3 = 6 e ala i le suiina o le x₀ = 3 i le fa'atatauga fa'alili.
Laasaga 3: Faʻafouina Parameter
I le fa'aogaina o fa'amatalaga gradient, matou te fa'afouina le tau o le x e fa'apea: x = x₀ – α * f'(x₀), lea o le α (alpha) e fa'ailoa ai le fua faatatau o le a'oa'oina.
Ole fua ole a'oa'oga ose hyperparameter e iloa ai le tele o la'asaga ta'itasi ile faiga fa'afou. E taua tele le fa'atulagaina o le fua faatatau o le a'oa'oina ona o le fa'agesegese o le a'oa'oga e mafai ona mafua ai le algorithm ia faia le tele o toe fai e oo ai i le mea aupito maualalo.
O le maualuga o le aʻoaʻoga, i le isi itu, e mafai ona iu i le algorithm e faʻafefe pe le mafai ona faʻafeiloaʻi. Sei o tatou manatu i se fua faatatau o le aʻoaʻoina o le α = 0.1 mo le lelei o lenei faʻataʻitaʻiga.
Laasaga 4: Toe fai
A mae'a ona maua le tau fa'afou o le x, ona toe faia lea o le Laasaga 2 ma le 3 mo se numera fa'atulagaina o fa'asologa po'o se'ia o'o ina la'ititi le suiga i le x, e fa'ailoa mai ai le feso'ota'iga.
O le metotia e faʻatatauina le gradient, faʻafouina le tau o le x, ma faʻaauau le faʻagasologa i faʻasologa taʻitasi, faʻatagaina e latalata atili i le pito maualalo.
Laasaga 5: Fa'atasi
O le metotia e fa'afeiloa'i pe a mae'a ni nai su'esu'ega i se tulaga e le toe a'afia ai nisi fa'afouga i le taua o le galuega.
I lo tatou tulaga, a'o fa'aauau pea, o le a latalata le x i le 0, o le tau aupito maualalo lea o f(x) = x^2. Ole numera o fa'ata'ita'iga e mana'omia mo le feso'ota'iga e fa'atatau i mea e pei ole fua ole a'oa'oga ua filifilia ma le lavelave ole galuega o lo'o fa'asilisiliina.
Filifilia o se Fua Fa'atatau ()
Filifilia se fua faatatau a'oa'oga talia () e taua tele mo le fa'amalieina o le fa'asologa o le algorithm. E pei ona ta'ua muamua, o le maualalo o le a'oa'oga e mafai ona fa'atupu fa'agesegese le fe'avea'i, a'o le maualuga o le a'oa'oga e mafai ona mafua ai le so'ona ma le le mafai ona fa'atasi.
O le mauaina o le paleni talafeagai e taua tele i le faʻamautinoaina o le algorithm o loʻo faʻafeiloaʻi i le faʻamoemoega maualalo i le lelei e mafai ai.
O le fa'atulagaina o le fua faatatau o le a'oa'oina e masani lava o se faiga fa'ata'ita'i ma sese i le fa'atinoga. E masani ona fa'ata'ita'i e le au su'esu'e ma le a'oa'oina fua faatatau eseese e iloa ai pe fa'afefea ona latou a'afia ai le feso'ota'iga o le algorithm i la latou lu'itau patino.
Fa'afoega o Galuega e le Fa'asa'o
E ui o le fa'ata'ita'iga muamua sa i ai se galuega fa'apipi'i faigofie, o le tele o fa'afitauli fa'atatau i le lalolagi moni e a'afia ai galuega e le-convex ma le tele o la'ititi fa'apitonu'u.
A fa'aogaina le fa'asolo malie i tulaga fa'apenei, e mafai ona fa'afeso'ota'i le metotia i se pito maualalo fa'apitonu'u nai lo le maualalo ole lalolagi.
E tele fo'i tu'aiga aga'i atu ole fa'asolo malie ua fa'atupuina e fo'ia ai lenei fa'afitauli. Stochastic Gradient Descent (SGD) o se tasi o ia auala e faʻaalia ai le faʻafuaseʻi e ala i le pikiina o se vaega faʻapitoa o faʻamaumauga (faʻapitoa o se mini-batch) e faʻatatau le gradient i suʻesuʻega taʻitasi.
O lenei fa'ata'ita'iga fa'afuase'i e mafai ai e le algorithm ona aloese mai le la'ititi o le lotoifale ma su'esu'e vaega fou o le fanua o le galuega, fa'ateleina le avanoa e maua ai se la'ititi sili atu.
O Atamu (Adaptive Moment Estimation) o se isi suiga iloga, o se auala e faʻaleleia ai fua faatatau o aʻoaʻoga e aofia ai faʻamanuiaga o le RMSprop ma le malosi.
Ua suia e Atamu le fua faatatau o le a'oa'oina mo parata'i ta'itasi ma le malosi e fa'atatau i fa'amatalaga gradient muamua, lea e ono maua ai le fa'aopoopo lelei i galuega e le fa'afefe.
O nei suiga fa'asolosolo fa'asolosolo fa'asolosolo ua fa'amaonia le aoga i le fa'afoeina o galuega fa'atupula'ia fa'alavelave ma ua avea ma mea faigaluega masani i le a'oa'oina o masini ma le loloto o le a'oa'oina, lea e masani ai fa'afitauli e le'o fa'atatauina.
Laasaga 6: Va'ai faalemafaufau i lou Alualu i Luma
Se'i o tatou va'ai i le aga'i i luma ole gradient descent algorithm ina ia maua ai se malamalamaga sili atu i lona fa'agasologa fa'asolosolo. Manatu i se kalafi o lo'o i ai le laina-x e fai ma sui o fa'asologa ma le itu-y e fa'atusalia le tau o le galuega f(x).
A'o fa'asolosolo le algorithm, o le tau o le x e latalata i le zero ma, o se taunuuga, o le tau o galuega e pa'ū i laasaga taʻitasi. Pe a fa'atulaga i luga o se kalafi, o le a fa'aalia ai se fa'aitiitiga manino, e atagia ai le alualu i luma o le algorithm e o'o atu i le pito maualalo.
Laasaga 7: Fa'alelei le fua o le a'oa'oina
Ole fua ole a'oa'oga () ose mea taua ile fa'atinoga ole algorithm. I le fa'ata'ita'iga, o le fuafuaina o le fua faatatau lelei o le a'oa'oina e masani ona mana'omia ai se fa'ata'ita'iga ma mea sese.
O nisi auala fa'apitoa, e pei o le fa'atulagaina o fua faatatau o a'oa'oga, e mafai ona suia le fua o le a'oa'oga i le taimi o toleniga, amata i se tau maualuga ma faasolosolo fa'aitiitia a'o fa'alatalata le algorithm.
O lenei metotia e fesoasoani e maua ai se paleni i le va o le atinaʻe vave i le amataga ma le mautu latalata i le faaiuga o le faʻagasologa o le faʻaogaina.
O le isi Fa'ata'ita'iga: Fa'aiti'itia se Fa'atinoga Fa'afafa
Se'i o tatou va'ai i se isi fa'ata'ita'iga e maua ai se malamalamaga sili atu i le fa'asolo malie.
Se'i manatu i le galuega fa'afa'afa'afa e lua-dimensional g(x) = (x – 5)^2. I le x = 5, o lenei galuega e iai foʻi le laʻititi. Ina ia maua le la'ititi lea, e tatau ona tatou fa'aogaina le fa'asolo malie.
1. Amataina: Tatou amata i le x0 = 8 o lo tatou amataga.
2. Fa'atatau le fa'alili ole g(x): g'(x) = 2(x – 5). A tatou suitulaga i le x0 = 8, o le gradient i le x0 o le 2 * (8 – 5) = 6.
3. Fa'atasi ai ma le = 0.2 e pei o la matou fua faatatau o le a'oa'oina, matou te fa'afouina le x e fa'apea: x = x₀ – α * g'(x₀) = 8 – 0.2 * 6 = 6.8.
4. Toe fai: Matou te toe faia le Laasaga 2 ma le 3 i le tele o taimi e tatau ai seia oʻo ina maua le faʻatasi. Ta'amilosaga ta'amilosaga ta'amilosaga ta'amilosaga ta'itasi e fa'alatalata atu ai le x ile 5, ole tau la'ititi ole g(x) = (x – 5)2.
5. Feso'ota'iga: O le metotia o le a iu lava ina fa'atasi i le x = 5, o le tau la'ititi lea o le g(x) = (x – 5)2.
A'oa'oga Fua Fa'atusatusa
Se'i o tatou fa'atusatusa le saoasaoa o le fa'atasi o le fa'asolo malie mo fua faatatau eseese o a'oa'oga, fai mai α = 0.1, α = 0.2, ma le α = 0.5 i la tatou fa'ata'ita'iga fou. E mafai ona tatou va'aia o le maualalo o le a'oa'oga (fa'ata'ita'iga, = 0.1) o le a i'u ai i se fa'aputuga umi ae sili atu le sa'o.
Ole fua ole a'oa'oga maualuga (fa'ata'ita'iga, = 0.5) o le a fa'avavevave fa'atasi ae e mafai ona so'ona po'o fa'ase'e ile la'ititi la'ititi, ma fa'aletonu ai le sa'o.
Ose Fa'ata'ita'iga Multimodal o le Fa'afoega o Galuega Fa'atino e Le'o-Convex
Manatu i le h(x) = sin(x) + 0.5x, o se galuega e le fa'alili.
O lo'o i ai ni nai fa'apitonu'u ma fa'amaualuga mo lenei galuega. Fa'alagolago ile tulaga amata ma le fua ole a'oa'oga, e mafai ona tatou fa'afeso'ota'i i so'o se fa'aitiitiga fa'apitonu'u e fa'aaoga ai le fa'asolosolo fa'asolosolo masani.
E mafai ona tatou foia lenei mea e ala i le faʻaaogaina o auala sili atu ona faʻaleleia e pei o Atamu poʻo le faʻasolosolo faʻasolosolo (SGD). O nei metotia e fa'aogaina fua faatatau a'oa'oga po'o fa'ata'ita'iga fa'afuase'i e su'esu'e ai vaega 'ese'ese o le fa'afanua o le galuega, fa'atuputeleina ai le avanoa e ausia ai se pito maualalo sili atu.
iʻuga
Gradient Descent Algorithm o ni meafaigaluega fa'apitoa fa'apitoa e fa'aaogaina lautele i le tele o alamanuia. Latou te mauaina le pito maualalo (poʻo le maualuga) o se galuega e ala i le toe faʻafouina o faʻamaufaʻailoga e faʻavae i luga o le itu o le gradient.
Ona o le algorithm's iterative natura, e mafai ona taulimaina avanoa maualuga-dimensional ma galuega faʻalavelave, e matua taua tele i le aʻoaʻoina o masini ma faʻamaumauga faʻamaumauga.
E mafai ona faigofie ona fo'ia e fa'atupu fa'ama'i fa'afitauli i le lalolagi ma e tele sona sao i le fa'atuputeleina o tekonolosi ma fa'amaumauga e fa'atatau i fa'ai'uga e ala i le filifilia ma le fa'aeteete le fua faatatau o le a'oa'oina ma le fa'aogaina o suiga tetele e pei o le stochastic gradient descent ma Atamu.
Tuua se tali