Misedra olana amin'ny fanatsarana isika amin'ny toe-javatra maro eran-tany izay ilaintsika hamantatra ny kely indrindra na ambony indrindra amin'ny asa iray.
Hevero ny asa iray ho fanehoana matematika amin'ny rafitra iray, ary ny famaritana ny kely indrindra na ny ambony indrindra dia mety ho fanakianana amin'ny fampiharana isan-karazany toy ny fianarana milina, injeniera, fitantanam-bola ary ny hafa.
Diniho ny tontolo misy havoana sy lohasaha, ary ny tanjonay dia ny hahita ny toerana ambany indrindra (farafahakeliny) hahatongavana haingana araka izay tratra.
Mampiasa algorithm gradient descent matetika izahay mba hamahana ireo fanamby fanatsarana toy izany. Ireo algorithm ireo dia fomba fanamafisam-peo miverimberina mba hampihenana ny asa iray amin'ny alàlan'ny fanaovana dingana mankany amin'ny fidinana midina indrindra (gradient négatif).
Ny gradient dia maneho ny tari-dalana miaraka amin'ny fisondrotana indrindra amin'ny asa, ary ny fandehanana amin'ny lalana mifanohitra dia mitondra antsika amin'ny kely indrindra.
Inona marina no atao hoe Algorithm Gradient Descent?
Ny fidinana gradient dia fomba fanao amin'ny fanatsarana miverimberina matetika hamaritana ny kely indrindra (na ambony) amin'ny asa iray.
Izy io dia fitaovana manan-danja amin'ny sehatra maro, anisan'izany fianarana milina, fianarana lalina, faharanitan-tsaina artifisialy, injeniera ary fitantanam-bola.
Ny fitsipika fototry ny algorithm dia mifototra amin'ny fampiasana ny gradient, izay mampiseho ny fitarihana ny fiakaran'ny maranitra indrindra ny sandan'ny asa.
Ny algorithm dia mamakivaky tsara ny tontolon'ny asa mankany amin'ny faran'izay kely indrindra amin'ny alàlan'ny famerimberenana dingana amin'ny lalana mifanohitra amin'ny maha-gradient, manadio tsikelikely ny vahaolana mandra-pahatongan'ny convergence.
Nahoana isika no mampiasa Algorithm Descent Gradient?
Ho fanombohana, azo ampiasaina izy ireo hamahana olana isan-karazany amin'ny fanatsarana, anisan'izany ireo manana habaka avo lenta sy fiasa sarotra.
Faharoa, afaka mahita vahaolana tsara indrindra izy ireo, indrindra rehefa tsy misy ny vahaolana analitika na lafo vidy.
Ny teknikan'ny gradient descent dia tena azo esorina ary afaka mitantana angona lehibe.
Vokatr'izany dia ampiasaina betsaka izy ireo algorithma fianarana milina toy ny fanofanana tambajotra neural mba hianatra avy amin'ny angon-drakitra sy hanova ny masontsivanany mba hanamaivanana ny fahadisoana vinavina.
Ohatra amin'ny antsipiriany momba ny dingana fidinana miandalana
Andeha hojerentsika ohatra amin'ny antsipiriany kokoa mba hahazoana fahatakarana bebe kokoa momba ny teknika fidinana miandalana.
Diniho ny fonction 2D f(x) = x2, izay miteraka curve parabola fototra miaraka amin'ny kely indrindra amin'ny (0,0). Ny algorithm gradient descent no hampiasaina hamaritana io teboka kely io.
Dingana 1: Initialization
Ny algorithm gradient descent dia manomboka amin'ny fanombohana ny sandan'ny variable x, aseho ho x0.
Ny sanda voalohany dia mety hisy fiantraikany lehibe amin'ny fahombiazan'ny algorithm.
Ny fanombohana kisendrasendra na ny fampiasana fahalalana teo aloha momba ny olana dia teknika roa mahazatra. Eritrereto hoe x₀ = 3 amin'ny fiandohan'ny tranga.
Dingana 2: Kajy ny Gradient
Ny gradient amin'ny fiasa f(x) amin'ny toerana misy ankehitriny x₀. dia tsy maintsy kajy.
Ny gradient dia manondro ny slope na ny tahan'ny fiovan'ny asa amin'io toerana manokana io.
Isika dia manisa ny derivative momba ny x ho an'ny asa f(x) = x2, izay manome f'(x) = 2x. Mahazo ny gradient amin'ny x0 ho 2 * 3 = 6 isika amin'ny fanoloana ny x₀ = 3 amin'ny kajy gradient.
Dingana 3: Fanavaozana ny paramètre
Amin'ny fampiasana ny fampahafantarana gradient, dia manavao ny sandan'ny x toy izao manaraka izao: x = x₀ – α * f'(x₀), izay ny α (alpha) dia manondro ny tahan'ny fianarana.
Ny tahan'ny fianarana dia hyperparameter izay mamaritra ny haben'ny dingana tsirairay amin'ny dingana fanavaozana. Tena zava-dehibe ny fametrahana taham-pianarana sahaza satria ny tahan'ny fianarana miadana dia mety miteraka ny algorithm maka famerimberenana be loatra mba hahatratrarana ny kely indrindra.
Ny tahan'ny fianarana ambony, etsy ankilany, dia mety hahatonga ny algorithm mitsambikina na tsy mitambatra. Andeha hojerentsika ny tahan'ny fianarana α = 0.1 ho an'ity ohatra ity.
Dingana 4: Avereno
Aorian'ny ananantsika ny sandan'ny x nohavaozina, dia averinay ny dingana 2 sy 3 ho an'ny isa efa voafaritra mialoha na mandra-pahatongan'ny fiovan'ny x ho faran'izay kely, izay manondro ny fifanandrinana.
Ny fomba dia manisa ny gradient, manavao ny sandan'ny x, ary manohy ny fomba fanao isaky ny miverina, mamela azy hanakaiky ny kely indrindra.
Dingana 5: Convergence
Ny teknika dia mifamatotra aorian'ny famerimberenana vitsivitsy mankany amin'ny toerana iray izay tsy misy fiantraikany amin'ny sandan'ny asa ny fanavaozana fanampiny.
Amin'ny toe-javatra misy antsika, raha mitohy ny famerenana, ny x dia hanakaiky ny 0, izay sanda kely indrindra amin'ny f(x) = x^2. Ny isan'ny iterations ilaina amin'ny convergence dia faritana amin'ny anton-javatra toy ny tahan'ny fianarana nofantenana sy ny fahasarotan'ny asa atao optimisé.
Misafidiana tahan'ny fianarana ()
Ny fisafidianana ny tahan'ny fianarana azo ekena () dia tena zava-dehibe amin'ny fahombiazan'ny algorithm gradient descent. Araka ny efa voalaza teo aloha, ny tahan'ny fianarana ambany dia mety hiteraka fifandirana miadana, fa ny tahan'ny fianarana ambony dia mety hiteraka fihoaram-pefy sy tsy fahombiazana.
Ny fitadiavana ny fifandanjana mety dia zava-dehibe mba hahazoana antoka fa ny algorithm dia mifamatotra amin'ny faran'izay kely indrindra araka izay azo atao.
Ny fampifanarahana ny tahan'ny fianarana dia fomba fitsapana sy fahadisoana matetika amin'ny fampiharana. Ny mpikaroka sy ny mpitsabo dia manao fanandramana tsy tapaka amin'ny tahan'ny fianarana samihafa mba hahitana ny fiantraikan'izy ireo amin'ny fifandonan'ny algorithm amin'ny fanamby manokana.
Fikarakarana asa tsy mivonto
Raha toa ny ohatra teo aloha dia nanana fiasa convex tsotra, maro ny olana momba ny fanatsarana ny tontolo tena misy dia misy fiasa tsy mivonto miaraka amin'ny minima eo an-toerana.
Rehefa mampiasa fidinana miandalana amin'ny toe-javatra toy izany, ny fomba dia afaka mifamatotra amin'ny kely indrindra eo an-toerana fa tsy ny farany ambany indrindra manerantany.
Maromaro ny endrika mandroso amin'ny fidinana miandalana novolavolaina hamahana ity olana ity. Stochastic Gradient Descent (SGD) dia fomba iray izay mampiditra ny kisendrasendra amin'ny alàlan'ny fisintonana ampahany amin'ny teboka angon-drakitra (fantatra amin'ny anarana hoe mini-batch) mba hanombanana ny gradient isaky ny mandeha.
Ity santionany kisendrasendra ity dia mamela ny algorithm hisoroka ny minima eo an-toerana ary hikaroka ampahany vaovao amin'ny terrain'ilay asa, mampitombo ny vintana hahitana ny kely indrindra.
Adama (Adaptive Moment Estimation) dia fiovaovana iray hafa misongadina, izay fomba fiasa fanatsarana ny tahan'ny fianarana adaptive izay mampiditra ny tombotsoan'ny RMSprop sy ny momentum.
Adama dia manova ny tahan'ny fianarana ho an'ny mari-pamantarana tsirairay mifototra amin'ny fampahalalana gradient teo aloha, izay mety hiteraka fifandonana tsara kokoa amin'ny fiasa tsy mivonto.
Ireo fiovaovan'ny gradient gradient ireo dia hita fa mahomby amin'ny fitantanana ireo fiasa mihasarotra ary lasa fitaovana manara-penitra amin'ny fianarana milina sy fianarana lalina, izay fahita matetika ny olana tsy mitongilana.
Dingana 6: Alaivo sary an-tsaina ny fandrosoanao
Andao hojerentsika ny fandrosoan'ny algorithm gradient descent mba hahazoana fahatakarana tsara kokoa ny fizotrany. Diniho ny kisary misy axe x maneho ny famerimberenana ary axis y maneho ny sandan'ny asa f(x).
Rehefa miverina ny algorithm, ny sandan'ny x dia manakaiky ny zero ary, vokatr'izany, ny sandan'ny asa dia midina isaky ny dingana. Rehefa amboarina amin'ny grafika, dia mampiseho fironana mihena miavaka izany, maneho ny fandrosoan'ny algorithm mankany amin'ny faran'izay kely indrindra.
Dingana 7: Fanatsarana ny tahan'ny fianarana
Ny tahan'ny fianarana () dia singa manan-danja amin'ny fahombiazan'ny algorithm. Amin'ny fampiharana, ny famaritana ny tahan'ny fianarana tsara indrindra dia matetika mila fitsapana sy fahadisoana.
Ny teknika fanatsarana sasany, toy ny fandaharam-potoana amin'ny tahan'ny fianarana, dia afaka manova ny tahan'ny fianarana amin'ny fomba mavitrika mandritra ny fiofanana, manomboka amin'ny sanda ambony ary mihena tsikelikely izany rehefa manakaiky ny fifanandrinana ny algorithm.
Ity fomba ity dia manampy amin'ny fifandanjana eo amin'ny fivoarana haingana amin'ny fiandohana sy ny fitoniana eo akaikin'ny faran'ny dingana fanatsarana.
Ohatra iray hafa: fampihenana ny asa efamira
Andeha isika hijery ohatra iray hafa mba hahazoana fahatakarana tsara kokoa ny fidinana miandalana.
Hevero ny fiasan'ny quadratique roa dimension g(x) = (x – 5)^2. Ao amin'ny x = 5, ity asa ity dia manana farafahakeliny. Mba hahitana an'io kely indrindra io, dia hampihatra ny fidinana miandalana isika.
1. Fanombohana: Andeha atomboka amin'ny x0 = 8 ho fiaingana.
2. Kajy ny gradient amin'ny g(x): g'(x) = 2(x – 5). Rehefa solointsika ny x0 = 8, ny gradient amin'ny x0 dia 2 * (8 – 5) = 6.
3. Miaraka amin'ny = 0.2 ho tahan'ny fianarana, dia manavao ny x toy izao manaraka izao: x = x₀ – α * g'(x₀) = 8 – 0.2 * 6 = 6.8.
4. Avereno: Averinay imbetsaka araka izay ilaina ny dingana 2 sy 3 mandra-pahatongan'ny fivondronana. Ny tsingerina tsirairay dia mitondra ny x manakaiky ny 5, ny sanda kely indrindra amin'ny g(x) = (x – 5)2.
5. Convergence: Ny fomba dia hivadika ho x = 5, izay sanda kely indrindra amin'ny g(x) = (x – 5)2.
Fampitahana ny tahan'ny fianarana
Andao hampitaha ny hafainganam-pandehan'ny gradient amin'ny tahan'ny fianarana samihafa, lazao hoe α = 0.1, α = 0.2, ary α = 0.5 amin'ny ohatra vaovao. Hitantsika fa ny tahan'ny fianarana ambany kokoa (ohatra, = 0.1) dia hiteraka fifanampiana lava kokoa nefa faran'izay marina kokoa.
Ny tahan'ny fianarana ambony kokoa (oh, = 0.5) dia hitambatra haingana kokoa nefa mety hihoatra na hihozongozona eo amin'ny kely indrindra, ka hiteraka faharatsiana kokoa.
Ohatra iray amin'ny multimodal amin'ny fikarakarana asa tsy mivonto
Diniho ny h(x) = sin(x) + 0.5x, asa tsy mivonto.
Misy minima sy maxima eo an-toerana maromaro ho an'ity asa ity. Miankina amin'ny toerana fiaingana sy ny tahan'ny fianarana, afaka mitodika any amin'ny kely indrindra eo an-toerana isika amin'ny fampiasana fidinana miandalana mahazatra.
Afaka mamaha izany isika amin'ny alalan'ny fampiasana teknika fanatsarana mandroso kokoa toa an'i Adama na stochastic gradient descent (SGD). Ireo fomba ireo dia mampiasa ny tahan'ny fianarana adaptatera na ny santionany kisendrasendra mba hikarohana faritra samihafa amin'ny tontolon'ny asa, mampitombo ny mety hahazoana faran'izay kely kokoa.
Famaranana
Ny algorithm gradient descent dia fitaovana fanatsarana mahery vaika izay ampiasaina betsaka amin'ny indostria isan-karazany. Hitan'izy ireo ny ambany indrindra (na ambony indrindra) amin'ny asa iray amin'ny alàlan'ny fanavaozana ny masontsivana mifototra amin'ny làlan'ny gradient.
Noho ny toetra mampiavaka ny algorithm, dia afaka mitantana habaka avo lenta sy asa sarotra izy io, ka mahatonga azy io ho ilaina amin'ny fianarana milina sy fanodinana data.
Afaka miatrika mora foana ny fahasahiranana eo amin'izao tontolo izao ny fiaviana gradient ary mandray anjara betsaka amin'ny fitomboan'ny teknolojia sy ny fandraisana fanapahan-kevitra entin'ny angona amin'ny alalan'ny fisafidianana tsara ny tahan'ny fianarana sy ny fampiharana ireo fiovaovana mandroso toa ny fiavian'ny gradient stochastic sy i Adama.
Leave a Reply