Ka pa ki a matou nga raruraru arotautanga i roto i nga ahuatanga o te ao me te tautuhi i te iti, te teitei ranei o te mahi.
Whakaarohia he mahi hei tohu pangarau o te punaha, me te whakatau i te iti, te morahi ranei, he mea tino nui mo nga momo tono penei i te ako miihini, miihini, putea, me etahi atu.
Whakaarohia he whenua me nga puke me nga awaawa, ko ta matou whainga ko te kimi i te waahi iti rawa (te iti rawa) kia tere ai te tae ki to matou haerenga.
He maha nga wa ka whakamahia e matou nga huringa rerenga reanga hei whakaoti i nga wero arotautanga. Ko enei hātepe he tikanga arotautanga auau mo te whakaiti i tetahi mahi ma te whai i nga hikoinga ki te ahunga o te hekenga tino pari (te rōnaki kino).
Ko te rōnaki e whakaatu ana i te ahunga me te tino pikinga o te mahi, a, ko te haere ki tera huarahi ka arahi tatou ki te iti rawa.
He aha te Tikanga Tikanga Whakaheke Rōnaki?
Ko te whakahekenga whakararo he huarahi arotautanga unuku rongonui mo te whakatau i te iti (te teitei ranei) o tetahi mahi.
He taputapu tino nui i roto i te maha o nga mara, tae atu ki akoranga mīhini, te ako hohonu, te mohio horihori, te miihini, me te putea.
Ko te kaupapa taketake o te algorithm e ahu mai ana i tana whakamahinga o te rōnaki, e whakaatu ana i te ahunga o te piki koi o te uara o te mahi.
He pai te whakaterenga a te algorithm i te whenua o te mahi ki te iti rawa ma te haere tonu i nga hikoi ki te taha rereke hei rōnaki, te whakamahine i te otinga tae noa ki te whakakotahitanga.
He aha tatou e whakamahi ai i nga Algorithm Descent Gradient?
Hei tiimatanga, ka taea te whakamahi ki te whakaoti i nga momo rapanga arotautanga, tae atu ki era he waahi teitei me nga mahi uaua.
Tuarua, ka taea e ratou te kimi i nga otinga tino pai, ina koa karekau te otinga tātari i te waatea, te utu nui ranei.
He tino tauine nga tikanga whakaheke i te rōnaki, ā, ka taea te whakahaere i ngā huingararaunga rahi.
Ko te mutunga, ka whakamahia nuitia ki roto miihini akoako miihini he rite ki te whakangungu i nga whatunga neural ki te ako mai i nga raraunga me te whakarereke i o raatau taapiri hei whakaiti i nga hapa matapae.
He Tauira Taipitopito o nga Huringa Whakaheke Rōnaki
Ka titiro tatou ki tetahi tauira tino whai kiko kia pai ake te maarama ki te tikanga whakaheke rōnaki.
Whakaarohia te mahinga 2D f(x) = x2, e whakaputa ana i te ānau parapara taketake me te iti ki te (0,0). Ka whakamahia te hautaka whakararo o te hekenga ki te whakatau i tenei tohu iti.
Hipanga 1: Arawhiti
Ka timata te huringa hautepe o te hekenga ma te arawhiti i te uara o te taurangi x, e tohuhia ana hei x0.
Ko te uara tuatahi ka whai paanga nui ki te mahinga o te algorithm.
Ko te arawhiti matapōkere, te whakamahi mōhiotanga o mua mō te raru e rua ngā tikanga noa. Me whakaaro ko te x₀ = 3 i te timatanga o ta tatou keehi.
Hipanga 2: Tātaihia te Rōnaki
Te rōnaki o te mahi f(x) i te tūnga o nāianei x₀. me tatau.
Ko te rōnaki e tohu ana i te pikinga, i te tere ranei o te huringa o te mahi i tera tuunga.
Ka tātaihia te pārōnaki mō x mō te mahi f(x) = x2, e whakarato ana i te f'(x) = 2x. Ka whiwhi tatou i te rōnaki i te x0 hei 2 * 3 = 6 mā te whakakapi i te x₀ = 3 ki te tātai rōnaki.
Hipanga 3: Whakahou Tawhā
Ma te whakamahi i nga korero rōnaki, ka whakahōuhia te uara o te x e whai ake nei: x = x₀ – α * f'(x₀), ko te α (alpha) te tohu i te reiti ako.
Ko te reeti ako he tawhārua e whakatau ana i te rahi o ia hikoinga i roto i te tukanga whakahou. He mea nui te whakarite i te reiti ako e tika ana na te mea he puhoi te reeti ako ka puta te hātepe kia maha rawa nga tukurua kia eke ki te iti rawa.
Ko te reeti ako teitei, i tetahi atu taha, ka puta pea ka peke te algorithm, ka kore ranei e whakakotahi. Me whakaaro tatou he reiti ako α = 0.1 mo tenei tauira.
Hipanga 4: Whakahou
Whai muri i a maatau te uara whakahou o x, ka whakahoki ano i nga Hipanga 2 me te 3 mo te maha o nga whitiwhitinga kua whakatauhia, kia iti noa ranei te huringa o te x, e tohu ana i te whakakotahitanga.
Ka tatauhia e te tikanga te rōnaki, te whakahōu i te uara o te x, ka haere tonu te hātepe i ia whitiwhitinga, kia tata atu ki te iti.
Hipanga 5: Hurihuri
Ka huri te tikanga i muri i etahi whitiwhitinga ki te waahi karekau etahi atu whakahou e pa ki te uara o te mahi.
I a maatau, i te wa e haere tonu ana nga whitiwhitinga, ka tata te x ki te 0, ko te uara iti o te f(x) = x^2. Ko te maha o nga whitiwhiti e tika ana mo te whakakotahi ka whakatauhia e nga mea penei i te reiti ako i tohua me te uaua o te mahi e arotau ana.
Te Whiriwhiri Reiti Ako ()
Ko te whiriwhiri i te reiti ako e whakaaetia ana () he mea tino nui mo te whaihuatanga o te rerenga rerenga algorithm. Ka rite ki te korero i mua ake nei, ma te iti o te reiti ako ka puhoi te whakakotahitanga, engari ma te nui o te reeti ako ka paheke me te kore e whakakotahi.
Ko te rapu i te toenga tika he mea nui ki te whakarite kia huri te algorithm ki te iti rawa e tika ana.
Ko te whakatikatika i te reeti ako he tikanga whakamatautau me te hapa i roto i nga mahi. He rite tonu te whakamatautau a nga Kairangahau me nga tohunga ki nga reiti ako rereke kia kite i te paanga o te huringa o te algorithm ki o raatau wero.
Te Whakahaere i nga Mahi Kore-Convex
Ahakoa te tauira o mua he taumahi convex ngawari, he maha nga take arotautanga o te ao ka uru ki nga mahi kore-convex me te maha o te iti o te rohe.
I te wa e whakamahi ana i te whakahekenga rōnaki i roto i enei ahuatanga, ka huri te tikanga ki te iti o te rohe, kaua ki te iti o te ao.
He maha nga ahuatanga o te hekenga o te rōnaki kua oti te hanga hei whakatau i tenei take. Ko Stochastic Gradient Descent (SGD) tetahi o nga tikanga e whakaatu ana i te matapōkeretia ma te kowhiri i tetahi waahanga matapōkere o nga tohu raraunga (e mohiotia ana he puranga-iti) hei tatau i te rōnaki i ia whitiwhitinga.
Ma tenei tauira matapōkere ka taea e te algorithm te karo i te iti o te rohe me te tuhura i nga waahanga hou o te whenua o te mahi, me te whakanui ake i nga tupono ka kitea he iti ake.
Ko Adam (Adaptive Moment Estimation) tetahi atu rerekee rongonui, he huarahi arotautanga reiti ako urutau e whakauru ana i nga painga o te RMSprop me te torohaki.
Ka whakarerekēhia e Arama te reiti ako mo ia tawhā i runga i nga korero rōnaki o mua, tera pea ka pai ake te whakakotahitanga i runga i nga mahi kore-pupuu.
Kua kitea te whai hua o enei rereketanga o te hekenga o te rōnaki ki te whakahaere i nga mahi uaua ake, a kua waiho hei taputapu paerewa mo te ako miihini me te ako hohonu, kei reira nga take arotautanga kore-convex he mea noa.
Hipanga 6: Whakaarohia to ahunga whakamua
Kia kite tatou i te kauneketanga o te hautepe whakararo o te hekenga kia pai ake ai te maarama ki tana mahi tukurua. Whakaarohia he kauwhata me te tuaka-x e tohu ana i nga whitiwhitinga me te tuaka-y e tohu ana i te uara o te mahi f(x).
I te hurihanga o te algorithm, ka tata te uara o x ki te kore, na reira, ka heke te uara mahi ki ia taahiraa. Ina tuhia ki te kauwhata, ka whakaatu tenei i te ia e heke ana, e whakaatu ana i te ahunga whakamua o te algorithm ki te eke ki te iti rawa.
Hipanga 7: Whakapaipai i te Reiti Ako
Ko te reiti ako () tetahi take nui mo te mahinga o te algorithm. I roto i te mahi, ko te whakatau i te reeti ako tino pai me whakamatau me te he.
Ko etahi tikanga arotautanga, penei i nga raarangi reeti ako, ka taea te whakarereke i te reiti ako i te wa e whakangungu ana, ka tiimata me te uara teitei ake ka heke haere i te wa e tata ana te huringa algorithm.
Ko tenei tikanga ka awhina i te taurite i waenga i te whanaketanga tere i te timatanga me te pumau tata ki te mutunga o te mahi arotautanga.
Tetahi Tauira: Te Whakaiti i te Mahi Tapawhā
Ka titiro tatou ki tetahi atu tauira kia pai ake ai te maarama ki te hekenga rōnaki.
Whakaarohia te mahi tapawhā-rua g(x) = (x – 5)^2. I te x = 5, he iti te iti o tenei mahi. Ki te kimi i tenei iti rawa, ka hoatu e matou te hekenga rōnaki.
1. Te timatanga: Me timata ma te x0 = 8 hei timatanga.
2. Tātaihia te rōnaki o te g(x): g'(x) = 2(x – 5). Ka whakakapia te x0 = 8, ko te rōnaki i te x0 ko te 2 * (8 – 5) = 6.
3. Ki te = 0.2 te reiti ako, ka whakahōuhia e mātou te x e whai ake nei: x = x₀ – α * g'(x₀) = 8 – 0.2 * 6 = 6.8.
4. Tukurua: Ka mahi ano tatou i nga taahiraa 2 me te 3 i nga wa e tika ana kia tae ra ano te whakakotahitanga. Ko ia huringa ka tata te x ki te 5, te uara iti o te g(x) = (x – 5)2.
5. Te Hurihuri: Ka huri te tikanga ki te x = 5, ko te uara iti o te g(x) = (x – 5)2.
Whakataurite Reiti Ako
Me whakatairitehia te tere o te whakakotahitanga o te heke rōnaki mo nga reiti ako rereke, me kii te α = 0.1, te α = 0.2, me te α = 0.5 i roto i ta maatau tauira hou. Ka kite tatou he iti ake te reiti ako (hei tauira, = 0.1) ka roa ake te whakakotahi engari he iti ake te tika.
Ko te reiti ako teitei ake (hei tauira, = 0.5) ka tere ake te whakakotahi engari ka kaha ake, ka oho ranei mo te iti rawa, ka iti ake te tika.
He Tauira Multimodal o te Whakahaere Taumahi Kore-Convex
Whakaarohia te h(x) = hara(x) + 0.5x, he taumahi-kore.
He maha nga iti me te maxima o te rohe mo tenei mahi. I runga i te tuunga timatanga me te reiti ako, ka taea e tatou te huri ki tetahi o nga iti o te rohe ma te whakamahi i te whakahekenga rōnaki paerewa.
Ka taea e tatou te whakatau i tenei ma te whakamahi i nga tikanga arotautanga matatau penei i a Adam, i te hekenga rōnaki stochastic ranei (SGD). Ka whakamahia e enei tikanga nga reiti ako urutau, te tauira matapōkere ranei ki te tuhura i nga rohe rereke o te whenua o te mahinga, ka piki ake te tupono ka eke ki te iti rawa.
Opaniraa
He taputapu arotautanga kaha e whakamahia nuitia ana i roto i te whānuitanga o nga ahumahi. Ka kitea e ratou te iti rawa (te morahi ranei) o tetahi mahi ma te whakahou i nga tawhā i runga i te ahunga o te rōnaki.
Na te ahua o te huringa algorithm, ka taea e ia te whakahaere i nga waahi teitei me nga mahi uaua, he mea nui ki te ako miihini me te tukatuka raraunga.
Ka taea e te hekenga o te Rōnaki te whakatika i nga uauatanga o te ao, me te whai waahi nui ki te tipu o te hangarau me te whakatau whakatau a-raraunga ma te ata whiriwhiri i te reiti ako me te whakamahi i nga momo rereke penei i te hekenga rōnaki stochastic me Arama.
Waiho i te Reply