Anyị na-eche nsogbu njikarịcha ihu n'ọtụtụ ọnọdụ ụwa ebe anyị kwesịrị ịchọpụta nke kacha nta ma ọ bụ kacha nke ọrụ.
Tụlee otu ọrụ ka ọ bụrụ ihe nnọchianya mgbakọ na mwepụ nke usoro, na ikpebi opekempe ma ọ bụ karịa nwere ike ịdị oke mkpa maka ngwa dị iche iche dịka mmụta igwe, injinia, ego na ndị ọzọ.
Tụlee odida obodo nwere ugwu na ndagwurugwu, na ebumnuche anyị bụ ịchọta ebe kacha ala ( kacha nta) iji rute ebe anyị na-aga ngwa ngwa o kwere mee.
Anyị na-ejikarị algọridim gradient mgbada iji dozie ihe ịma aka njikarịcha dị otú ahụ. Algọridim ndị a bụ ụzọ kachasị mma maka ibelata ọrụ site n'ime usoro na ntụzịaka nke mgbada kachasị elu (gradient na-adịghị mma).
The gradient na-egosipụta ntụziaka na steeep kasị ukwuu na-abawanye na ọrụ, na-ejegharị n'akụkụ nke ọzọ na-eduga anyị na kacha nta.
Kedu ihe bụ Gradient Descent Algorithm?
Ọdịda gradient bụ usoro kachasị ewu ewu maka ịchọpụta opekempe (ma ọ bụ karịa) nke ọrụ.
Ọ bụ ngwá ọrụ dị oke egwu n'ọtụtụ mpaghara, gụnyere ngwa igwe, mmụta miri emi, ọgụgụ isi, injinia na ego.
Ụkpụrụ bụ isi nke algọridim dabere na iji gradient ya, nke na-egosiputa ntụzịaka nke mmụba kachasị na uru ọrụ ahụ.
Algọridim na-arụ ọrụ nke ọma na-agagharị na odida obodo nke ọrụ ahụ ruo opekempe site na-eme usoro ugboro ugboro n'akụkụ nke ọzọ dị ka gradient, na-emegharị ihe ngwọta ya ugboro ugboro ruo mgbe ọ ga-ejikọta.
Kedu ihe kpatara anyị ji eji Algorithms nke gradient?
Maka mmalite, enwere ike iji ha dozie nsogbu dị iche iche nke njikarịcha, gụnyere ndị nwere oghere dị elu na ọrụ mgbagwoju anya.
Nke abụọ, ha nwere ike ịchọta ngwọta kachasị mma ngwa ngwa, karịsịa mgbe ngwọta nyocha adịghị ma ọ bụ ọnụ ọnụ.
Usoro mgbada gradient bụ nke a na-agbakọ nke ukwuu ma nwee ike ijikwa nnukwu datasets nke ọma.
N'ihi ya, a na-eji ha eme ihe n'ọtụtụ ebe igwe na-amụ algorithms dị ka ịzụ netwọkụ akwara ozi ka ha mụta na data ma gbanwee paramịlụ ha iji belata mmejọ amụma.
Ihe Nlereanya zuru oke nke nzọụkwụ mgbada gradient
Ka anyị leba anya n'ihe atụ zuru oke ka anyị wee nwee nghọta ka mma maka usoro mgbada gradient.
Tụlee ọrụ 2D f(x) = x2, bụ nke na-ewepụta usoro parabolic bụ isi na opekempe na (0,0). A ga-eji gradient mgbada algọridim iji chọpụta ihe dị ntakịrị.
Nzọụkwụ 1: Mmalite
Algọridim mgbada gradient na-amalite site na ibido uru nke agbanwe agbanwe x, nke nọchiri anya x0.
Uru mbụ nwere ike inwe mmetụta dị ukwuu na arụmọrụ algọridim.
Mmalite ma ọ bụ were tupu amata nsogbu ahụ bụ usoro abụọ a na-ahụkarị. Were ya na x₀ = 3 na mmalite nke ikpe anyị.
Nzọụkwụ 2: Gbakọọ gradient
Ihe gradient nke ọrụ f(x) dị ugbu a x₀. a ga-agbakọkwa.
Ihe gradient na-egosi mkpọda ma ọ bụ ọnụego mgbanwe nke ọrụ n'otu ọnọdụ ahụ.
Anyị na-agbakọ mwepụta gbasara x maka ọrụ f(x) = x2, nke na-enye f'(x) = 2x. Anyị na-enweta gradient na x0 ka 2 * 3 = 6 site n'ịgbanwe x₀ = 3 n'ime mgbako gradient.
Nzọụkwụ 3: Melite Parameters
Iji ozi gradient, anyị na-emelite uru x dị ka ndị a: x = x₀ – α * f'(x₀), ebe α (alpha) na-egosi ọnụego mmụta.
Ọnụego mmụta bụ hyperparameter nke na-ekpebi nha nke nzọụkwụ ọ bụla na usoro mmelite. Ịtọpụta ọnụego mmụta kwesịrị ekwesị dị oke mkpa ebe ọ bụ na ọnụ ọgụgụ mmụta ngwa ngwa nwere ike ịkpata ya algọridim ime ọtụtụ ugboro ugboro iji ruo opekempe.
Ọnụ ọgụgụ mmụta dị elu, n'aka nke ọzọ, nwere ike ime ka algọridim na-agba ọsọ ma ọ bụ ịghara ịgbakọta. Ka anyị were ọnụego mmụta nke α = 0.1 maka ihe atụ a.
Nzọụkwụ 4: Megharịa
Mgbe anyị nwechara uru x emelitere, anyị na-emegharị nzọụkwụ 2 na 3 maka ọnụọgụ akwadoro nke ugboro ugboro ma ọ bụ ruo mgbe mgbanwe dị na x ga-adị ntakịrị, na-egosi njikọ.
Usoro a na-agbakọ gradient, na-emelite uru nke x, ma na-aga n'ihu na usoro na ntugharị ọ bụla, na-enye ya ohere ịbịaru nso na opekempe.
Nzọụkwụ 5: Convergence
Usoro a na-agbakọta ka emechara ole na ole ruo n'ókè ebe mmelite ndị ọzọ anaghị emetụta uru ọrụ ahụ n'ụzọ anụ ahụ.
N'ọnọdụ anyị, ka mmegharị ahụ na-aga n'ihu, x ga-abịaru nso 0, nke bụ uru kacha nta nke f(x) = x^2. A na-ekpebi ọnụọgụ nke itiration dị mkpa maka njikọta site na ihe ndị dị ka ọnụọgụ mmụta ahọpụtara na mgbagwoju anya nke ọrụ a na-emeziwanye.
Ịhọrọ Ọnụ Ọgụgụ ()
Ịhọrọ ọnụego mmụta anabatara () dị oke mkpa maka ịdị irè algọridim mgbada gradient. Dị ka ekwuru na mbụ, ọnụ ọgụgụ mmụta dị ala nwere ike ime ka ọnụ ọgụgụ dị nwayọọ nwayọọ, ebe ọnụ ọgụgụ mmụta dị elu nwere ike ime ka ịfefefefe na ọdịda ghara ikpokọta.
Ịchọta nguzozi kwesịrị ekwesị dị oke mkpa iji hụ na algọridim na-agbakọta na opekempe e bu n'obi dị ka o kwere mee.
Ịtụgharị ọnụ ọgụgụ mmụta na-abụkarị usoro nnwale na njehie na omume. Ndị na-eme nchọpụta na ndị na-eme nchọpụta na-anwale ọnụego mmụta dị iche iche iji hụ ka ha si emetụta nkwekọ algorithm na ihe ịma aka ha.
Ijikwa Ọrụ Na-adịghị Convex
Ọ bụ ezie na ihe atụ nke bu ụzọ nwere ọrụ convex dị mfe, ọtụtụ okwu njikarịcha n'ụwa gụnyere ọrụ na-abụghị convex yana ọtụtụ minima mpaghara.
Mgbe ị na-eji mgbada gradient n'ọnọdụ ndị dị otú ahụ, usoro a nwere ike ịgbakọ na opekempe mpaghara karịa nke kacha nta n'ụwa.
Azụlitela ọtụtụ ụdị dị elu nke mgbada gradient iji merie nsogbu a. Stochastic Gradient Descent (SGD) bụ otu ụdị usoro na-ewebata randomness site n'ịhọrọ a random subset nke data isi (nke a maara dị ka a Obere-batch) gbakọọ gradient na ọ bụla iteration.
Nlereanya na-enweghị usoro a na-enye ohere algọridim iji zere minima mpaghara wee nyochaa akụkụ ọhụrụ nke ala ọrụ ahụ, na-akwalite ohere nke ịchọpụta opekempe ka mma.
Adam (Atụmatụ Oge Ntugharị) bụ mgbanwe ọzọ pụtara ìhè, nke bụ usoro nkwalite ọnụego mmụta na-agbanwe agbanwe nke na-etinye uru nke ma RMSprop na ngwa ngwa.
Adam na-agbanwe ọnụego mmụta maka oke nke ọ bụla n'ike n'ike dabere na ozi gradient gara aga, nke nwere ike ibute nchikota ka mma na ọrụ ndị na-abụghị convex.
Ọdịiche dị iche iche nke gradient ndị a egosila na ọ dị irè n'ijikwa ọrụ ndị na-agbagwoju anya ma bụrụkwa ngwaọrụ ọkọlọtọ na mmụta igwe na mmụta miri emi, ebe nsogbu njikarịcha na-abụghị convex na-adịkarị.
Nzọụkwụ 6: Jiri anya nke uche hụ ọganihu Gị
Ka anyị hụ ọganihu nke gradient mgbada algọridim iji nweta nghọta ka mma maka usoro nkwuputa ya. Tụlee eserese nwere axis x na-anọchi anya itiration yana y-axis na-anọchi anya uru nke ọrụ f(x).
Ka algọridim na-ekwughachi, uru x na-abịaru nso efu ma, n'ihi ya, uru ọrụ na-adaba na nzọụkwụ ọ bụla. Mgbe a na-akpa nkata na eserese, nke a ga-egosipụta usoro mbelata dị iche iche, na-egosipụta ọganihu algọridim na-erute opekempe.
Kwụpụ 7: Mezigharịa ọnụego mmụta
Ọnụego mmụta () bụ ihe dị mkpa na arụmọrụ algọridim. Na omume, ịchọpụta ọnụego mmụta kacha mma na-achọkarị nnwale na njehie.
Ụfọdụ usoro njikarịcha, dị ka nhazi ọnụego mmụta, nwere ike ịgbanwe ọnụego mmụta n'ike n'ike n'oge ọzụzụ, malite na uru dị elu ma jiri nwayọọ nwayọọ belata ya ka algọridim na-abịaru nso nchikota.
Usoro a na-enyere aka mee ka nguzozi dị n'etiti mmepe ngwa ngwa na mmalite na nkwụsi ike dị nso na njedebe nke usoro njikarịcha.
Ihe Nlereanya Ọzọ: Ibelata Ọrụ Quadrat
Ka anyị leba anya n'ihe atụ ọzọ ka anyị nweta nghọta nke ọma gbasara mgbada gradient.
Tụlee ọrụ quadratic akụkụ abụọ g(x) = (x - 5)^2. Na x = 5, ọrụ a nwekwara opekempe. Iji chọta nke a kacha nta, anyị ga-etinye mgbada gradient.
1. Mmalite: Ka anyị malite na x0 = 8 ka mmalite anyị.
2. Gbakọọ gradient nke g(x): g'(x) = 2(x – 5). Mgbe anyị dochie x0 = 8, gradient na x0 bụ 2 * (8 - 5) = 6.
3. Na = 0.2 dị ka ọnụ ọgụgụ mmụta anyị, anyị na-emelite x dịka ndị a: x = x₀ - α * g'(x₀) = 8 - 0.2 * 6 = 6.8.
4. Iterate: Anyị na-emegharị nzọụkwụ 2 na 3 ugboro ole ọ dị mkpa ruo mgbe a ga-enweta njikọ. okirikiri nke ọ bụla na-ebute x nso na 5, uru kacha nta nke g(x) = (x – 5)2.
5. Nkwekọrịta: Usoro a ga-emecha gbakọọ na x = 5, nke bụ ntakịrị uru g (x) = (x - 5)2.
Ntụnyere Ọnụ Ọmụta
Ka anyị tulee ọsọ ọsọ nke gradient maka ọnụego mmụta dị iche iche, kwuo α = 0.1, α = 0.2, na α = 0.5 na ihe atụ ọhụrụ anyị. Anyị nwere ike ịhụ na ọnụ ọgụgụ mmụta dị ala (dịka ọmụmaatụ, = 0.1) ga-eme ka nkwekọ dị ogologo mana opekempe ziri ezi.
Ọnụ ọgụgụ mmụta dị elu (dịka ọmụmaatụ, = 0.5) ga-agbakọta ọsọ ọsọ mana ọ nwere ike ịfefe ma ọ bụ megharia gbasara opekempe, na-ebute izi ezi ka njọ.
Ihe Nlereanya Multimodal nke njikwa ọrụ na-abụghị convex
Tụlee h (x) = mmehie (x) + 0.5x, ọrụ na-abụghị convex.
Enwere ọtụtụ minima na maxima maka ọrụ a. Dabere n'ọkwa mmalite na ọnụego mmụta, anyị nwere ike ịgbakọ na obere obere mpaghara ọ bụla site na iji mgbada gradient ọkọlọtọ.
Anyị nwere ike dozie nke a site na iji usoro njikarịcha dị elu dị ka Adam ma ọ bụ stochastic gradient descent (SGD). Ụzọ ndị a na-eji ọnụego mmụta mgbanwe ma ọ bụ nlele enweghị usoro iji nyochaa mpaghara dị iche iche nke ọdịdị ala ọrụ ahụ, na-abawanye ohere nke inweta opekempe kacha mma.
mmechi
Algọridim mgbada gradient bụ ngwa ọrụ kachasị ike nke a na-ejikarị n'ọtụtụ ụlọ ọrụ. Ha na-achọpụta nke kacha ala (ma ọ bụ kacha) nke ọrụ site na-emelite ngwa ngwa dabere na ntụzịaka nke gradient.
N'ihi ọdịdị nke algọridim, ọ nwere ike ijikwa oghere dị elu yana ọrụ mgbagwoju anya, na-eme ka ọ dị mkpa na mmụta igwe na nhazi data.
Mmụba gradient nwere ike imeri ihe isi ike nke ụwa n'ezie ma tinye aka na uto nke teknụzụ yana mkpebi data sitere na ya site na iji nlezianya họrọ ọnụego mmụta yana itinye mgbanwe dị elu dị ka stochastic gradient na Adam.
Nkume a-aza