Ke kū nei mākou i nā pilikia hoʻoponopono i nā kūlana honua maoli kahi e pono ai mākou e ʻike i ka liʻiliʻi a i ʻole ka nui o kahi hana.
E noʻonoʻo i kahi hana e lilo i hōʻike makemakika o kahi ʻōnaehana, a ʻo ka hoʻoholo ʻana i kona palena liʻiliʻi a i ʻole ka nui hiki ke koʻikoʻi no nā ʻano noi like ʻole e like me ke aʻo ʻana i ka mīkini, ʻenekinia, kālā, a me nā mea ʻē aʻe.
E noʻonoʻo i kahi ʻāina me nā puʻu a me nā awāwa, a ʻo kā mākou pahuhopu ʻo ka ʻimi ʻana i ka lae haʻahaʻa (ka liʻiliʻi) e hiki ai i ko mākou huakaʻi me ka hikiwawe loa.
Hoʻohana pinepine mākou i nā algorithm gradient descent no ka hoʻoponopono ʻana i nā pilikia hoʻonui. ʻO kēia mau algorithms he mau hana hoʻomaʻamaʻa ʻike no ka hōʻemi ʻana i kahi hana ma o ka hana ʻana i nā ʻanuʻu i ke ala o ka iho ʻoi loa (negative gradient).
Hōʻike ka gradient i ke ala me ka piʻi ʻoi loa o ka hana, a ʻo ka hele ʻana ma ka ʻaoʻao ʻē aʻe e alakaʻi iā mākou i ka liʻiliʻi loa.
He aha ke ʻano o ka Gradient Descent Algorithm?
ʻO ka iho ʻana o Gradient kahi ala hoʻonui hoʻohālikelike kaulana no ka hoʻoholo ʻana i ka liʻiliʻi (a i ʻole ka palena) o kahi hana.
He mea hana koʻikoʻi ia ma kekahi mau ʻano, me aʻo aʻo, aʻo hohonu, naʻauao hana, ʻenekinia, a me ke kālā.
Hoʻokumu ʻia ke kumu kumu o ka algorithm i kona hoʻohana ʻana i ka gradient, e hōʻike ana i ke kuhikuhi o ka piʻi ʻoi loa o ka waiwai o ka hana.
Hoʻokele maikaʻi ka algorithm i ka ʻāina o ka hana i ka liʻiliʻi ma o ka hana pinepine ʻana i nā ʻanuʻu ma ka ʻaoʻao ʻē aʻe e like me ka gradient, hoʻomaʻemaʻe hoʻomaʻemaʻe i ka hopena a hiki i ka hui ʻana.
No ke aha mākou e hoʻohana ai i nā Algorithms Descent Gradient?
No ka hoʻomaka ʻana, hiki ke hoʻohana ʻia e hoʻoponopono i nā pilikia optimization ākea, me nā mea me nā ākea kiʻekiʻe a me nā hana paʻakikī.
ʻO ka lua, hiki iā lākou ke loaʻa koke i nā hopena maikaʻi loa, ʻoiai inā ʻaʻole i loaʻa ka hopena analytical a i ʻole ke kumukūʻai helu.
Hiki ke hoʻonui nui ʻia nā ʻenehana iho gradient a hiki ke mālama maikaʻi i nā ʻikepili nui.
ʻO ka hopena, hoʻohana nui ʻia lākou i loko algorithm mīkini hopu e like me ke aʻo ʻana i nā neural network e aʻo mai ka ʻikepili a hoʻololi i kā lākou mau ʻāpana e hōʻemi i nā hewa wānana.
He laʻana kikoʻī o nā ʻanuʻu gradient descent
E nānā kākou i kekahi laʻana kikoʻī e loaʻa ai ka ʻike maikaʻi o ka ʻenehana iho gradient.
E noʻonoʻo i ka hana 2D f(x) = x2, ka mea e hoʻohua ai i ka pihi parabolic kumu me ka liʻiliʻi ma (0,0). E hoʻohana ʻia ka gradient descent algorithm e hoʻoholo i kēia wahi liʻiliʻi.
KaʻAnuʻu 1: Initialization
Hoʻomaka ka algorithm descent gradient ma ka hoʻomaka ʻana i ka waiwai o ka hoʻololi x, i hōʻike ʻia me x0.
Hiki i ka waiwai mua ke loaʻa ka hopena nui i ka hana o ka algorithm.
ʻO ka hoʻomaka mua ʻana a i ʻole ka hoʻohana ʻana i ka ʻike mua o ka pilikia ʻelua mau hana maʻamau. E noʻonoʻo i ka x₀ = 3 ma ka hoʻomaka o kā mākou hihia.
KaʻAnuʻu Hana 2: E helu i ka Gradient
Ka laulima o ka hana f(x) ma ke kulana i keia manawa x₀. pono e helu.
Hōʻike ka gradient i ka slope a i ʻole ka nui o ka hoʻololi ʻana o ka hana ma kēlā kūlana.
Hoʻopili mākou i ka huaʻōlelo e pili ana i x no ka hana f(x) = x2, e hāʻawi ana i ka f'(x) = 2x. Loaʻa iā mākou ka gradient ma x0 ma ke ʻano he 2 * 3 = 6 ma ka hoʻololi ʻana i ka x₀ = 3 i loko o ka helu gradient.
KaʻAnuʻu Hana 3: Hoʻohou i nā ʻāpana
Ke hoʻohana nei i ka ʻike gradient, hōʻano hou mākou i ka waiwai o x penei: x = x₀ – α * f'(x₀), kahi e hōʻike ai ka α (alpha) i ka helu aʻo.
He hyperparameter ka helu aʻo e hoʻoholo i ka nui o kēlā me kēia ʻanuʻu i ke kaʻina hana hou. He mea koʻikoʻi ka hoʻonohonoho ʻana i ka nui o ke aʻo ʻana no ka mea hiki i ka lohi o ke aʻo ʻana ke kumu algorithm e lawe i nā hana hou a hiki i ka palena iki.
ʻO ka helu aʻo kiʻekiʻe, ma ka ʻaoʻao ʻē aʻe, hiki ke hopena i ka algorithm e bouncing a i ʻole ka hui ʻana. E noʻonoʻo kākou i ka helu hoʻonaʻauao o α = 0.1 no kēia hiʻohiʻona.
KaʻAnuʻu 4: Hoʻololi hou
Ma hope o ka loaʻa ʻana o ka waiwai hou o x, e hana hou mākou i nā ʻanuʻu 2 a me 3 no ka helu i koho mua ʻia a i ʻole a hiki i ka liʻiliʻi o ka hoʻololi ʻana o x, e hōʻike ana i ka hoʻololi ʻana.
Hoʻopili ke ʻano i ka gradient, hōʻano hou i ka waiwai o x, a hoʻomau i ke kaʻina hana i kēlā me kēia hoʻololi, hiki iā ia ke hoʻokokoke i ka liʻiliʻi.
KaʻAnuʻu 5: Hoʻohui
Huli ka ʻenehana ma hope o kekahi mau hoʻomaʻamaʻa ʻana a hiki i kahi i hoʻonui ʻole ʻia ai nā mea hou aku i ka waiwai o ka hana.
I kā mākou hihia, i ka hoʻomau ʻana o nā ʻike, e hoʻokokoke ʻo x i 0, ʻo ia ka waiwai liʻiliʻi o f(x) = x^2. Hoʻoholo ʻia ka helu o nā mea e pono ai no ka hoʻohui ʻana e nā mea e like me ka helu aʻo i koho ʻia a me ka paʻakikī o ka hana e hoʻopaʻa ʻia.
Ke koho ʻana i ka helu hoʻonaʻauao ()
He mea koʻikoʻi ke koho ʻana i ka helu hoʻonaʻauao kūpono () no ka pono o ka algorithm descent descent. E like me ka mea i hōʻike mua ʻia, hiki i ka haʻahaʻa haʻahaʻa ke hoʻoulu i ka hoʻololi ʻana, akā ʻo ka nui o ke aʻo ʻana hiki ke hoʻoulu i ka overshooting a me ka hiki ʻole ke hoʻohui.
He mea koʻikoʻi ka ʻimi ʻana i ke koena kūpono e hōʻoia i ka huli ʻana o ka algorithm i ka liʻiliʻi i manaʻo ʻia e like me ka hiki.
ʻO ka hoʻopaʻa ʻana i ka nui o ke aʻo ʻana he hana hoʻāʻo-a-hewa i ka hana. Hoʻāʻo mau nā mea noiʻi a me nā mea hoʻomaʻamaʻa me nā helu aʻo like ʻole e ʻike i ke ʻano o ka hopena o ka huli ʻana o ka algorithm i kā lākou paʻakikī.
Ka lawelawe ʻana i nā hana non-convex
ʻOiai he hana convex maʻalahi ka laʻana ma mua, nui nā pilikia hoʻoponopono honua maoli e pili ana i nā hana non-convex me nā minima kūloko.
I ka hoʻohana ʻana i ka iho gradient i ia mau hihia, hiki ke hoʻohuli ʻia ke ala i kahi liʻiliʻi kūloko ma mua o ka liʻiliʻi honua.
Ua kūkulu ʻia kekahi mau ʻano holomua o ka iho gradient no ka hoʻokō ʻana i kēia pilikia. ʻO Stochastic Gradient Descent (SGD) kekahi ʻano hana e hōʻike ana i ka randomness ma ke koho ʻana i kahi ʻāpana ʻokoʻa o nā helu ʻikepili (i ʻike ʻia he mini-batch) e helu i ka gradient i kēlā me kēia hoʻololi.
Hāʻawi kēia hōʻailona maʻamau i ka algorithm e pale i ka minima kūloko a e ʻimi i nā ʻāpana hou o ka ʻāina o ka hana, e hoʻonui ana i ka manawa e ʻike ai i kahi haʻahaʻa maikaʻi loa.
ʻO Adam (Adaptive Moment Estimation) kekahi hoʻololi koʻikoʻi ʻē aʻe, ʻo ia kahi ala hoʻonaʻauao hoʻonaʻauao kūpono e hoʻopili ai i nā pono o ka RMSprop a me ka momentum.
Hoʻololi ʻo Adamu i ka helu hoʻonaʻauao no kēlā me kēia ʻāpana me ka ikaika ma muli o ka ʻike gradient mua, e hopena paha i ka hoʻohui maikaʻi ʻana i nā hana non-convex.
Ua ʻike ʻia kēia mau ʻokoʻa gradient descent maʻalahi i ka lawelawe ʻana i nā hana paʻakikī a ua lilo i mau mea hana maʻamau i ke aʻo ʻana i ka mīkini a me ke aʻo hohonu, kahi i maʻa mau ai nā pilikia ʻike ʻole convex.
KaʻAnuʻu Hana 6: E nānā i kāu holomua
E ʻike kākou i ka holomua o ka gradient descent algorithm e hoʻomaopopo maikaʻi i kāna kaʻina hana. E noʻonoʻo i kahi pakuhi me kahi axis-x e hōʻike ana i nā hoʻohālikelike a me kahi axis-y e hōʻike ana i ka waiwai o ka hana f(x).
I ka hoʻololi ʻana o ka algorithm, ua hoʻokokoke ka waiwai o x i ka zero a ma muli o ka hopena, hāʻule ka waiwai hana me kēlā me kēia ʻanuʻu. Ke kuhi ʻia ma ka pakuhi, e hōʻike ana kēia i kahi ʻano emi ʻokoʻa, e hōʻike ana i ka holomua o ka algorithm a hiki i ka liʻiliʻi.
KaʻAnuʻu Hana 7: Hoʻoponopono maikaʻi i ka Laki Aʻo
ʻO ka helu aʻo () kahi mea nui i ka hana o ka algorithm. I ka hoʻomaʻamaʻa ʻana, ʻo ka hoʻoholo ʻana i ka helu aʻo kūpono e pono pinepine i ka hoʻāʻo a me ka hewa.
Hiki ke hoʻololi i ka nui o ke aʻo ʻana i ka wā o ke aʻo ʻana, e hoʻomaka ana me ka waiwai kiʻekiʻe a hoʻemi mālie i ka wā e hoʻokokoke ana ka algorithm i ka convergence.
Kōkua kēia ʻano hana i ke kaulike ma waena o ka hoʻomohala wikiwiki ʻana i ka hoʻomaka ʻana a me ke kūpaʻa kokoke i ka hopena o ke kaʻina hana optimization.
ʻO kekahi Laʻana: Hoʻemi i kahi hana Quadratic
E nānā i kekahi laʻana no ka hoʻomaopopo maikaʻi ʻana i ka iho gradient.
E noʻonoʻo i ka hana hāhāhā ʻelua-dimensional g(x) = (x – 5)^2. Ma x = 5, loaʻa ka liʻiliʻi o kēia hana. No ka ʻike ʻana i kēia haʻahaʻa, e hoʻohana mākou i ka iho gradient.
1. Hoʻomaka: E hoʻomaka kākou me ka x0 = 8 ma ko mākou wahi hoʻomaka.
2. E helu i ka gradient o g(x): g'(x) = 2(x – 5). Ke hoʻololi mākou i ka x0 = 8, ʻo ka gradient ma x0 ka 2 * (8 – 5) = 6.
3. Me ka = 0.2 ma ko mākou helu aʻo, hōʻano hou mākou i x penei: x = x₀ – α * g'(x₀) = 8 – 0.2 * 6 = 6.8.
4. Hoʻomaka hou: E hana hou mākou i nā ʻanuʻu 2 a me 3 i nā manawa he nui e pono ai a hiki i ka hoʻohui ʻana. Hoʻokokoke kēlā me kēia pōʻai i ka x i 5, ka waiwai liʻiliʻi o g(x) = (x – 5)2.
5. Hoʻohui: E hoʻohui ʻia ke ʻano i ka x = 5, ʻo ia ka liʻiliʻi o ka g(x) = (x – 5)2.
Ka Hoʻohālikelike Haʻawina
E hoʻohālikelike kākou i ka māmā hoʻohui ʻana o ka iho gradient no nā helu aʻo like ʻole, e ʻōlelo α = 0.1, α = 0.2, a me α = 0.5 i kā mākou laʻana hou. Hiki iā mākou ke ʻike i ka haʻahaʻa haʻahaʻa haʻahaʻa (e laʻa, = 0.1) e hopena i ka lōʻihi o ka hoʻohui ʻana akā ʻoi aku ka pololei.
ʻOi aku ka wikiwiki o ka hoʻonaʻauao kiʻekiʻe (e laʻa, = 0.5) akā hiki ke hoʻoneʻe a hoʻoneʻe paha e pili ana i ka liʻiliʻi loa, e hopena i ka pololei ʻole.
He Laʻana Multimodal o ka lawelawe ʻana i ka hana non-convex
E noʻonoʻo i ka h(x) = sin(x) + 0.5x, he hana convex ʻole.
Nui nā minima a me ka maxima kūloko no kēia hana. Ma muli o ke kūlana hoʻomaka a me ka nui o ke aʻo ʻana, hiki iā mākou ke hoʻohuli i kekahi o ka minima kūloko me ka hoʻohana ʻana i ka iho gradient maʻamau.
Hiki iā mākou ke hoʻoholo i kēia me ka hoʻohana ʻana i nā ʻenehana loiloi ʻoi aʻe e like me Adam a i ʻole stochastic gradient descent (SGD). Hoʻohana kēia mau ʻano i nā helu aʻo adaptive a i ʻole ka laʻana maʻamau e ʻimi i nā ʻāpana like ʻole o ka ʻāina o ka hana, e hoʻonui ana i ka hiki ke loaʻa i kahi haʻahaʻa maikaʻi loa.
Panina
ʻO nā algorithms descent gradient he mau mea hana hoʻoikaika ikaika i hoʻohana nui ʻia i nā ʻano ʻoihana. ʻIke lākou i ka haʻahaʻa (a i ʻole ka nui) o kahi hana ma o ka hoʻonui hou ʻana i nā ʻāpana e pili ana i ke kuhikuhi o ka gradient.
Ma muli o ke ʻano iterative o ka algorithm, hiki iā ia ke mālama i nā ākea kiʻekiʻe a me nā hana paʻakikī, e lilo ia i mea nui i ka aʻo ʻana i ka mīkini a me ka hoʻoili ʻikepili.
Hiki iā Gradient descent ke hoʻoponopono maʻalahi i nā pilikia o ka honua maoli a kōkua nui i ka ulu ʻana o ka ʻenehana a me ka hoʻoholo ʻana i ka ʻikepili ma o ke koho pono ʻana i ka helu aʻo a me ka hoʻopili ʻana i nā ʻano like ʻole e like me ka stochastic gradient descent a me Adamu.
Waiho i ka Reply