Re tobana le mathata a ho ntlafatsa maemong a mangata a lefats'e moo re hlokang ho tseba bonyane kapa boholo ba tšebetso.
Nahana ka ts'ebetso e le kemiso ea lipalo ea sistimi, 'me ho fumana bonyane ba eona kapa boholo ba eona ho ka ba bohlokoa bakeng sa lits'ebetso tse fapaneng joalo ka ho ithuta ka mochini, boenjiniere, lichelete le tse ling.
Nahana ka sebaka se nang le maralla le liphula, 'me sepheo sa rona ke ho fumana sebaka se tlase (bonyane) ho fihla moo re eang kapele kamoo ho ka khonehang.
Hangata re sebelisa li-algorithms tsa gradient descent ho rarolla mathata a joalo a ho ntlafatsa. Li-algorithms tsena ke mekhoa e pheta-phetoang ea ho fokotsa ts'ebetso ka ho nka mehato e lebisang moepa o phahameng ka ho fetesisa (negative gradient).
The gradient e bonahatsa tataiso ka keketseho e matla ka ho fetisisa mosebetsing, 'me ho tsamaea ka tsela e fapaneng ho re lebisa bonyane.
Hantle-ntle Gradient Descent Algorithm ke eng?
Ho theoha ha gradient ke mokhoa o tsebahalang oa ho ntlafatsa oa ho fumana bonyane (kapa boholo) ba tšebetso.
Ke sesebelisoa sa bohlokoa libakeng tse 'maloa, ho kenyelletsa ho ithuta mochine, thuto e tebileng, bohlale ba maiketsetso, boenjiniere, le lichelete.
Molao-motheo oa algorithm o ipapisitse le ts'ebeliso ea ona ea gradient, e bonts'ang tataiso ea keketseho e matla ea boleng ba ts'ebetso.
Algorithm e tsamaisa boemo ba ts'ebetso ho ea bonyane ka ho nka mehato khafetsa ka lehlakoreng le fapaneng joalo ka gradient, e ntse e ntlafatsa tharollo ho fihlela ho kopana.
Hobaneng re Sebelisa Li-algorithms tsa Gradient Descent?
Qalong, li ka sebelisoa ho rarolla mathata a mangata a fapaneng a ho ntlafatsa, ho kenyelletsa le a nang le libaka tse phahameng le mesebetsi e rarahaneng.
Ea bobeli, ba ka fumana litharollo tse nepahetseng ka potlako, haholo-holo ha tharollo ea tlhahlobo e sa fumanehe kapa e theko e boima haholo.
Mekhoa ea ho theola li-gradient e matla haholo 'me e khona ho sebetsana le li-database tse kholo ka katleho.
Ka lebaka leo, li sebelisoa haholo ka har'a lits'ebetso tsa ho ithuta mochini joalo ka ho koetlisa marang-rang a neural ho ithuta ho tsoa ho data le ho fetola maemo a bona ho fokotsa liphoso tsa ho bolela esale pele.
Mohlala o Felletseng oa Mehato ea ho theoha ha Gradient
Ha re shebeng mohlala o qaqileng haholoanyane ho ba le kutloisiso e betere ea mokhoa oa ho theola gradient.
Nahana ka tšebetso ea 2D f(x) = x2, e hlahisang mokoloko oa motheo oa parabolic o nang le bonyane ho (0,0). Ho tla sebelisoa algorithm ea gradient descent ho fumana ntlha ena e fokolang.
Mohato oa 1: Ho qala
Algorithm ea ho theoha ha gradient e qala ka ho qala boleng ba mofuta oa x, o emeloang joalo ka x0.
Boleng ba pele bo ka ba le tšusumetso e kholo ts'ebetsong ea algorithm.
Ho qala ka tšohanyetso kapa ho sebelisa tsebo ea pele ea bothata ke mekhoa e 'meli e tloaelehileng. Nka hore x₀ = 3 qalong ea nyeoe ea rona.
Mohato oa 2: Bala Gradiente
Bolulo ba tšebetso f(x) boemong ba hajoale x₀. joale e tlameha ho baloa.
Gradiente e bonts'a moepa kapa sekhahla sa phetoho ea tšebetso sebakeng seo.
Re kopanya motsoako o mabapi le x bakeng sa mosebetsi f(x) = x2, e fanang ka f'(x) = 2x. Re fumana gradient ho x0 e le 2 * 3 = 6 ka ho kenya x₀ = 3 lipalong tsa gradient.
Mohato oa 3: Ntlafatsa li-Parameters
Re sebelisa lintlha tsa gradient, re ntlafatsa boleng ba x ka tsela e latelang: x = x₀ - α * f'(x₀), moo α (alpha) e bolelang sekhahla sa ho ithuta.
Sekhahla sa ho ithuta ke hyperparameter e khethollang boholo ba mohato o mong le o mong ts'ebetsong ea ntlafatso. Ho beha sekhahla se nepahetseng sa ho ithuta ho bohlokoa kaha sekhahla sa ho ithuta butle se ka baka -tharabololo ho nka phetapheto tse ngata ho fihlela bonyane.
Sekhahla se phahameng sa ho ithuta, ka lehlakoreng le leng, se ka etsa hore algorithm e thulane kapa e hlolehe ho kopana. A re nke tekanyo ea ho ithuta ea α = 0.1 molemong oa mohlala ona.
Mohato oa 4: Pheta-pheta
Kamora hore re be le boleng bo ntlafalitsoeng ba x, re pheta Mehato ea 2 le ea 3 bakeng sa palo e reriloeng esale pele ea ho pheta-pheta kapa ho fihlela phetoho ea x e fokola, e bonts'a ho kopana.
Mokhoa o lekanya gradient, o ntlafatsa boleng ba x, 'me o tsoelapele ts'ebetso nako le nako ha e pheta-pheta, e lumella hore e atamele bonyane.
Mohato oa 5: Khokahano
Mokhoa ona o kopana ka mor'a makhetlo a 'maloa ho isa moo lintlafatso tse ling li sa ameng boleng ba ts'ebetso.
Tabeng ea rona, ha lipolelo li ntse li tsoela pele, x e tla atamela 0, e leng boleng ba bonyane ba f(x) = x^2. Palo ea phetisetso e hlokahalang bakeng sa ho kopana e khethoa ke lintlha tse kang sekhahla sa ho ithuta se khethiloeng le ho rarahana ha tšebetso e ntlafalitsoeng.
Ho Khetha Sekhahla sa ho Ithuta ()
Ho khetha sekhahla se amohelehang sa ho ithuta () ho bohlokoa bakeng sa katleho ea algorithm ea ho theoha ha sekhahla. Joalo ka ha ho boletsoe pejana, sekhahla sa ho ithuta se tlase se ka baka khokahanyo butle, athe sekhahla se phahameng sa ho ithuta se ka baka ho putlama le ho hloleha ho kopana.
Ho fumana tekanyo e nepahetseng ho bohlokoa ho etsa bonnete ba hore algorithm e fetohela ho bonyane bo reriloeng ka katleho kamoo ho ka khonehang.
Ho lokisa sekhahla sa ho ithuta hangata ke ts'ebetso ea teko le liphoso. Bafuputsi le litsebi ba lula ba leka litekanyetso tse fapaneng tsa ho ithuta ho bona kamoo li amang khokahanyo ea algorithm phephetsong ea bona.
Ho sebetsana le Mesebetsi e sa Tšoaneng
Leha mohlala o fetileng o ne o na le ts'ebetso e bonolo ea convex, litaba tse ngata tsa ntlafatso ea lefats'e li kenyelletsa mesebetsi e sa kopaneng le minima e mengata ea lehae.
Ha ho sebelisoa litheolelo tsa gradient maemong a joalo, mokhoa o ka fetohela ho bonyane ba lehae ho fapana le bonyane ba lefats'e.
Ho entsoe mefuta e mengata e tsoetseng pele ea ho theoha ha likhahla ho rarolla bothata bona. Stochastic Gradient Descent (SGD) ke mokhoa o mong o joalo o hlahisang maemo a tšohanyetso ka ho khetha karoloana e sa reroang ea lintlha tsa data (tse tsejoang e le mini-batch) ho bala gradient nako le nako.
Sampling ena e sa reroang e lumella algorithm ho qoba minima ea lehae le ho hlahloba likarolo tse ncha tsa sebaka sa ts'ebetso, ho eketsa menyetla ea ho fumana bonyane bo betere.
Adam (Adaptive Moment Estimation) ke phapang e 'ngoe e hlahelletseng, e leng mokhoa oa ho ntlafatsa sekhahla sa ho ithuta o kenyelletsang melemo ea bobeli ba RMSprop le lebelo.
Adama o fetola sekhahla sa ho ithuta bakeng sa paramethara ka 'ngoe e ipapisitse le tlhaiso-leseling e fetileng ea gradient, e leng se ka bakang khokahanyo e ntle ho mesebetsi e seng ea convex.
Liphetoho tsena tse tsoetseng pele tsa ho thella ha li-gradient li ipakile li sebetsa hantle ho sebetsaneng le mesebetsi e ntseng e rarahana le ho feta, 'me e se e le lisebelisoa tse tloaelehileng ho ithuteng ka mochini le ho ithuta ka botebo, moo litaba tsa ts'ebetso e sa sebetseng hantle li atileng.
Mohato oa 6: Bona Khatelo-pele ea Hao ka Bonazi
Ha re boneng tsoelopele ea algorithm ea gradient descent ho fumana kutloisiso e betere ea ts'ebetso ea eona e pheta-phetoang. Nahana ka kerafo e nang le axis ea x e emelang phetisetso le y-axis e emelang boleng ba tšebetso f(x).
Ha algorithm e ntse e pheta, boleng ba x bo atamela zero, ka lebaka leo, boleng ba ts'ebetso bo theoha ka mohato o mong le o mong. Ha e reriloe holim'a kerafo, sena se tla bonts'a mokhoa o hlakileng oa ho fokotseha, o bonts'a tsoelo-pele ea algorithm ho fihlela bonyane.
Mohato oa 7: Ho Lokisa Sekhahla sa ho Ithuta Hantle
Sekhahla sa ho ithuta () ke ntlha ea bohlokoa ts'ebetsong ea algorithm. Ha e le hantle, ho fumana tekanyo e nepahetseng ea ho ithuta hangata ho hloka teko le liphoso.
Mekhoa e meng ea ho ntlafatsa, joalo ka lipampiri tsa litekanyetso tsa ho ithuta, e ka fetola sekhahla sa ho ithuta ka matla nakong ea koetliso, ho qala ka boleng bo holimo le ho fokotseha butle-butle ha algorithm e ntse e atamela ho kopana.
Mokhoa ona o thusa ho leka-lekanya pakeng tsa tsoelo-pele e potlakileng qalong le botsitso ho elella qetellong ea ts'ebetso ea ho ntlafatsa.
Mohlala o Mong: Ho Fokotsa Mosebetsi oa Quadratic
Ha re shebeng mohlala o mong ho fumana kutloisiso e betere ea ho theoha ha gradient.
Nahana ka tšebetso ea quadratic ea mahlakore a mabeli g(x) = (x – 5)^2. Ho x = 5, ts'ebetso ena le eona e na le bonyane. Ho fumana bonyane bona, re tla sebelisa ho theoha ha gradient.
1. Ho qala: Ha re qaleng ka x0 = 8 e le sebaka sa rona sa ho qala.
2. Bala khakanyo ea g(x): g'(x) = 2(x – 5). Ha re kenya x0 = 8 sebakeng sa x0 = 2, gradiente ho x8 ke 5 * (6 - XNUMX) = XNUMX.
3. Ka = 0.2 e le tekanyo ea rona ea ho ithuta, re ntlafatsa x ka tsela e latelang: x = x₀ - α * g'(x₀) = 8 - 0.2 * 6 = 6.8.
4. Pheta-pheta: Re pheta mehato ea 2 le ea 3 ka makhetlo a mangata kamoo ho hlokahalang ho fihlela convergence e fihletsoe. Potoloho e 'ngoe le e' ngoe e tlisa x haufi le 5, boleng bo fokolang ba g(x) = (x - 5)2.
5. Khokahano: Mokhoa o tla qetella o kopana ho x = 5, e leng boleng bo fokolang ba g(x) = (x – 5)2.
Litefiso tsa ho Ithuta Papiso
Ha re bapise lebelo la ho kopana ha letloho la gradient bakeng sa litekanyetso tse fapaneng tsa ho ithuta, re re α = 0.1, α = 0.2, le α = 0.5 mohlaleng oa rona o mocha. Re ka bona hore tekanyo e tlaase ea ho ithuta (mohlala, = 0.1) e tla fella ka ho kopana ha nako e telele empa bonyane bo nepahetseng haholoanyane.
Sekhahla se phahameng sa thuto (mohlala, = 0.5) se tla kopana ka potlako empa se ka thunya kapa sa sisinyeha ka bonyane, ho fella ka ho nepahala ho fokolang.
Mohlala oa Multimodal oa Ts'ebetso ea Non-Convex
Nahana ka h(x) = sin(x) + 0.5x, mosebetsi o seng oa convex.
Ho na le minima le maxima tse 'maloa tsa lehae bakeng sa ts'ebetso ena. Ho ipapisitse le boemo ba ho qala le sekhahla sa ho ithuta, re ka kopana ho efe kapa efe ea minima ea lehae ka ho sebelisa litheolelo tse tloaelehileng.
Re ka rarolla sena ka ho sebelisa mekhoa e tsoetseng pele ea ho ntlafatsa joalo ka Adama kapa stochastic gradient descent (SGD). Mekhoa ena e sebelisa litekanyetso tse feto-fetohang tsa ho ithuta kapa lisampole tse sa reroang ho hlahloba libaka tse fapaneng tsa sebopeho sa mosebetsi, ho eketsa monyetla oa ho fihlela bonyane bo betere.
fihlela qeto e
Li-algorithms tsa "gradient descent" ke lisebelisoa tse matla tsa ho ntlafatsa tse sebelisoang haholo liindastering tse fapaneng. Ba sibolla boemo bo tlase (kapa boholo) ba tšebetso ka ho nchafatsa liparamente khafetsa ho latela moo gradient e leng teng.
Ka lebaka la sebopeho sa algorithm, e khona ho sebetsana le libaka tse maemong a holimo le mesebetsi e rarahaneng, e etsa hore e be ea bohlokoa haholo thutong ea mochini le ts'ebetsong ea data.
Ho theoha ha likhahla ho ka sebetsana le mathata a lefatše la 'nete ha bonolo 'me ha kenya letsoho haholo kholong ea theknoloji le ho etsa liqeto tse tsamaisoang ke data ka ho khetha ka hloko sekhahla sa ho ithuta le ho sebelisa liphapang tse tsoetseng pele joalo ka leloko la stochastic gradient le Adama.
Leave a Reply