Tha duilgheadasan optimization romhainn ann an iomadh suidheachadh san t-saoghal fhìor far am feum sinn an ìre as lugha no as àirde de dhleastanas a chomharrachadh.
Beachdaich air gnìomh mar riochdachadh matamataigeach de shiostam, agus faodaidh a bhith a’ dearbhadh an ìre as ìsle no as àirde aige a bhith deatamach airson grunn thagraidhean leithid ionnsachadh innealan, innleadaireachd, ionmhas, agus eile.
Beachdaich air cruth-tìre le cnuic is glinn, agus ’s e ar n-amas a’ phuing as ìsle (as ìsle) a lorg airson faighinn chun cheann-uidhe againn cho luath sa ghabhas.
Bidh sinn gu tric a’ cleachdadh algorithms teàrnadh caisead gus fuasgladh fhaighinn air dùbhlain optimization mar sin. Tha na h-algorithms sin nan dòighean ath-chuairteach as fheàrr airson gnìomh a lughdachadh le bhith a’ gabhail ceumannan a dh’ ionnsaigh an teàrnadh as cas (caiseadan àicheil).
Tha an caisead a’ nochdadh an stiùiridh leis an àrdachadh as cas anns a’ ghnìomh, agus tha siubhal an taobh eile gar toirt chun na h-ìre as ìsle.
Dè dìreach a th’ ann an Algorithm Teàrnadh Gradient?
Tha teàrnadh caisead na dhòigh adhartach ath-aithriseach mòr-chòrdte airson a bhith a’ dearbhadh an ìre as ìsle (no as àirde) de ghnìomh.
Tha e na inneal riatanach ann an grunn raointean, nam measg ionnsachadh innealan, ionnsachadh domhainn, inntleachd fuadain, innleadaireachd, agus ionmhas.
Tha prionnsapal bunaiteach an algairim stèidhichte air mar a chleachdas e an caisead, a tha a’ sealltainn stiùir an àrdachaidh as gèire ann an luach a’ ghnìomh.
Bidh an algairim gu h-èifeachdach a’ seòladh cruth-tìre a’ ghnìomh chun an ìre as ìsle le bhith a’ gabhail ceumannan a-rithist an taobh eile mar an caisead, ag ath-nuadhachadh an fhuasglaidh gu co-aonadh.
Carson a bhios sinn a’ cleachdadh algairim teàrnaidh caisead?
Airson tòiseachadh, faodar an cleachdadh gus fuasgladh fhaighinn air raon farsaing de dhuilgheadasan optimization, a’ toirt a-steach an fheadhainn le àiteachan àrd-mheudach agus gnìomhan iom-fhillte.
San dàrna h-àite, faodaidh iad na fuasglaidhean as fheàrr a lorg gu sgiobalta, gu sònraichte nuair nach eil am fuasgladh anailis ri fhaighinn no daor a thaobh àireamhachadh.
Tha dòighean teàrnadh caisead gu math so-ruigsinneach agus is urrainn dhaibh dàta mòr a làimhseachadh gu soirbheachail.
Mar thoradh air an sin, tha iad air an cleachdadh gu farsaing ann an algorithms ionnsachadh inneal mar a bhith a’ trèanadh lìonraidhean neural gus ionnsachadh bho dhàta agus na crìochan aca atharrachadh gus mearachdan ro-innse a lughdachadh.
Eisimpleir mhionaideach de cheumannan teàrnadh caisead
Bheir sinn sùil air eisimpleir nas mionaidiche gus tuigse nas fheàrr fhaighinn air an dòigh teàrnaidh caisead.
Beachdaich air a’ ghnìomh 2D f(x) = x2, a ghineas lùb parabolic bunaiteach le co-dhiù aig (0,0). Thèid an algairim teàrnaidh caisead a chleachdadh gus a’ phuing as ìsle seo a dhearbhadh.
Ceum 1: Tòiseachadh
Bidh an algairim teàrnaidh caisead a’ tòiseachadh le bhith a’ tòiseachadh luach an caochladair x, air a riochdachadh mar x0.
Faodaidh an luach tùsail buaidh mhòr a thoirt air coileanadh an algairim.
Tha dà dhòigh cumanta air tòiseachadh air thuaiream no a’ cleachdadh eòlas ro-làimh air an duilgheadas. Gabh ris gu bheil x₀ = 3 aig toiseach na cùise againn.
Ceum 2: Obraich a-mach an caisead
Caisead na gnìomh f(x) aig an t-suidheachadh làithreach x₀. feumar an uairsin àireamhachadh.
Tha an caisead a’ comharrachadh leathad no ìre atharrachaidh a’ ghnìomh aig an t-suidheachadh shònraichte sin.
Bidh sinn a’ tomhas an derivative a thaobh x airson an gnìomh f(x) = x2, a tha a’ toirt seachad f’(x) = 2x. Gheibh sinn an caisead aig x0 mar 2 * 3 = 6 le bhith a’ cur x₀ = 3 a-steach don àireamhachadh caisead.
Ceum 3: Ùraich na paramadairean
A’ cleachdadh an fhiosrachaidh caisead, bidh sinn ag ùrachadh luach x mar a leanas: x = x₀ – α * f’(x₀), far a bheil α (alpha) a’ comharrachadh an ìre ionnsachaidh.
Tha an ìre ionnsachaidh na hyperparameter a bhios a’ dearbhadh meud gach ceum sa phròiseas ùrachaidh. Tha e deatamach ìre ionnsachaidh iomchaidh a shuidheachadh oir faodaidh ìre ionnsachaidh slaodach adhbhrachadh algairim gus cus ath-aithris a dhèanamh gus an ìre as ìsle a ruighinn.
Air an làimh eile, faodaidh ìre ionnsachaidh àrd leantainn gu breabadh an algairim no gun a bhith a’ tighinn còmhla. Gabhamaid ìre ionnsachaidh de α = 0.1 air sgàth an eisimpleir seo.
Ceum 4: Dèan aithris
Às deidh dhuinn an luach ùraichte aig x a bhith againn, bidh sinn ag ath-aithris Ceumannan 2 agus 3 airson àireamh ro-shuidhichte de dh’ iterations no gus an tig an t-atharrachadh ann an x cho beag, a’ comharrachadh co-fhilleadh.
Bidh am modh a’ tomhas caisead, ag ùrachadh luach x, agus a’ leantainn leis a’ mhodh-obrach aig gach tionndadh, a’ leigeil leis faighinn nas fhaisge air an ìre as ìsle.
Ceum 5: Convergence
Bidh an dòigh-obrach a’ tighinn còmhla às deidh beagan thursan gu ìre far nach toir tuilleadh ùrachaidhean buaidh susbainteach air luach a’ ghnìomh.
Anns a’ chùis againn, mar a bhios na h-aithrisean a’ leantainn, thig x faisg air 0, is e sin an luach as ìsle aig f(x) = x^2. Tha an àireamh de dh’ ath-aithrisean a tha riatanach airson co-ghluasad air a dhearbhadh le factaran leithid an ìre ionnsachaidh a chaidh a thaghadh agus iom-fhillteachd na gnìomh a thathar ag àrdachadh.
A' taghadh Ìre Ionnsachaidh ()
Tha taghadh ìre ionnsachaidh iomchaidh () deatamach airson èifeachdas an algairim teàrnaidh caisead. Mar a chaidh a ràdh roimhe, faodaidh ìre ionnsachaidh ìosal co-ghluasad slaodach adhbhrachadh, ach faodaidh ìre ionnsachaidh àrd cus cus adhbhrachadh agus fàiligeadh a thighinn còmhla.
Tha a bhith a’ lorg an cothromachadh ceart deatamach gus dèanamh cinnteach gu bheil an algairim a’ tighinn còmhla chun ìre as ìsle a tha san amharc cho èifeachdach sa ghabhas.
Gu tric is e modh deuchainn is mearachd a th’ ann an gleusadh na h-ìre ionnsachaidh. Bidh luchd-rannsachaidh agus cleachdaichean gu cunbhalach a’ feuchainn diofar ìrean ionnsachaidh gus faicinn mar a bheir iad buaidh air co-ghluasad an algairim air an dùbhlan sònraichte aca.
A 'làimhseachadh ghnìomhan neo-chonnallach
Ged a bha gnìomh sìmplidh convex aig an eisimpleir roimhe, tha mòran de chùisean optimization san t-saoghal fhìor a’ toirt a-steach gnìomhan neo-convex le mòran minima ionadail.
Nuair a bhios tu a’ cleachdadh teàrnadh caisead ann an leithid de chùisean, faodaidh an dòigh tighinn còmhla chun ìre as ìsle gu h-ionadail seach an ìre as ìsle air feadh na cruinne.
Chaidh grunn chruthan adhartach de shìneadh caisead a leasachadh gus faighinn seachad air a’ chùis seo. Tha Stochastic Gradient Descent (SGD) mar aon de na dòighean sin a bheir a-steach air thuaiream le bhith a’ taghadh fo-sheata de phuingean dàta air thuaiream (ris an canar meanbh-baidse) gus an caisead a thomhas aig gach tionndadh.
Tha an samplachadh air thuaiream seo a’ leigeil leis an algairim minima ionadail a sheachnadh agus earrannan ùra de dh’ fhearann na gnìomh a sgrùdadh, a’ cur ris na cothroman air ìre as ìsle a lorg.
Is e atharrachadh follaiseach eile a th’ ann an Adhamh (Tuairmse Moment Adaptive), a tha na dhòigh optimachaidh ìre ionnsachaidh atharrachail a tha a’ toirt a-steach buannachdan an dà chuid RMSprop agus momentum.
Bidh Adhamh ag atharrachadh an ìre ionnsachaidh airson gach paramadair gu dinamach stèidhichte air fiosrachadh caisead a bh’ ann roimhe, a dh’ fhaodadh leantainn gu co-ghluasad nas fheàrr air gnìomhan neo-convex.
Tha na caochlaidhean teàrnaidh caisead sòlaimte seo air a bhith èifeachdach ann a bhith a’ làimhseachadh ghnìomhan a tha a’ sìor fhàs iom-fhillte agus tha iad air a thighinn gu bhith nan innealan àbhaisteach ann an ionnsachadh innealan agus ionnsachadh domhainn, far a bheil cùisean optimization neo-convex cumanta.
Ceum 6: Seall an adhartas agad
Chì sinn adhartas an algairim teàrnadh caisead gus tuigse nas fheàrr fhaighinn air a phròiseas ath-aithriseach. Beachdaich air graf le axis-x a’ riochdachadh iterations agus y-axis a’ riochdachadh luach an ghnìomh f(x).
Mar a bhios an algairim ag ath-aithris, tha luach x a’ tighinn faisg air neoni agus, mar thoradh air an sin, bidh luach gnìomh a’ tuiteam le gach ceum. Nuair a thèid a dhealbhadh air graf, bhiodh seo a’ nochdadh gluasad lùghdachaidh sònraichte, a’ nochdadh adhartas an algairim a dh’ ionnsaigh an ìre as ìsle.
Ceum 7: Dèan mion-sgrùdadh air an ìre ionnsachaidh
Tha an ìre ionnsachaidh () na fheart cudromach ann an coileanadh an algairim. Ann an cleachdadh, gu tric bidh feum air deuchainn agus mearachd gus an ìre ionnsachaidh as fheàrr a dhearbhadh.
Faodaidh cuid de dhòighean optimization, leithid clàran reata ionnsachaidh, an ìre ionnsachaidh atharrachadh gu dinamach rè trèanadh, a’ tòiseachadh le luach nas àirde agus ga lughdachadh mean air mhean mar a bhios an algairim a’ dlùthachadh ri co-aonadh.
Tha an dòigh seo a 'cuideachadh gus cothromachadh fhaighinn eadar leasachadh luath aig an toiseach agus seasmhachd faisg air deireadh a' phròiseas optimization.
Eisimpleir eile: A 'lùghdachadh gnìomh ceithir-cheàrnach
Bheir sinn sùil air eisimpleir eile gus tuigse nas fheàrr fhaighinn air teàrnadh caisead.
Beachdaich air a’ ghnìomh ceithir-thaobhach dà-thaobhach g(x) = (x – 5) ^2. Aig x = 5, tha an gnìomh seo mar an ceudna aig a’ char as lugha. Gus an ìre seo a lorg, cuiridh sinn an sàs teàrnadh caisead.
1. Tòiseachadh: Tòisichidh sinn le x0 = 8 mar an t-àite tòiseachaidh againn.
2. Obraich a-mach caisead g(x): g'(x) = 2(x – 5). Nuair a chuireas sinn x0 = 8 an àite, is e an caisead aig x0 2 * (8 – 5) = 6.
3. Le = 0.2 mar an ìre ionnsachaidh againn, bidh sinn ag ùrachadh x mar a leanas: x = x₀ – α * g’(x₀) = 8 – 0.2 * 6 = 6.8.
4. Ath-aithris: Bidh sinn ag ath-aithris ceumannan 2 agus 3 cho tric 'sa tha riatanach gus an ruigear co-ghluasad. Bheir gach cearcall x nas fhaisge air 5, an luach as lugha aig g(x) = (x – 5)2.
5. Co-ghluasad: Mu dheireadh thig am modh còmhla gu x = 5, is e sin an luach as lugha aig g(x) = (x – 5)2.
Coimeas Ìrean Ionnsachaidh
Dèanamaid coimeas eadar astar co-chruinneachaidh teàrnadh caisead airson diofar ìrean ionnsachaidh, can α = 0.1, α = 0.2, agus α = 0.5 anns an eisimpleir ùr againn. Chì sinn gum bi ìre ionnsachaidh nas ìsle (me, = 0.1) a’ leantainn gu co-ghluasad nas fhaide ach ìre as ìsle nas cinntiche.
Bidh ìre ionnsachaidh nas àirde (me, = 0.5) a’ tighinn còmhla nas luaithe ach faodaidh e faighinn thairis air no oscillate mun ìre as ìsle, agus mar thoradh air sin bidh cruinneas nas miosa.
Eisimpleir ioma-mhodhail de làimhseachadh gnìomh neo-convex
Beachdaich air h(x) = sin(x) + 0.5x, gnìomh neo-convex.
Tha grunn minima ionadail agus maxima ann airson a’ ghnìomh seo. A rèir an t-suidheachaidh tòiseachaidh agus an ìre ionnsachaidh, b’ urrainn dhuinn tighinn còmhla ri gin de na minima ionadail a’ cleachdadh teàrnadh caisead àbhaisteach.
Is urrainn dhuinn seo fhuasgladh le bhith a’ cleachdadh dòighean optimization nas adhartaiche leithid Adhamh no teàrnadh caisead stochastic (SGD). Bidh na modhan sin a’ cleachdadh ìrean ionnsachaidh atharrachail no samplachadh air thuaiream gus diofar roinnean de chruth-tìre a’ ghnìomh a sgrùdadh, a’ meudachadh an coltas gun tèid an ìre as ìsle a choileanadh.
Co-dhùnadh
Tha algorithms teàrnadh caisead nan innealan optimization cumhachdach a thathas a’ cleachdadh gu farsaing ann an raon farsaing de ghnìomhachasan. Bidh iad a’ faighinn a-mach an ìre as ìsle (no as àirde) de ghnìomh le bhith ag ùrachadh paramadairean a-rithist stèidhichte air treòrachadh an caisead.
Air sgàth nàdar ath-aithriseach an algairim, is urrainn dha raointean àrd-mheudach agus gnìomhan iom-fhillte a làimhseachadh, ga dhèanamh riatanach ann an ionnsachadh innealan agus giollachd dàta.
Faodaidh teàrnadh caisead dèiligeadh gu furasta ri duilgheadasan san t-saoghal fhìor agus cur gu mòr ri fàs teicneòlas agus co-dhùnaidhean stèidhichte air dàta le bhith a’ taghadh an ìre ionnsachaidh gu faiceallach agus a’ cur an sàs atharrachaidhean adhartach leithid teàrnadh caisead stochastic agus Adhamh.
Leave a Reply