ஒரு செயல்பாட்டின் குறைந்தபட்ச அல்லது அதிகபட்சத்தை நாம் அடையாளம் காண வேண்டிய பல நிஜ-உலக சூழ்நிலைகளில் தேர்வுமுறை சிக்கல்களை எதிர்கொள்கிறோம்.
ஒரு செயல்பாட்டினை ஒரு அமைப்பின் கணிதப் பிரதிநிதித்துவமாகக் கருதுங்கள், மேலும் அதன் குறைந்தபட்ச அல்லது அதிகபட்சத்தை தீர்மானிப்பது இயந்திர கற்றல், பொறியியல், நிதி மற்றும் பிற பயன்பாடுகளுக்கு முக்கியமானதாக இருக்கலாம்.
மலைகள் மற்றும் பள்ளத்தாக்குகள் கொண்ட ஒரு நிலப்பரப்பைக் கவனியுங்கள், முடிந்தவரை விரைவாக நாம் இலக்கை அடைவதற்கான மிகக் குறைந்த புள்ளியைக் (குறைந்தபட்சம்) கண்டறிவதே எங்கள் குறிக்கோள்.
இத்தகைய தேர்வுமுறை சவால்களைத் தீர்க்க நாங்கள் அடிக்கடி சாய்வு வம்சாவளி அல்காரிதம்களைப் பயன்படுத்துகிறோம். இந்த வழிமுறைகள் செங்குத்தான வம்சாவளியின் (எதிர்மறை சாய்வு) திசையில் படிகளை எடுப்பதன் மூலம் செயல்பாட்டைக் குறைப்பதற்கான மறுசெயல்முறை மேம்படுத்தல் முறைகள் ஆகும்.
சாய்வு செயல்பாட்டின் செங்குத்தான அதிகரிப்புடன் திசையை பிரதிபலிக்கிறது, மேலும் எதிர் திசையில் பயணிப்பது நம்மை குறைந்தபட்சத்திற்கு இட்டுச் செல்கிறது.
கிரேடியன்ட் டிசென்ட் அல்காரிதம் என்றால் என்ன?
சாய்வு வம்சாவளி என்பது ஒரு செயல்பாட்டின் குறைந்தபட்ச (அல்லது அதிகபட்சம்) நிர்ணயிப்பதற்கான பிரபலமான மறுசெயல்முறை மேம்படுத்தல் அணுகுமுறையாகும்.
உட்பட பல துறைகளில் இது ஒரு முக்கியமான கருவியாகும் இயந்திர கற்றல், ஆழ்ந்த கற்றல், செயற்கை நுண்ணறிவு, பொறியியல் மற்றும் நிதி.
அல்காரிதத்தின் அடிப்படைக் கொள்கையானது அதன் சாய்வின் பயன்பாட்டை அடிப்படையாகக் கொண்டது, இது செயல்பாட்டின் மதிப்பில் கூர்மையான அதிகரிப்பின் திசையைக் காட்டுகிறது.
அல்காரிதம் செயல்பாட்டின் நிலப்பரப்பை குறைந்தபட்சம் நோக்கித் திறம்பட வழிநடத்துகிறது.
நாம் ஏன் கிரேடியன்ட் டிசென்ட் அல்காரிதம்களைப் பயன்படுத்துகிறோம்?
தொடக்கநிலையாளர்களுக்கு, உயர் பரிமாண இடைவெளிகள் மற்றும் சிக்கலான செயல்பாடுகள் உள்ளிட்ட பல்வேறு தேர்வுமுறை சிக்கல்களைத் தீர்க்க அவை பயன்படுத்தப்படலாம்.
இரண்டாவதாக, அவர்கள் விரைவாக உகந்த தீர்வுகளைக் கண்டறிய முடியும், குறிப்பாக பகுப்பாய்வு தீர்வு கிடைக்காதபோது அல்லது கணக்கீட்டு விலை அதிகம்.
சாய்வு வம்சாவளி நுட்பங்கள் மிகவும் அளவிடக்கூடியவை மற்றும் மிகப்பெரிய தரவுத்தொகுப்புகளை வெற்றிகரமாக கையாள முடியும்.
இதன் விளைவாக, அவை பரவலாகப் பயன்படுத்தப்படுகின்றன இயந்திர கற்றல் வழிமுறைகள் நரம்பியல் நெட்வொர்க்குகளை தரவிலிருந்து கற்றுக்கொள்வது மற்றும் கணிப்புத் தவறுகளைக் குறைக்க அவற்றின் அளவுருக்களை மாற்றுவது போன்றவை.
சாய்வு இறங்கு படிகளின் விரிவான எடுத்துக்காட்டு
சாய்வு வம்சாவளி நுட்பத்தைப் பற்றி நன்கு புரிந்துகொள்ள இன்னும் விரிவான உதாரணத்தைப் பார்ப்போம்.
2D செயல்பாட்டைக் கவனியுங்கள் f(x) = x2, இது ஒரு அடிப்படை பரவளைய வளைவை குறைந்தபட்சம் (0,0) இல் உருவாக்குகிறது. இந்த குறைந்தபட்ச புள்ளியை தீர்மானிக்க சாய்வு இறங்கு வழிமுறை பயன்படுத்தப்படும்.
படி 1: துவக்கம்
சாய்வு வம்சாவளி அல்காரிதம் மாறி x இன் மதிப்பை துவக்குவதன் மூலம் தொடங்குகிறது, இது x0 ஆக குறிப்பிடப்படுகிறது.
ஆரம்ப மதிப்பு அல்காரிதத்தின் செயல்திறனில் கணிசமான தாக்கத்தை ஏற்படுத்தும்.
சீரற்ற துவக்கம் அல்லது சிக்கலைப் பற்றிய முன் அறிவைப் பயன்படுத்துவது இரண்டு பொதுவான நுட்பங்கள். எங்கள் வழக்கின் தொடக்கத்தில் x₀ = 3 என்று வைத்துக்கொள்வோம்.
படி 2: சாய்வைக் கணக்கிடவும்
தற்போதைய நிலையில் x₀ இல் f(x) செயல்பாட்டின் சாய்வு. பின்னர் கணக்கிடப்பட வேண்டும்.
சாய்வு என்பது குறிப்பிட்ட நிலையில் செயல்பாட்டின் சாய்வு அல்லது மாற்ற விகிதத்தைக் குறிக்கிறது.
f'(x) = 2x வழங்கும் f(x) = x2 செயல்பாட்டிற்காக x தொடர்பான வழித்தோன்றலைக் கணக்கிடுகிறோம். சாய்வு கணக்கீட்டில் x₀ = 0 ஐ மாற்றுவதன் மூலம் x2 இல் சாய்வை 3 * 6 = 3 ஆகப் பெறுகிறோம்.
படி 3: அளவுருக்களைப் புதுப்பிக்கவும்
சாய்வுத் தகவலைப் பயன்படுத்தி, x இன் மதிப்பை பின்வருமாறு புதுப்பிக்கிறோம்: x = x₀ – α * f'(x₀), α (alpha) என்பது கற்றல் வீதத்தைக் குறிக்கிறது.
கற்றல் வீதம் என்பது ஒரு ஹைப்பர் பாராமீட்டர் ஆகும், இது புதுப்பித்தல் செயல்பாட்டின் ஒவ்வொரு படியின் அளவையும் தீர்மானிக்கிறது. சரியான கற்றல் வீதத்தை அமைப்பது மிகவும் முக்கியமானது, ஏனெனில் மெதுவான கற்றல் விகிதம் ஏற்படலாம் வழிமுறை குறைந்தபட்சத்தை அடைய பல மறுபடியும் மறுபடியும் எடுக்க வேண்டும்.
மறுபுறம், உயர் கற்றல் விகிதம், அல்காரிதம் துள்ளும் அல்லது ஒன்றிணைவதில் தோல்வியை விளைவிக்கும். இந்த உதாரணத்திற்காக கற்றல் விகிதம் α = 0.1 என்று வைத்துக்கொள்வோம்.
படி 4: மீண்டும் செய்யவும்
x இன் புதுப்பிக்கப்பட்ட மதிப்பைப் பெற்ற பிறகு, முன்னரே தீர்மானிக்கப்பட்ட எண்ணிக்கையிலான மறு செய்கைகளுக்காக அல்லது x இன் மாற்றம் குறைவாக இருக்கும் வரை, 2 மற்றும் 3 படிகளை மீண்டும் செய்வோம், இது ஒன்றிணைவதைக் குறிக்கிறது.
இந்த முறை சாய்வைக் கணக்கிடுகிறது, x இன் மதிப்பைப் புதுப்பிக்கிறது மற்றும் ஒவ்வொரு மறு செய்கையிலும் செயல்முறையைத் தொடர்கிறது, இது குறைந்தபட்சத்தை நெருங்க அனுமதிக்கிறது.
படி 5: ஒன்றிணைதல்
மேலும் புதுப்பித்தல்கள் செயல்பாட்டின் மதிப்பைப் பாதிக்காத ஒரு புள்ளிக்கு சில மறு செய்கைகளுக்குப் பிறகு நுட்பம் ஒன்றிணைகிறது.
எங்கள் விஷயத்தில், மறு செய்கைகள் தொடரும் போது, x 0 ஐ நெருங்கும், இது f(x) = x^2 இன் குறைந்தபட்ச மதிப்பாகும். தேர்ந்தெடுக்கப்பட்ட கற்றல் விகிதம் மற்றும் மேம்படுத்தப்பட்ட செயல்பாட்டின் சிக்கலான தன்மை போன்ற காரணிகளால் ஒன்றிணைவதற்குத் தேவையான மறு செய்கைகளின் எண்ணிக்கை தீர்மானிக்கப்படுகிறது.
கற்றல் விகிதத்தைத் தேர்ந்தெடுப்பது ()
ஏற்றுக்கொள்ளக்கூடிய கற்றல் வீதத்தைத் தேர்ந்தெடுப்பது () சாய்வு வம்சாவளி அல்காரிதத்தின் செயல்திறனுக்கு முக்கியமானது. முன்பு கூறியது போல், குறைந்த கற்றல் வீதம் மெதுவாக ஒன்றிணைவதைத் தூண்டலாம், அதேசமயம் அதிக கற்றல் வீதம் ஓவர்ஷூட்டிங் மற்றும் தோல்வியை ஏற்படுத்தலாம்.
முறையான சமநிலையைக் கண்டறிவது, அல்காரிதம் உத்தேசிக்கப்பட்ட குறைந்தபட்சத்திற்கு முடிந்தவரை திறமையாக ஒன்றிணைவதை உறுதிசெய்ய மிகவும் முக்கியமானது.
கற்றல் வீதத்தை சரிசெய்வது நடைமுறையில் சோதனை மற்றும் பிழை செயல்முறை ஆகும். ஆராய்ச்சியாளர்கள் மற்றும் பயிற்சியாளர்கள் தங்கள் குறிப்பிட்ட சவாலில் அல்காரிதத்தின் ஒருங்கிணைப்பை எவ்வாறு பாதிக்கிறார்கள் என்பதைப் பார்க்க வெவ்வேறு கற்றல் விகிதங்களை வழக்கமாக பரிசோதிப்பார்கள்.
குவிவு அல்லாத செயல்பாடுகளைக் கையாளுதல்
முந்தைய உதாரணம் ஒரு எளிய குவிந்த செயல்பாட்டைக் கொண்டிருந்தாலும், பல நிஜ-உலக தேர்வுமுறை சிக்கல்கள் பல உள்ளூர் மினிமாவுடன் குவிந்த செயல்பாடுகளை உள்ளடக்கியது.
இத்தகைய சந்தர்ப்பங்களில் சாய்வு வம்சாவளியைப் பயன்படுத்தும் போது, முறையானது உலகளாவிய குறைந்தபட்சத்தை விட உள்ளூர் குறைந்தபட்சமாக மாறலாம்.
இந்த சிக்கலை சமாளிக்க சாய்வு வம்சாவளியின் பல மேம்பட்ட வடிவங்கள் உருவாக்கப்பட்டுள்ளன. ஸ்டோகாஸ்டிக் கிரேடியன்ட் டிசென்ட் (SGD) என்பது, ஒவ்வொரு மறு செய்கையிலும் சாய்வைக் கணக்கிட, தரவுப் புள்ளிகளின் (மினி-பேட்ச் என அறியப்படும்) சீரற்ற துணைக்குழுவைத் தேர்ந்தெடுப்பதன் மூலம் சீரற்ற தன்மையை அறிமுகப்படுத்தும் ஒரு முறையாகும்.
இந்த சீரற்ற மாதிரியானது, அல்காரிதத்தை உள்ளூர் மினிமாவைத் தவிர்க்கவும், செயல்பாட்டின் நிலப்பரப்பின் புதிய பகுதிகளை ஆராயவும் அனுமதிக்கிறது, இது சிறந்த குறைந்தபட்சத்தைக் கண்டறியும் வாய்ப்புகளை அதிகரிக்கிறது.
ஆடம் (அடாப்டிவ் மொமென்ட் எஸ்டிமேஷன்) என்பது மற்றொரு முக்கிய மாறுபாடாகும், இது RMSprop மற்றும் உந்தம் ஆகிய இரண்டின் நன்மைகளையும் உள்ளடக்கிய தகவமைப்பு கற்றல் வீத உகப்பாக்கம் அணுகுமுறையாகும்.
ஆடம் ஒவ்வொரு அளவுருவிற்குமான கற்றல் விகிதத்தை முந்தைய சாய்வுத் தகவலின் அடிப்படையில் மாறும் வகையில் மாற்றியமைக்கிறார், இது குவிந்த செயல்பாடுகளில் சிறந்த ஒருங்கிணைப்பை ஏற்படுத்தக்கூடும்.
இந்த அதிநவீன சாய்வு வம்சாவளி மாறுபாடுகள் பெருகிய முறையில் சிக்கலான செயல்பாடுகளைக் கையாள்வதில் திறம்பட நிரூபிக்கப்பட்டுள்ளன மற்றும் இயந்திர கற்றல் மற்றும் ஆழ்ந்த கற்றலில் நிலையான கருவிகளாக மாறியுள்ளன, அங்கு குவிந்த அல்லாத தேர்வுமுறை சிக்கல்கள் பொதுவானவை.
படி 6: உங்கள் முன்னேற்றத்தைக் காட்சிப்படுத்தவும்
கிரேடியன்ட் டிசென்ட் அல்காரிதத்தின் முன்னேற்றத்தைப் பார்ப்போம், அதன் மறுசெயல்முறையைப் பற்றி நன்றாகப் புரிந்துகொள்ளலாம். மறு செய்கைகளைக் குறிக்கும் x-அச்சு மற்றும் f(x) செயல்பாட்டின் மதிப்பைக் குறிக்கும் y-அச்சு கொண்ட வரைபடத்தைக் கவனியுங்கள்.
அல்காரிதம் திரும்பும்போது, x இன் மதிப்பு பூஜ்ஜியத்தை நெருங்குகிறது, இதன் விளைவாக, ஒவ்வொரு அடியிலும் செயல்பாட்டு மதிப்பு குறைகிறது. ஒரு வரைபடத்தில் வரையப்படும் போது, இது ஒரு தனித்துவமான குறையும் போக்கை வெளிப்படுத்தும், இது அல்காரிதம் குறைந்தபட்சத்தை அடையும் முன்னேற்றத்தை பிரதிபலிக்கும்.
படி 7: கற்றல் வீதத்தை நன்றாகச் சரிப்படுத்துதல்
கற்றல் விகிதம் () அல்காரிதத்தின் செயல்திறனில் ஒரு முக்கிய காரணியாகும். நடைமுறையில், சிறந்த கற்றல் வீதத்தை நிர்ணயிப்பது அடிக்கடி சோதனை மற்றும் பிழை தேவைப்படுகிறது.
கற்றல் வீத அட்டவணைகள் போன்ற சில தேர்வுமுறை நுட்பங்கள், பயிற்சியின் போது கற்றல் விகிதத்தை மாறும் வகையில் மாற்றலாம், அதிக மதிப்பில் தொடங்கி, அல்காரிதம் ஒருங்கிணைக்கும் போது படிப்படியாகக் குறையும்.
இந்த முறையானது தொடக்கத்தில் விரைவான வளர்ச்சிக்கும், தேர்வுமுறை செயல்முறையின் முடிவில் நிலைத்தன்மைக்கும் இடையே சமநிலையை ஏற்படுத்த உதவுகிறது.
மற்றொரு எடுத்துக்காட்டு: ஒரு இருபடி செயல்பாட்டைக் குறைத்தல்
சாய்வு வம்சாவளியைப் பற்றி நன்கு புரிந்துகொள்ள மற்றொரு உதாரணத்தைப் பார்ப்போம்.
இரு பரிமாண இருபடி சார்பு g(x) = (x – 5)^2. x = 5 இல், இந்த செயல்பாடும் குறைந்தபட்சம் உள்ளது. இந்த குறைந்தபட்சத்தைக் கண்டறிய, சாய்வு வம்சாவளியைப் பயன்படுத்துவோம்.
1. துவக்கம்: ஆரம்பப் புள்ளியாக x0 = 8 உடன் தொடங்குவோம்.
2. g(x) இன் சாய்வைக் கணக்கிடவும்: g'(x) = 2(x – 5). நாம் x0 = 8 ஐ மாற்றும்போது, x0 இல் உள்ள சாய்வு 2 * (8 - 5) = 6 ஆகும்.
3. எங்கள் கற்றல் விகிதமாக = 0.2 உடன், x ஐ பின்வருமாறு புதுப்பிக்கிறோம்: x = x₀ – α * g'(x₀) = 8 – 0.2 * 6 = 6.8.
4. திரும்பத் திரும்ப: 2 மற்றும் 3 படிகளை தேவையான பல முறை ஒருங்கிணைக்கும் வரை மீண்டும் செய்கிறோம். ஒவ்வொரு சுழற்சியும் x ஐ 5 க்கு அருகில் கொண்டு வருகிறது, g(x) = (x – 5)2 இன் குறைந்தபட்ச மதிப்பு.
5. குவிதல்: முறையானது இறுதியில் x = 5 ஆக ஒன்றிணைகிறது, இது g(x) = (x – 5)2 இன் குறைந்தபட்ச மதிப்பாகும்.
கற்றல் விகிதங்கள் ஒப்பீடு
வெவ்வேறு கற்றல் விகிதங்களுக்கான சாய்வு வம்சாவளியின் ஒருங்கிணைப்பு வேகத்தை ஒப்பிடுவோம், எங்கள் புதிய எடுத்துக்காட்டில் α = 0.1, α = 0.2, மற்றும் α = 0.5 எனக் கூறவும். குறைந்த கற்றல் வீதம் (எ.கா., = 0.1) நீண்ட ஒருங்கிணைப்பை ஏற்படுத்தும், ஆனால் மிகவும் துல்லியமான குறைந்தபட்சத்தை ஏற்படுத்தும்.
ஒரு உயர் கற்றல் விகிதம் (எ.கா., = 0.5) வேகமாக ஒருங்கிணைக்கும், ஆனால் மிகைப்படுத்தலாம் அல்லது குறைந்தபட்சம் ஊசலாடலாம், இதன் விளைவாக மோசமான துல்லியம் ஏற்படுகிறது.
குவிவு அல்லாத செயல்பாடு கையாளுதலுக்கான மல்டிமோடல் எடுத்துக்காட்டு
h(x) = sin(x) + 0.5x, ஒரு குவிவு அல்லாத செயல்பாடு.
இந்தச் செயல்பாட்டிற்கு பல உள்ளூர் மினிமா மற்றும் அதிகபட்சம் உள்ளன. தொடக்க நிலை மற்றும் கற்றல் விகிதத்தைப் பொறுத்து, நிலையான கிரேடியன்ட் வம்சாவளியைப் பயன்படுத்தி நாம் எந்த உள்ளூர் மினிமாவிற்கும் ஒன்றிணையலாம்.
ஆடம் அல்லது ஸ்டோகாஸ்டிக் கிரேடியண்ட் டிசென்ட் (SGD) போன்ற மேம்பட்ட தேர்வுமுறை நுட்பங்களைப் பயன்படுத்தி இதை நாம் தீர்க்கலாம். இந்த முறைகள் செயல்பாட்டின் நிலப்பரப்பின் வெவ்வேறு பகுதிகளை ஆராய்வதற்கு தகவமைப்பு கற்றல் விகிதங்கள் அல்லது சீரற்ற மாதிரியைப் பயன்படுத்துகின்றன, சிறந்த குறைந்தபட்சத்தை அடைவதற்கான வாய்ப்பை அதிகரிக்கின்றன.
தீர்மானம்
கிரேடியன்ட் டிசென்ட் அல்காரிதம்கள் பலதரப்பட்ட தொழில்களில் பரவலாகப் பயன்படுத்தப்படும் சக்திவாய்ந்த தேர்வுமுறை கருவிகள் ஆகும். சாய்வு திசையின் அடிப்படையில் அளவுருக்களை மீண்டும் மீண்டும் புதுப்பிப்பதன் மூலம் அவை செயல்பாட்டின் மிகக் குறைந்த (அல்லது அதிகபட்சம்) கண்டறியும்.
அல்காரிதத்தின் செயல்பாட்டுத் தன்மையின் காரணமாக, இது உயர் பரிமாண இடைவெளிகள் மற்றும் சிக்கலான செயல்பாடுகளைக் கையாள முடியும், இது இயந்திர கற்றல் மற்றும் தரவு செயலாக்கத்தில் இன்றியமையாததாக ஆக்குகிறது.
கிரேடியன்ட் வம்சாவளியானது நிஜ-உலக சிரமங்களை எளிதில் சமாளிக்கும் மற்றும் தொழில்நுட்பத்தின் வளர்ச்சிக்கும் தரவு சார்ந்த முடிவெடுப்பதற்கும் பெரிதும் பங்களிக்கிறது
ஒரு பதில் விடவும்