የአንድን ተግባር ዝቅተኛውን ወይም ከፍተኛውን ለመለየት በሚያስፈልገን በብዙ የገሃዱ ዓለም ሁኔታዎች የማመቻቸት ችግሮች ያጋጥሙናል።
አንድን ተግባር የአንድ ሥርዓት ሒሳባዊ ውክልና አድርገህ አስብበት፣ እና አነስተኛውን ወይም ከፍተኛውን መወሰን እንደ ማሽን መማር፣ ምህንድስና፣ ፋይናንስ እና ሌሎች ላሉ የተለያዩ መተግበሪያዎች ወሳኝ ሊሆን ይችላል።
ኮረብታዎች እና ሸለቆዎች ያሉት የመሬት ገጽታን አስቡ እና ግባችን በተቻለ ፍጥነት ወደ መድረሻችን ለመድረስ ዝቅተኛውን ነጥብ (ዝቅተኛውን) ማግኘት ነው።
እንደዚህ አይነት የማመቻቸት ተግዳሮቶችን ለመፍታት ቀስ በቀስ የወረደ ስልተ ቀመሮችን እንጠቀማለን። እነዚህ ስልተ ቀመሮች ወደ ቁልቁለት ቁልቁለት (አሉታዊ ቅልመት) አቅጣጫ እርምጃዎችን በመውሰድ ተግባርን ለመቀነስ ተደጋጋሚ የማሻሻያ ዘዴዎች ናቸው።
ቀስ በቀስ በተግባሩ ውስጥ ካለው ከፍተኛ ጭማሪ ጋር አቅጣጫውን ያንፀባርቃል ፣ እና በተቃራኒው አቅጣጫ መጓዝ ወደ ዝቅተኛው ይመራናል።
በትክክል የግራዲየንት መውረድ ስልተ-ቀመር ምንድን ነው?
የግራዲየንት መውረድ የአንድ ተግባር ዝቅተኛውን (ወይም ከፍተኛውን) ለመወሰን ታዋቂ ተደጋጋሚ ማሻሻያ አካሄድ ነው።
በበርካታ መስኮች ውስጥ ወሳኝ መሳሪያ ነው, ጨምሮ የማሽን መማር፣ ጥልቅ ትምህርት ፣ አርቴፊሻል ኢንተለጀንስ ፣ ምህንድስና እና ፋይናንስ።
የአልጎሪዝም መሰረታዊ መርሆ በተግባሩ እሴት ላይ ከፍተኛውን የመጨመር አቅጣጫ በሚያሳየው የግራዲየንት አጠቃቀም ላይ የተመሰረተ ነው።
አልጎሪዝም በተቀላጠፈ መልኩ የተግባርን መልክዓ ምድራዊ አቀማመጥ ወደ ዝቅተኛው አቅጣጫ በማዞር ወደ ተቃራኒው አቅጣጫ በተደጋጋሚ እርምጃዎችን እንደ ቅልመት በመውሰድ መፍትሄውን እስከ መጋጠሚያ ድረስ በማጥራት።
ለምን የግራዲየንት መውረድ ስልተ-ቀመርን እንጠቀማለን?
ለጀማሪዎች ከፍተኛ መጠን ያላቸውን ቦታዎች እና ውስብስብ ተግባራትን ጨምሮ የተለያዩ የማመቻቸት ችግሮችን ለመፍታት ጥቅም ላይ ሊውሉ ይችላሉ.
በሁለተኛ ደረጃ, በተለይም የትንታኔው መፍትሄ በማይገኝበት ጊዜ ወይም በስሌት ውድ ከሆነ ጥሩ መፍትሄዎችን በፍጥነት ማግኘት ይችላሉ.
የግራዲየንት መውረጃ ቴክኒኮች በከፍተኛ ደረጃ ሊሰፉ የሚችሉ እና ግዙፍ የውሂብ ስብስቦችን በተሳካ ሁኔታ ማስተናገድ ይችላሉ።
በውጤቱም, በ ውስጥ በሰፊው ጥቅም ላይ ይውላሉ የማሽን ስልተ ቀመሮች የትንበያ ስህተቶችን ለመቀነስ የነርቭ ኔትወርኮችን ከመረጃ እንዲማሩ እና ግቤቶችን እንዲያሻሽሉ ማሰልጠን።
የግራዲየንት መውረድ ደረጃዎች ዝርዝር ምሳሌ
ስለ ቀስ በቀስ የመውረድ ቴክኒክ የበለጠ ለመረዳት የበለጠ ዝርዝር ምሳሌን እንመልከት።
ቢያንስ በ (2) መሰረታዊ ፓራቦሊክ ኩርባ የሚያመነጨውን 2D ተግባር f(x) = x0,0ን አስቡበት። ይህንን አነስተኛ ነጥብ ለመወሰን የግራዲየንት መውረጃ ስልተ ቀመር ጥቅም ላይ ይውላል።
ደረጃ 1፡ ማስጀመር
የግራዲየንት መውረድ ስልተ-ቀመር የሚጀምረው በተለዋዋጭ x እሴት በማስጀመር እንደ x0 ነው።
የመነሻው ዋጋ በአልጎሪዝም አፈጻጸም ላይ ከፍተኛ ተጽዕኖ ሊያሳድር ይችላል።
የችግሩን ቀደምት ዕውቀት በዘፈቀደ ማስጀመር ወይም መቅጠር ሁለት የተለመዱ ቴክኒኮች ናቸው። በጉዳያችን መጀመሪያ ላይ x₀ = 3 እንበል።
ደረጃ 2፡ የግራዲየንትን አስላ
የ f(x) ተግባር ቅልመት አሁን ባለበት ቦታ x₀። ከዚያም ማስላት አለበት.
ቅልጥፍናው በዚያ የተወሰነ ቦታ ላይ ያለውን የተግባር ቁልቁል ወይም የለውጥ መጠን ያሳያል።
ለ f(x) = x2 ተግባር xን የሚመለከተውን እንሰላለን፣ ይህም f'(x) = 2x ይሰጣል። ቅልመትን በ x0 እንደ 2 * 3 = 6 በ x₀ = 3 ወደ ቅልመት ስሌት በመተካት እናገኛለን።
ደረጃ 3፡ መለኪያዎችን ያዘምኑ
የግራዲየንት መረጃን በመጠቀም የ x እሴትን እንደሚከተለው እናዘምነዋለን፡- x = x₀ – α * f'(x₀)፣ α (አልፋ) የመማር ደረጃን የሚያመለክት ነው።
የመማሪያው ፍጥነት በማዘመን ሂደት ውስጥ የእያንዳንዱን እርምጃ መጠን የሚወስን ሃይፐርፓራሜትር ነው። ቀርፋፋ የመማር ፍጥነት ሊያስከትል ስለሚችል ተገቢውን የመማሪያ መጠን ማዘጋጀት ወሳኝ ነው። ስልተ ዝቅተኛውን ለመድረስ ብዙ ድግግሞሾችን ለመውሰድ.
በአንፃሩ ከፍተኛ የመማሪያ ፍጥነት ስልተ ቀመሩን ወደ ማደግ ወይም መሰባሰብ አለመቻልን ሊያስከትል ይችላል። ለዚህ ምሳሌ ሲባል የ α = 0.1 የመማር ፍጥነት እንውሰድ።
ደረጃ 4፡ ይድገሙ
የተዘመነውን የ x እሴት ካገኘን በኋላ፣ ደረጃ 2 እና 3 ን እንደግማለን ቀድሞ የተወሰነ የድግግሞሽ ብዛት ወይም የ x ለውጡ አነስተኛ እስኪሆን ድረስ፣ ይህም ውህደትን ያሳያል።
ዘዴው ቅልመትን ያሰላል፣ የ x እሴትን ያዘምናል እና አሰራሩን በእያንዳንዱ ድግግሞሽ ይቀጥላል፣ ይህም ወደ ዝቅተኛው እንዲጠጋ ያስችለዋል።
ደረጃ 5፡ መቀላቀል
ቴክኒኩ ከተደጋገሙ በኋላ ተጨማሪ ማሻሻያዎች በተግባሩ ዋጋ ላይ ተጽዕኖ የማያሳድሩበት ደረጃ ላይ ይደርሳል።
በእኛ ሁኔታ፣ ድግግሞሾቹ ሲቀጥሉ x ወደ 0 ይጠጋል፣ ይህም ዝቅተኛው የf(x) = x^2 እሴት ነው። ለመገጣጠም አስፈላጊ የሆኑ የድግግሞሽ ብዛት የሚወሰነው እንደ የተመረጠው የመማሪያ ፍጥነት እና የተግባር ውስብስብነት በመሳሰሉት ሁኔታዎች ነው።
የመማሪያ መጠን መምረጥ ()
ተቀባይነት ያለው የመማሪያ መጠን () መምረጥ ለቀደም ውረድ ስልተ ቀመር ውጤታማነት ወሳኝ ነው። ቀደም ሲል እንደተገለፀው ዝቅተኛ የመማሪያ ፍጥነት ዝግተኛ ውህደትን ሊያመጣ ይችላል, ነገር ግን ከፍተኛ የመማሪያ ፍጥነት ከመጠን በላይ መተኮስ እና መገጣጠም አለመቻል.
አልጎሪዝም በተቻለ መጠን በተቀላጠፈ ሁኔታ ወደታሰበው ዝቅተኛነት እንዲመጣጠን ትክክለኛውን ሚዛን መፈለግ በጣም አስፈላጊ ነው።
የመማር ፍጥነቱን ማስተካከል በተግባር የሙከራ እና የስህተት ሂደት ነው። ተመራማሪዎች እና ባለሙያዎች በልዩ ተግዳሮታቸው ላይ የአልጎሪዝም ውህደትን እንዴት እንደሚነኩ ለማየት በተለያዩ የትምህርት ደረጃዎች በመደበኛነት ይሞክራሉ።
ኮንቬክስ ያልሆኑ ተግባራትን ማስተናገድ
ቀዳሚው ምሳሌ ቀላል ኮንቬክስ ተግባር ሲኖረው፣ ብዙ የገሃዱ ዓለም የማመቻቸት ጉዳዮች ብዙ የአካባቢ ዝቅተኛነት ያላቸው ያልተወሳሰቡ ተግባራትን ያካትታሉ።
እንደዚህ ባሉ ጉዳዮች ላይ ቀስ በቀስ መውረድን በሚጠቀሙበት ጊዜ ዘዴው ከአለምአቀፍ ዝቅተኛው ይልቅ ወደ አካባቢያዊ ዝቅተኛነት ሊጣመር ይችላል።
ይህንን ችግር ለማሸነፍ ብዙ የላቁ የግራዲየንት መውረጃ ዓይነቶች ተዘጋጅተዋል። Stochastic Gradient Descent (SGD) በእያንዳንዱ ድግግሞሽ ላይ ያለውን ቅልመት ለማስላት በዘፈቀደ የውሂብ ነጥቦችን (ሚኒ-ባች በመባል የሚታወቀው) በማንሳት የዘፈቀደነትን የሚያስተዋውቅ አንዱ ዘዴ ነው።
ይህ የዘፈቀደ ናሙና አልጎሪዝም ከአካባቢያዊ ዝቅተኛነት እንዲርቅ እና የተግባርን የመሬት አቀማመጥ አዳዲስ ክፍሎችን እንዲያስሱ ያስችለዋል፣ ይህም የተሻለ ዝቅተኛ የማግኘት እድልን ይጨምራል።
አዳም (አስማሚ አፍታ ግምት) ሌላው ጎልቶ የሚታይ ልዩነት ነው፣ እሱም የሁለቱም የRMSprop እና የፍጥነት ጥቅሞችን የሚያጠቃልለው የሚለምደዉ የመማር ፍጥነት ማሻሻያ አካሄድ ነው።
አዳም በቀደመው የግራዲየንት መረጃ ላይ በመመስረት የእያንዳንዱን ግቤት የመማሪያ መጠን በተለዋዋጭ ያስተካክላል፣ ይህ ደግሞ ኮንቬክስ ባልሆኑ ተግባራት ላይ የተሻለ ውህደትን ሊያስከትል ይችላል።
እነዚህ የተራቀቁ የግራዲየንት ቁልቁል ልዩነቶች ከጊዜ ወደ ጊዜ ውስብስብ ተግባራትን በማስተናገድ ረገድ ውጤታማ መሆናቸውን አረጋግጠዋል እና በማሽን መማሪያ እና በጥልቅ ትምህርት ውስጥ መደበኛ መሳሪያዎች ሆነዋል።
ደረጃ 6፡ እድገትህን በዓይነ ሕሊናህ ተመልከት
ስለ ድግግሞሹ ሂደት የተሻለ ግንዛቤ ለማግኘት የግራዲየንት መውረድ ስልተ-ቀመር ሂደትን እንይ። ድግግሞሾችን የሚወክል የ x-ዘንግ ያለው ግራፍ እና የ y-ዘንግ የተግባርን f(x) እሴትን ያስቡ።
አልጎሪዝም እየደጋገመ ሲሄድ የ x ዋጋ ወደ ዜሮ ይጠጋል እና በውጤቱም የተግባር እሴቱ በእያንዳንዱ እርምጃ ይቀንሳል። በግራፍ ላይ ሲቀረጽ፣ ይህ የተለየ የመቀነስ አዝማሚያ ያሳያል፣ ይህም የአልጎሪዝም ዝቅተኛውን ለመድረስ ያለውን እድገት ያሳያል።
ደረጃ 7፡ የመማር ደረጃን በጥሩ ሁኔታ ማስተካከል
የመማሪያው ፍጥነት () በአልጎሪዝም አፈጻጸም ውስጥ ወሳኝ ነገር ነው። በተግባር፣ ጥሩውን የመማሪያ ፍጥነት መወሰን ብዙ ጊዜ መሞከር እና ስህተትን ይጠይቃል።
እንደ የመማር ፍጥነት መርሃ ግብሮች ያሉ አንዳንድ የማመቻቸት ቴክኒኮች በስልጠና ወቅት የትምህርት ፍጥነትን በተለዋዋጭነት ሊለውጡ ይችላሉ ከከፍተኛ እሴት ጀምሮ እና አልጎሪዝም ወደ ውህደት ሲቃረብ ቀስ በቀስ ይቀንሳል።
ይህ ዘዴ በጅማሬ ውስጥ ፈጣን እድገት እና በማመቻቸት ሂደቱ መጨረሻ ላይ ባለው መረጋጋት መካከል ያለውን ሚዛን ለመጠበቅ ይረዳል.
ሌላ ምሳሌ፡ የኳድራቲክ ተግባርን መቀነስ
ስለ ቀስ በቀስ መውረድ የተሻለ ግንዛቤ ለማግኘት ሌላ ምሳሌ እንመልከት።
ባለ ሁለት-ልኬት ኳድራቲክ ተግባር g(x) = (x - 5)^2ን ተመልከት። በ x = 5, ይህ ተግባር በተመሳሳይ መልኩ ዝቅተኛ ነው. ይህንን ዝቅተኛ ለማግኘት፣ ቀስ በቀስ መውረድን እንተገብራለን።
1. ጅምር፡- እንደ መነሻ በ x0 = 8 እንጀምር።
2. የg(x) ቅልመትን አስላ፡ g'(x) = 2(x – 5)። x0 = 8ን ስንተካ በ x0 ያለው ቅልመት 2 * (8 - 5) = 6 ነው።
3. በ = 0.2 እንደ የትምህርት ደረጃችን፣ xን እንደሚከተለው እናዘምነዋለን፡ x = x₀ – α * g'(x₀) = 8 – 0.2 * 6 = 6.8።
4. ድገም: ደረጃ 2 እና 3 አስፈላጊ ሆኖ ሲገኝ መጋጠሚያው እስኪደርስ ድረስ ደጋግመን እንሰራለን. እያንዳንዱ ዑደት xን ወደ 5 ያመጣል፣ አነስተኛው የ g(x) = (x – 5)2 እሴት።
5. መገጣጠም፡- ዘዴው በመጨረሻ ወደ x = 5 ይሰበሰባል፣ ይህም አነስተኛው የ g(x) = (x - 5)2 ነው።
የመማሪያ ተመኖች ንጽጽር
የግራዲየንት መውረድን የመገጣጠም ፍጥነት ለተለያዩ የትምህርት ደረጃዎች እናወዳድር፣ በአዲሱ ምሳሌአችን α = 0.1፣ α = 0.2፣ እና α = 0.5 እንበል። ዝቅተኛ የመማር ፍጥነት (ለምሳሌ፡ = 0.1) ረዘም ያለ ውህደት እንደሚያመጣ ነገር ግን ይበልጥ ትክክለኛ የሆነ ዝቅተኛ መሆኑን ማየት እንችላለን።
የከፍተኛ ትምህርት ፍጥነት (ለምሳሌ፡ = 0.5) በፍጥነት ይሰበሰባል ነገርግን በትንሹ ሊተኩስ ወይም ሊወዛወዝ ይችላል፣ ይህም ትክክለኝነት ደካማ ይሆናል።
ባለብዙ ሞዳል ኮንቬክስ ያልሆነ ተግባር አያያዝ ምሳሌ
h(x) = sin(x) + 0.5x፣ ኮንቬክስ ያልሆነ ተግባርን አስቡ።
ለዚህ ተግባር በርካታ የአካባቢ ሚኒማ እና ከፍተኛ አሉ። እንደ መጀመሪያው ቦታ እና የመማሪያ ፍጥነት፣ ደረጃውን የጠበቀ ቅልመት ቁልቁለትን በመጠቀም ወደ ማንኛውም የአከባቢ አነስተኛ ማሰባሰብ እንችላለን።
እንደ አዳም ወይም ስቶካስቲክ የግራዲየንት መውረድ (SGD) ያሉ ይበልጥ የላቁ የማመቻቸት ቴክኒኮችን በመጠቀም ይህንን መፍታት እንችላለን። እነዚህ ዘዴዎች የተግባርን መልክዓ ምድር የተለያዩ ክልሎችን ለማሰስ የሚለምደዉ የመማሪያ ተመኖች ወይም የዘፈቀደ ናሙና ይጠቀማሉ፣ ይህም የተሻለ ዝቅተኛ የመድረስ እድልን ይጨምራል።
መደምደሚያ
የግራዲየንት መውረጃ ስልተ ቀመሮች በተለያዩ ኢንዱስትሪዎች ውስጥ በስፋት ጥቅም ላይ የሚውሉ ኃይለኛ የማሻሻያ መሳሪያዎች ናቸው። በግራዲየንቱ አቅጣጫ ላይ ተመስርተው መለኪያዎችን ደጋግመው በማዘመን የተግባርን ዝቅተኛውን (ወይም ከፍተኛ) ያገኙታል።
በአልጎሪዝም ተደጋጋሚ ተፈጥሮ ምክንያት ከፍተኛ መጠን ያላቸውን ቦታዎች እና ውስብስብ ተግባራትን ማስተናገድ ይችላል፣ ይህም በማሽን መማር እና በመረጃ ሂደት ውስጥ አስፈላጊ ያደርገዋል።
የግራዲየንት መውረድ የገሃዱ አለም ችግሮችን በቀላሉ መፍታት እና ለቴክኖሎጂ እድገት እና በመረጃ ላይ የተመሰረተ ውሳኔ አሰጣጥ ከፍተኛ አስተዋፅዖ ያደርጋል የመማር ደረጃን በጥንቃቄ በመምረጥ እና እንደ ስቶካስቲክ የግራዲየንት መውረድ እና አዳም ያሉ የላቁ ልዩነቶችን በመተግበር።
መልስ ይስጡ