ዛሬ በተፈጥሮ ቋንቋ አቀነባበር ዙሪያ አብዮት እያየን ነው። እና፣ ያለ አርቴፊሻል ኢንተለጀንስ የወደፊት ጊዜ እንደሌለ እርግጠኛ ነው። ቀደም ሲል የተለያዩ AI "ረዳቶችን" እየተጠቀምን ነው.
ቻትቦቶች በእኛ ሁኔታ ምርጥ ምሳሌዎች ናቸው። አዲሱን የግንኙነት ዘመን ያመለክታሉ። ግን፣ ልዩ የሚያደርጋቸው ምንድን ነው?
የአሁን ቻትቦቶች የተፈጥሮ ቋንቋ ጥያቄዎችን እንደሰው ሊቃውንት ተመሳሳይ ትክክለኛነት እና ዝርዝር ተረድተው ሊመልሱ ይችላሉ። ወደ ሂደቱ ስለሚገቡት ዘዴዎች መማር በጣም አስደሳች ነው.
ማሰር እና ከጀርባው ያለውን ቴክኖሎጂ እንወቅ።
ወደ ቴክ ጠልቆ መግባት
AI Transformers በዚህ አካባቢ ዋና ቁልፍ ቃል ነው. እንደነሱ ናቸው። የነርቭ ኔትወርኮች የተፈጥሮ ቋንቋን ሂደት አብዮት ያደረጉ። እንደ እውነቱ ከሆነ በ AI ትራንስፎርመሮች እና በነርቭ ኔትወርኮች መካከል ትልቅ የንድፍ ትይዩዎች አሉ።
ሁለቱም የግብአት ውሂብን እንደ ውፅዓት ወደ ትንበያ ለመቀየር ተከታታይ ስሌቶችን የሚያከናውኑ ከበርካታ የማቀነባበሪያ ክፍሎች የተገነቡ ናቸው። በዚህ ጽሁፍ የ AI ትራንስፎርመሮችን ሃይል እና በዙሪያችን ያለውን አለም እንዴት እንደሚቀይሩ እንመለከታለን።
የተፈጥሮ ቋንቋን የማቀናበር አቅም
በመሠረታዊ ነገሮች እንጀምር. በሁሉም ቦታ ማለት ይቻላል እንሰማዋለን. ግን፣ በትክክል የተፈጥሮ ቋንቋ ሂደት ምንድነው?
ክፍል ነው። ሰው ሰራሽ እውቀት የተፈጥሮ ቋንቋን በመጠቀም በሰዎች እና በማሽኖች መስተጋብር ላይ የሚያተኩር። ግቡ ኮምፒውተሮች የሰውን ቋንቋ ትርጉም ባለው እና በትክክለኛ መንገድ እንዲገነዘቡ፣ እንዲተረጉሙ እና እንዲያዘጋጁ መፍቀድ ነው።
የንግግር ማወቂያ፣ የቋንቋ ትርጉም፣ ስሜት ትንተና, እና የጽሑፍ ማጠቃለያ ሁሉም የ NLP መተግበሪያዎች ምሳሌዎች ናቸው. በሌላ በኩል ባህላዊ የኤንኤልፒ ሞዴሎች በአንድ ሐረግ ውስጥ በቃላት መካከል ያለውን ውስብስብ ትስስር ለመረዳት ታግለዋል። ይህ በብዙ የ NLP ተግባራት ውስጥ ከፍተኛ ትክክለኛነትን የማይቻል አድርጓል።
በዚህ ጊዜ AI Transformers ወደ ስዕሉ ሲገቡ ነው. በራስ ትኩረት ሂደት ትራንስፎርመሮች የረጅም ጊዜ ጥገኝነቶችን እና በቃላት መካከል ያለውን ግንኙነት በአንድ ሐረግ ውስጥ መመዝገብ ይችላሉ። ይህ ዘዴ ሞዴሉ በተለያዩ የግብአት ቅደም ተከተሎች ክፍሎች ላይ ለመሳተፍ እንዲመርጥ ያስችለዋል. ስለዚህ፣ በአንድ ሐረግ ውስጥ የእያንዳንዱን ቃል አውድ እና ፍቺ ሊረዳ ይችላል።
የትራንስፎርመሮች ሞዴሎች ምንድ ናቸው?
AI ትራንስፎርመር ሀ ጥልቀት ያለው ትምህርት የተለያዩ የመረጃ ዓይነቶችን የሚረዳ እና የሚያስኬድ አርክቴክቸር። እንደ የተለያዩ ቃላት በአንድ ሐረግ ውስጥ እንዴት እንደሚገናኙ ወይም የተለያዩ የምስሉ ክፍሎች እንዴት እንደሚጣመሩ ያሉ በርካታ ቢት መረጃዎች እርስ በርሳቸው እንዴት እንደሚዛመዱ በመወሰን ረገድ የላቀ ነው።
የሚሠራው መረጃን ወደ ትንንሽ ክፍሎች በመከፋፈል እና ከዚያም ሁሉንም አካላት በአንድ ጊዜ በማየት ነው። ብዙ ትናንሽ ሮቦቶች መረጃውን ለመረዳት እየተባበሩ ያሉ ይመስላል። በመቀጠል, ሁሉንም ነገር ካወቀ በኋላ, ምላሽ ወይም ውፅዓት ለማቅረብ ሁሉንም አካላት እንደገና ይሰበስባል.
AI ትራንስፎርመሮች እጅግ በጣም ጠቃሚ ናቸው. በተለያዩ መረጃዎች መካከል ያለውን ዐውደ-ጽሑፍ እና የረጅም ጊዜ ግንኙነቶችን ሊረዱ ይችላሉ። ይህ እንደ ቋንቋ ትርጉም፣ ማጠቃለያ እና የጥያቄ መልስ ላሉት ተግባራት ወሳኝ ነው። ስለዚህ፣ AI ሊያከናውናቸው ከሚችላቸው ብዙ አስደሳች ነገሮች በስተጀርባ ያሉት አእምሮዎች ናቸው!
ትኩረት የምትፈልገው ብቻ ነው።
የትርጉም ርዕስ "ትኩረት የሚያስፈልግዎ ብቻ ነው" የሚለው የ 2017 ህትመት የትራንስፎርመር ሞዴሉን ያቀረበውን ያመለክታል. የተፈጥሮ ቋንቋን ማቀናበር (NLP) ዲሲፕሊን ለውጥ አድርጓል።
የዚህ ጥናት አዘጋጆች የትራንስፎርመር ሞዴሉ ራስን የመመልከት ዘዴ የመደበኛውን ተደጋጋሚ እና ሚና ለመጫወት በቂ ጥንካሬ እንደነበረው ተናግረዋል ። ንፅፅር የነርቭ አውታረመረቦች ለ NLP ተግባራት ጥቅም ላይ ይውላል.
በትክክል ለራስ ትኩረት መስጠት ምንድነው?
ሞዴሉ ትንበያዎችን በሚያመርትበት ጊዜ በተለያዩ የግብአት ቅደም ተከተል ክፍሎች ላይ እንዲያተኩር የሚያስችል ዘዴ ነው.
በሌላ አገላለጽ፣ ራስን ትኩረት መስጠት ሞዴሉ የእያንዳንዱን አካል ሁሉንም አካላት በሚመለከት የትኩረት ነጥቦችን እንዲያሰላ ያስችለዋል።
ትራንስፎርመርን መሰረት ባደረገ አካሄድ፣ ራስን ትኩረት በሚከተለው መልኩ ይሰራል።
የግብአት ቅደም ተከተል በመጀመሪያ ወደ ተከታታይ ቬክተሮች ተካቷል, ለእያንዳንዱ ተከታታይ አባል.
በቅደም ተከተል ውስጥ ላለው እያንዳንዱ ንጥረ ነገር, አምሳያው ሶስት የቬክተር ስብስቦችን ይፈጥራል-የመጠይቅ ቬክተር, ቁልፍ ቬክተር እና እሴት ቬክተር.
የጥያቄው ቬክተር ከሁሉም ቁልፍ ቬክተሮች ጋር ይነጻጸራል, እና ተመሳሳይነት በነጥብ ምርትን በመጠቀም ይሰላል.
የተገኘው የትኩረት ውጤቶች በሶፍትማክስ ተግባርን በመጠቀም መደበኛ ናቸው ፣ ይህም የእያንዳንዱን ክፍል በቅደም ተከተል አንጻራዊ ጠቀሜታ የሚያመለክቱ የክብደት ስብስቦችን ያመነጫል።
የመጨረሻውን የውጤት ውክልና ለመፍጠር, የእሴት ቬክተሮች በትኩረት ክብደቶች ተባዝተዋል እና ተደምረዋል.
ትራንስፎርመር ላይ የተመሰረቱ ሞዴሎች፣ እራስን ትኩረትን የሚጠቀሙ፣ በቋሚ-ርዝመት አውድ መስኮቶች ላይ ሳይወሰኑ የረጅም ርቀት ግንኙነቶችን በግቤት ቅደም ተከተል በተሳካ ሁኔታ ሊይዙ ይችላሉ፣ ይህም በተለይ ለተፈጥሮ ቋንቋ ማቀነባበሪያ አፕሊኬሽኖች ጠቃሚ ያደርጋቸዋል።
ለምሳሌ
ባለ ስድስት ቶከን የግቤት ቅደም ተከተል እንዳለን እናስብ፡ “ድመቷ ምንጣፉ ላይ ተቀመጠች። እያንዳንዱ ማስመሰያ እንደ ቬክተር ሊወከል ይችላል፣ እና የግብአት ቅደም ተከተል እንደሚከተለው ሊታይ ይችላል።
በመቀጠል፣ ለእያንዳንዱ ማስመሰያ፣ ሶስት የቬክተር ስብስቦችን እንገነባለን፡ መጠይቁ ቬክተር፣ ቁልፍ ቬክተር እና እሴት ቬክተር። የተከተተው ቶከን ቬክተር በሦስት የተማሩ የክብደት ማትሪክስ ተባዝቶ እነዚህን ቬክተሮች ይሰጣል።
ለመጀመሪያው ማስመሰያ “The”፣ ለምሳሌ፣ መጠይቁ፣ ቁልፉ እና እሴት ቬክተሮች የሚከተሉት ይሆናሉ፡-
የጥያቄ ቬክተር፡ [0.4, -0.2, 0.1]
ቁልፍ ቬክተር፡ [0.2, 0.1, 0.5]
ዋጋ ቬክተር: [0.1, 0.2, 0.3]
በግቤት ቅደም ተከተል ውስጥ በእያንዳንዱ ጥንድ ቶከኖች መካከል ያለው ትኩረት የሚሰላው በራስ ትኩረት ዘዴ ነው። ለምሳሌ፣ በ token 1 እና 2 "The" መካከል ያለው የትኩረት ነጥብ እንደ ጥያቄያቸው የነጥብ ውጤት እና እንደ ቁልፍ ቬክተሮች ይሰላል፡
የትኩረት ነጥብ = ነጥብ_ምርት(የቶከን 1 መጠይቅ ቬክተር፣ የማስመሰያ 2 ቁልፍ ቬክተር)
= (0.4 * 0.8) + (-0.2 * 0.2) + (0.1 * 0.1)
= 0.31
እነዚህ የትኩረት ውጤቶች የእያንዳንዱን ማስመሰያ አንጻራዊ ጠቀሜታ በቅደም ተከተል ከሌሎች ጋር ያሳያሉ።
በመጨረሻም፣ ለእያንዳንዱ ማስመሰያ፣ የውጤቱ ውክልና የተፈጠረው በትኩረት ውጤቶች የሚወሰኑትን ክብደቶች በመያዝ የእሴት ቬክተሮች ክብደት ድምርን በመውሰድ ነው። የመጀመርያው ማስመሰያ የውጤት ውክልና ለምሳሌ፡-
የውጤት ቬክተር ለ Token 1 = (ትኩረት ነጥብ ከቶከን 1 ጋር) * እሴት ቬክተር ለ Token 2
+ (በትኩረት ነጥብ ከቶከን 3 ጋር) * ዋጋ ቬክተር ለ Token 3
+ (በትኩረት ነጥብ ከቶከን 4 ጋር) * ዋጋ ቬክተር ለ Token 4
+ (በትኩረት ነጥብ ከቶከን 5 ጋር) * ዋጋ ቬክተር ለ Token 5
+ (በትኩረት ነጥብ ከቶከን 6 ጋር) * ዋጋ ቬክተር ለ Token 6
= (0.31 * [0.1, 0.2, 0.3]) + (0.25 * [0.2, -0.1, 0.7]) + (0.08 * [0.3, 0.5, -0.1]) + (0.14 * [0.1, 0.3, -0.2]) ) + (0.22 * [0.6, -0.3, 0.4])
= [0.2669፣ 0.1533፣ 0.2715]
በራስ ትኩረት ምክንያት, በትራንስፎርመር ላይ የተመሰረተው ሞዴል የውጤት ቅደም ተከተል ሲፈጥር በተለያዩ የግቤት ቅደም ተከተሎች ክፍሎች ላይ ለመሳተፍ ሊመርጥ ይችላል.
መተግበሪያዎች እርስዎ ከሚያስቡት በላይ ናቸው።
እንደ ማሽን ትርጉም፣ ስሜት ትንተና፣ የጽሁፍ ማጠቃለያ እና ሌሎችም የመሳሰሉ ሰፊ የ NLP ስራዎችን በማጣጣም እና በማስተናገድ ችሎታቸው የተነሳ AI ትራንስፎርመሮች ከቅርብ አመታት ወዲህ ታዋቂነታቸው እየጨመረ መጥቷል።
አይአይ ትራንስፎርመሮች በተለያዩ ጎራዎች ውስጥ ጥቅም ላይ ውለዋል፣ የምስል ማወቂያን፣ የምክር ሥርዓቶችን እና የመድኃኒት ግኝትን ጨምሮ፣ ከጥንታዊ ቋንቋ-ተኮር መተግበሪያዎች በተጨማሪ።
AI ትራንስፎርመሮች ለብዙ የችግር አካባቢዎች እና የመረጃ አይነቶች ሊበጁ ስለሚችሉ ገደብ የለሽ አጠቃቀሞች አሏቸው። AI ትራንስፎርመሮች፣ የተወሳሰቡ የመረጃ ቅደም ተከተሎችን የመተንተን እና የረጅም ጊዜ ግንኙነቶችን የመቅረጽ አቅማቸው፣ በሚቀጥሉት አመታት የ AI አፕሊኬሽኖችን ለመፍጠር ትልቅ አንቀሳቃሽ ምክንያት ይሆናሉ።
ከሌሎች የነርቭ አውታረመረብ አርክቴክቸር ጋር ማወዳደር
የግብአት ቅደም ተከተሎችን በመተንተን እና በፅሁፍ ውስጥ የረጅም ጊዜ ግንኙነቶችን ስለሚረዱ ፣ AI ትራንስፎርመሮች ከሌሎች የነርቭ አውታረ መረብ አፕሊኬሽኖች ጋር ሲነፃፀሩ በተለይ ለተፈጥሮ ቋንቋ ሂደት በጣም ተስማሚ ናቸው።
አንዳንድ የነርቭ ኔትወርክ አርክቴክቸር፣ ለምሳሌ convolutional neural networks (CNNs) እና recurrent neural networks (RNNs)፣ በሌላ በኩል፣ የተዋቀረውን ግብአት ማቀናበርን ለሚያካትቱ ተግባራት፣ እንደ ስዕሎች ወይም የሰዓት ተከታታይ ዳታዎች የተሻሉ ናቸው።
መጪው ጊዜ ብሩህ ነው።
የ AI ትራንስፎርመሮች የወደፊት ዕጣ ብሩህ ይመስላል. እየተካሄደ ካለው የጥናት ዘርፍ አንዱ ከጊዜ ወደ ጊዜ እየተባባሰ የሚሄድ የተወሳሰቡ ሥራዎችን ማስተናገድ የሚችሉ ሞዴሎችን ማዘጋጀት ነው።
ከዚህም በላይ AI ትራንስፎርመሮችን ከሌሎች የ AI ቴክኖሎጂዎች ጋር ለማገናኘት ሙከራ እየተደረገ ነው, ለምሳሌ የማጠናከሪያ ትምህርት, የበለጠ የላቀ የውሳኔ አሰጣጥ ችሎታዎችን ለማቅረብ.
እያንዳንዱ ኢንዱስትሪ ፈጠራን ለመንዳት እና የውድድር ደረጃን ለማግኘት የ AI አቅምን ለመጠቀም እየሞከረ ነው። ስለዚህ፣ AI ትራንስፎርመሮች በሂደት ወደ ተለያዩ አፕሊኬሽኖች ማለትም የጤና እንክብካቤ፣ ፋይናንስ እና ሌሎችም ሊካተቱ ይችላሉ።
በ AI ትራንስፎርመር ቴክኖሎጂ ቀጣይ መሻሻሎች እና እነዚህ ጠንካራ የኤአይ መሳሪያዎች የሰው ልጅ አሰራሩን እና ቋንቋን የመረዳት መንገድ ላይ ለውጥ ሊያመጣ በሚችለው አቅም ፣ መጪው ጊዜ ብሩህ ይመስላል።
መልስ ይስጡ