Illum qed nassistu għal rivoluzzjoni fil-qasam tal-ipproċessar tal-lingwa naturali. U, huwa żgur li m'hemm l-ebda futur mingħajr intelliġenza artifiċjali. Diġà qed nużaw diversi "assistenti" tal-AI.
Iċ-chatbots huma l-aħjar eżempji fil-każ tagħna. Huma jirrappreżentaw l-era l-ġdida tal-komunikazzjoni. Iżda, x'jagħmilhom daqshekk speċjali?
Iċ-chatbots attwali jistgħu jifhmu u jwieġbu mistoqsijiet tal-lingwa naturali bl-istess preċiżjoni u dettall bħall-esperti umani. Huwa eċċitanti li titgħallem dwar il-mekkaniżmi li jidħlu fil-proċess.
Agħlaq il-bokkla u ejja niskopru t-teknoloġija warajha.
Għadds fit-Tech
AI Transformers hija kelma prinċipali ewlenija f'dan il-qasam. Huma simili netwerks newrali li rrivoluzzjonaw l-ipproċessar tal-lingwa naturali. Fir-realtà, hemm paralleli konsiderevoli tad-disinn bejn it-trasformaturi tal-AI u n-netwerks newrali.
It-tnejn huma magħmula minn diversi saffi ta 'unitajiet ta' pproċessar li jwettqu serje ta 'kalkoli biex jikkonvertu d-dejta tal-input fi tbassir bħala l-output. F'din il-kariga, se nħarsu lejn il-qawwa tat-Transformers AI u kif qed ibiddlu d-dinja ta 'madwarna.
Il-potenzjal tal-Ipproċessar tal-Lingwa Naturali
Nibdew bl-affarijiet bażiċi. Nisimgħuha kullimkien kważi. Iżda, x'inhu eżattament l-ipproċessar tal-lingwa naturali?
Huwa segment ta ' intelliġenza artifiċjali li jiffoka fuq l-interazzjoni tal-bnedmin u l-magni permezz tal-użu tal-lingwa naturali. L-għan huwa li jippermetti lill-kompjuters jipperċepixxu, jinterpretaw u jipproduċu l-lingwa umana b'mod sinifikanti u awtentiku.
Rikonoxximent tad-diskors, traduzzjoni tal-lingwa, analiżi ta 'sentiment, u sommarju tat-test huma kollha eżempji ta 'applikazzjonijiet NLP. Mudelli NLP tradizzjonali, min-naħa l-oħra, tħabtu biex jifhmu r-rabtiet kumplessi bejn il-kliem fi frażi. Dan għamel il-livelli għoljin ta 'preċiżjoni f'ħafna kompiti NLP impossibbli.
Dan huwa meta AI Transformers jidħlu fl-istampa. Permezz ta 'proċess ta' awto-attenzjoni, it-trasformaturi jistgħu jirreġistraw dipendenzi fit-tul u rabtiet bejn kliem fi frażi. Dan il-metodu jippermetti lill-mudell jagħżel li jattendi għal diversi taqsimiet tas-sekwenza tad-dħul. Għalhekk, jista 'jifhem il-kuntest u t-tifsira ta' kull kelma fi frażi.
X'inhuma Eżattament Mudelli tat-Transformers
Transformer AI huwa a tagħlim fil-fond arkitettura li tifhem u tipproċessa diversi tipi ta’ informazzjoni. Jeċċella fid-determinazzjoni ta' kif diversi bits ta' informazzjoni jirrelataw ma' xulxin, bħal kif kliem differenti fi frażi huma marbuta jew kif sezzjonijiet differenti ta' immaġini joqogħdu flimkien.
Taħdem billi taqsam l-informazzjoni f'biċċiet żgħar u mbagħad tħares lejn dawk il-komponenti kollha f'daqqa. Huwa bħallikieku bosta robots żgħar qed jikkooperaw biex jifhmu d-dejta. Sussegwentement, ladarba tkun taf kollox, terġa 'tiġbor il-komponenti kollha biex tipprovdi rispons jew output.
It-trasformaturi AI huma estremament siewja. Jistgħu jifhmu l-kuntest u r-rabtiet fit-tul bejn informazzjoni diversa. Dan huwa kritiku għal ħidmiet bħal traduzzjoni tal-lingwa, sommarju, u tweġibiet għall-mistoqsijiet. Allura, huma l-imħuħ wara ħafna mill-affarijiet interessanti li tista 'twettaq l-AI!
L-attenzjoni hija kulma għandek bżonn
Is-sottotitolu "L-attenzjoni hija kulma għandek bżonn" jirreferi għal pubblikazzjoni tal-2017 li pproponiet il-mudell tat-transformer. Irrevoluzzjona d-dixxiplina tal-ipproċessar tal-lingwa naturali (NLP).
L-awturi ta 'din ir-riċerka ddikjaraw li l-mekkaniżmu ta' awto-attenzjoni tal-mudell tat-transformer kien b'saħħtu biżżejjed biex jieħu r-rwol tar-rikorrenti konvenzjonali u netwerks newrali konvoluzzjonali utilizzati għall-kompiti NLP.
X'inhi Eżattament l-Attenzjoni Awto?
Huwa metodu li jippermetti lill-mudell jikkonċentra fuq diversi segmenti ta 'sekwenza ta' input meta jipproduċi tbassir.
Fi kliem ieħor, l-awto-attenzjoni tippermetti lill-mudell jikkalkula sett ta 'punteġġi ta' attenzjoni għal kull element li jikkonċerna l-komponenti l-oħra kollha, li jippermetti lill-mudell jibbilanċja s-sinifikat ta 'kull element ta' input.
F'approċċ ibbażat fuq transformer, l-attenzjoni personali topera kif ġej:
Is-sekwenza tal-input hija l-ewwel inkorporata f'serje ta' vettori, wieħed għal kull membru tas-sekwenza.
Għal kull element fis-sekwenza, il-mudell joħloq tliet settijiet ta’ vettori: il-vettur tal-mistoqsija, il-vettur ewlieni, u l-vettur tal-valur.
Il-vettur tal-mistoqsija jitqabbel mal-vettori ewlenin kollha, u s-similaritajiet huma kkalkulati bl-użu ta 'prodott b'tikek.
Il-punteġġi tal-attenzjoni li jirriżultaw huwa normalizzat bl-użu ta 'funzjoni softmax, li tiġġenera sett ta' piżijiet li jindikaw is-sinifikat relattiv ta 'kull biċċa fis-sekwenza.
Biex tinħoloq ir-rappreżentazzjoni finali tal-output, il-vettori tal-valur huma mmultiplikati bil-piżijiet tal-attenzjoni u magħduda.
Mudelli bbażati fuq it-trasformaturi, li jużaw awto-attenzjoni, jistgħu jaqbdu b'suċċess relazzjonijiet ta 'medda twila f'sekwenzi ta' input mingħajr ma jiddependu fuq twieqi tal-kuntest ta 'tul fiss, li jagħmluhom partikolarment utli għal applikazzjonijiet ta' pproċessar tal-lingwa naturali.
Eżempju
Assumi li għandna sekwenza ta’ input ta’ sitt tokens: “Il-qattus qagħad fuq it-tapit.” Kull token jista' jiġi rappreżentat bħala vettur, u s-sekwenza tad-dħul tista' tidher kif ġej:
Sussegwentement, għal kull token, aħna nibnu tliet settijiet ta 'vettori: il-vettur tal-mistoqsija, il-vettur ewlieni, u l-vettur tal-valur. Il-vettur tat-token inkorporat huwa mmultiplikat bi tliet matriċi ta' piż mgħallma biex jagħti dawn il-vetturi.
Għall-ewwel token "The", pereżempju, il-vettori tal-mistoqsija, taċ-ċavetta u tal-valur ikunu:
Vettur tal-mistoqsija: [0.4, -0.2, 0.1]
Vettur ewlieni: [0.2, 0.1, 0.5]
Vettur tal-valur: [0.1, 0.2, 0.3]
Il-punteġġi ta 'attenzjoni bejn kull par ta' tokens fis-sekwenza tal-input huma kkalkulati mill-mekkaniżmu ta 'awto-attenzjoni. Pereżempju, il-punteġġ tal-attenzjoni bejn it-tokens 1 u 2 "The" ikun ikkalkulat bħala l-prodott b'tikek tal-mistoqsija tagħhom u l-vettori ewlenin:
Punteġġ ta' attenzjoni = dot_product(Vettur ta' mistoqsija tat-Token 1, Vettur ewlieni tat-Token 2)
= (0.4 * 0.8) + (-0.2 * 0.2) + (0.1 * 0.1)
= 0.31
Dawn il-punteġġi ta 'attenzjoni juru r-rilevanza relattiva ta' kull token fis-sekwenza għall-oħrajn.
Fl-aħħar nett, għal kull token, ir-rappreżentazzjoni tal-output tinħoloq billi jittieħed somma peżata tal-vettori tal-valur, bil-piżijiet determinati mill-punteġġi tal-attenzjoni. Ir-rappreżentazzjoni tal-output għall-ewwel token "The", pereżempju, tkun:
Vettur tal-output għat-Token 1 = (Punteġġ tal-attenzjoni bit-Token 1) * Vettur tal-valur għat-Token 2
+ (Punteġġ tal-attenzjoni bit-Token 3) * Vettur tal-valur għat-Token 3
+ (Punteġġ tal-attenzjoni bit-Token 4) * Vettur tal-valur għat-Token 4
+ (Punteġġ tal-attenzjoni bit-Token 5) * Vettur tal-valur għat-Token 5
+ (Punteġġ tal-attenzjoni bit-Token 6) * Vettur tal-valur għat-Token 6
= (0.31 * [0.1, 0.2, 0.3]) + (0.25 * [0.2, -0.1, 0.7]) + (0.08 * [0.3, 0.5, -0.1]) + (0.14 * [0.1, 0.3, -0.2] ) + (0.22 * [0.6, -0.3, 0.4])
= [0.2669, 0.1533, 0.2715]
Bħala riżultat ta 'awto-attenzjoni, il-mudell ibbażat fuq transformer jista' jagħżel li jattendi għal sezzjonijiet differenti tas-sekwenza tad-dħul meta joħloq is-sekwenza tal-ħruġ.
L-applikazzjonijiet huma aktar milli taħseb
Minħabba l-adattabilità u l-kapaċità tagħhom li jimmaniġġjaw firxa wiesgħa ta 'kompiti NLP, bħal traduzzjoni awtomatika, analiżi tas-sentimenti, sommarju tat-test, u aktar, it-trasformaturi AI kibru fil-popolarità f'dawn l-aħħar snin.
It-trasformaturi tal-AI intużaw f'varjetà ta' oqsma, inkluż ir-rikonoxximent tal-istampi, sistemi ta 'rakkomandazzjoni, u anke skoperta ta' drogi, minbarra applikazzjonijiet klassiċi bbażati fuq il-lingwa.
It-trasformaturi AI għandhom użi kważi illimitati peress li jistgħu jiġu mfassla apposta għal bosta oqsma problematiċi u tipi ta 'dejta. It-trasformaturi tal-AI, bil-kapaċità tagħhom li janalizzaw sekwenzi ta' dejta kkumplikati u jaqbdu relazzjonijiet fit-tul, għandhom ikunu fattur ta' sewqan sinifikanti fl-iżvilupp tal-applikazzjonijiet tal-AI fis-snin li ġejjin.
Tqabbil ma 'Arkitetturi Oħra tan-Netwerk Neural
Peress li jistgħu janalizzaw is-sekwenzi tad-dħul u jaħtfu relazzjonijiet fuq medda twila fit-test, it-trasformaturi AI huma partikolarment adattati għall-ipproċessar tal-lingwa naturali meta mqabbla ma 'applikazzjonijiet oħra tan-netwerk newrali.
Xi arkitetturi tan-netwerk newrali, bħal netwerks newrali konvoluzzjonali (CNNs) u netwerks newrali rikorrenti (RNNs), min-naħa l-oħra, huma aktar adattati għal kompiti li jinvolvu l-ipproċessar ta 'input strutturat, bħal stampi jew data ta' serje ta 'ħin.
Il-futur huwa Looking Bright
Il-futur tat-trasformaturi AI jidher qawwi. Qasam wieħed tal-istudju li għaddej huwa l-iżvilupp ta' mudelli progressivament aktar b'saħħithom li kapaċi jimmaniġġjaw ħidmiet dejjem aktar ikkumplikati.
Barra minn hekk, qed isiru tentattivi biex jitqabbdu transformers AI ma 'teknoloġiji AI oħra, bħal tagħlim tar-rinfurzar, biex jipprovdu kapaċitajiet ta' teħid ta' deċiżjonijiet aktar avvanzati.
Kull industrija qed tipprova tuża l-potenzjal tal-IA biex tmexxi l-innovazzjoni u tikseb vantaġġ kompetittiv. Għalhekk, it-trasformaturi AI x'aktarx jiġu inkorporati progressivament f'varjetà ta 'applikazzjonijiet, inklużi l-kura tas-saħħa, il-finanzi, u oħrajn.
B'titjib kontinwu fit-teknoloġija tat-transformer tal-AI u l-potenzjal għal dawn l-għodod b'saħħithom tal-AI biex jirrivoluzzjonaw il-mod kif il-bnedmin jipproċessaw u jifhmu l-lingwa, il-futur jidher sabiħ.
Ħalli Irrispondi