Šiandien matome revoliuciją natūralios kalbos apdorojimo srityje. Ir aišku, kad be dirbtinio intelekto ateities nėra. Jau naudojame įvairius AI „asistentus“.
Pokalbių robotai yra geriausi pavyzdžiai mūsų atveju. Jie reprezentuoja naują komunikacijos erą. Tačiau kuo jie tokie ypatingi?
Dabartiniai pokalbių robotai gali suprasti ir atsakyti į natūralios kalbos užklausas tokiu pat tikslumu ir detalumu, kaip ir žmonių ekspertai. Įdomu sužinoti apie proceso mechanizmus.
Prisisekite ir atraskime technologiją.
Pasinerti į techniką
AI transformatoriai yra pagrindinis raktinis žodis šioje srityje. Jie yra kaip neuroniniai tinklai kurie padarė revoliuciją natūralios kalbos apdorojimui. Tiesą sakant, tarp AI transformatorių ir neuroninių tinklų yra daug projektavimo paralelių.
Abu yra sudaryti iš kelių apdorojimo blokų sluoksnių, kurie atlieka daugybę skaičiavimų, kad įvesties duomenis konvertuotų į prognozes kaip išvestį. Šiame įraše apžvelgsime AI transformatorių galią ir kaip jie keičia mus supantį pasaulį.
Natūralios kalbos apdorojimo potencialas
Pradėkime nuo pagrindų. Mes tai girdime beveik visur. Bet kas tiksliai yra natūralios kalbos apdorojimas?
Tai segmentas dirbtinis intelektas kuriame pagrindinis dėmesys skiriamas žmonių ir mašinų sąveikai naudojant natūralią kalbą. Tikslas – leisti kompiuteriams prasmingai ir autentiškai suvokti, interpretuoti ir kurti žmonių kalbą.
Kalbos atpažinimas, kalbos vertimas, nuotaikos analizė, ir teksto apibendrinimas yra NLP programų pavyzdžiai. Kita vertus, tradiciniams NLP modeliams buvo sunku suvokti sudėtingas frazės žodžių sąsajas. Dėl to neįmanomas aukštas daugelio NLP užduočių tikslumas.
Tai yra tada, kai AI transformatoriai patenka į paveikslėlį. Atkreipdami dėmesį į save, transformatoriai gali įrašyti ilgalaikes priklausomybes ir ryšius tarp žodžių frazėje. Šis metodas leidžia modeliui pasirinkti, kad būtų įtrauktos įvairios įvesties sekos dalys. Taigi, jis gali suprasti kiekvieno frazės žodžio kontekstą ir reikšmę.
Kas tiksliai yra transformatorių modeliai
AI transformatorius yra a gilus mokymasis architektūra, kuri supranta ir apdoroja įvairaus tipo informaciją. Jis puikiai tinka nustatant, kaip keli informacijos bitai yra susiję vienas su kitu, pvz., kaip susieti skirtingi žodžiai frazėje arba kaip skirtingos vaizdo dalys dera tarpusavyje.
Jis veikia padalydamas informaciją į mažus bitus ir iš karto peržiūrėdamas visus tuos komponentus. Atrodo, kad daug mažų robotų bendradarbiauja, kad suprastų duomenis. Tada, kai jis viską žino, jis iš naujo surenka visus komponentus, kad pateiktų atsakymą arba išvestį.
AI transformatoriai yra labai vertingi. Jie gali suvokti kontekstą ir ilgalaikius įvairios informacijos ryšius. Tai labai svarbu atliekant tokias užduotis kaip vertimas į kalbą, apibendrinimas ir atsakymas į klausimus. Taigi, jie yra daugelio įdomių dalykų, kuriuos gali padaryti AI, smegenys!
Dėmesys yra viskas, ko jums reikia
Paantraštė „Attention is All You Need“ nurodo 2017 m. leidinį, kuriame buvo pasiūlytas transformatoriaus modelis. Tai sukėlė revoliuciją natūralios kalbos apdorojimo (NLP) disciplinoje.
Šio tyrimo autoriai teigė, kad transformatoriaus modelio dėmesio į save mechanizmas buvo pakankamai stiprus, kad galėtų atlikti įprastinio pasikartojančio ir konvoliuciniai neuroniniai tinklai naudojamas NLP užduotims atlikti.
Kas iš tikrųjų yra dėmesys į save?
Tai metodas, leidžiantis modeliui sutelkti dėmesį į įvairius įvesties sekos segmentus rengiant prognozes.
Kitaip tariant, dėmesys į save leidžia modeliui apskaičiuoti dėmesio balų rinkinį kiekvienam elementui, susijusiam su visais kitais komponentais, leidžiant modeliui subalansuoti kiekvieno įvesties elemento reikšmę.
Taikant transformatorių metodą, dėmesys į save veikia taip:
Įvesties seka pirmiausia įterpiama į vektorių seriją, po vieną kiekvienam sekos nariui.
Kiekvienam sekos elementui modelis sukuria tris vektorių rinkinius: užklausos vektorių, rakto vektorių ir reikšmės vektorių.
Užklausos vektorius lyginamas su visais pagrindiniais vektoriais, o panašumai apskaičiuojami naudojant taškinę sandaugą.
Gauti dėmesio balai normalizuojami naudojant softmax funkciją, kuri sukuria svorių rinkinį, nurodantį santykinę kiekvienos sekos dalies reikšmę.
Norint sukurti galutinį išvesties vaizdą, vertės vektoriai padauginami iš dėmesio svorių ir sumuojami.
Transformatoriumi pagrįsti modeliai, kuriuose naudojamas dėmesys į save, gali sėkmingai užfiksuoti ilgalaikius ryšius įvesties sekose, neatsižvelgdami į fiksuoto ilgio konteksto langus, todėl jie yra ypač naudingi natūralios kalbos apdorojimo programoms.
Pavyzdys
Tarkime, kad turime šešių žetonų įvesties seką: „Katė sėdėjo ant kilimėlio“. Kiekvienas prieigos raktas gali būti pavaizduotas kaip vektorius, o įvesties seką galima matyti taip:
Toliau kiekvienam žetonui sukurtume tris vektorių rinkinius: užklausos vektorių, rakto vektorių ir vertės vektorių. Įterptasis žetono vektorius padauginamas iš trijų išmoktų svorio matricų, kad būtų gauti šie vektoriai.
Pavyzdžiui, pirmojo prieigos rakto „The“ užklausos, rakto ir vertės vektoriai būtų tokie:
Užklausos vektorius: [0.4, -0.2, 0.1]
Rakto vektorius: [0.2, 0.1, 0.5]
Reikšmės vektorius: [0.1, 0.2, 0.3]
Dėmesio balai tarp kiekvienos žetonų poros įvesties sekoje apskaičiuojami taikant dėmesio į save mechanizmą. Pavyzdžiui, dėmesio balas tarp 1 ir 2 žetonų „The“ būtų apskaičiuojamas kaip užklausos ir pagrindinių vektorių taškinė sandauga:
Dėmesio balas = taškas_produktas (1 prieigos rakto užklausos vektorius, 2 prieigos rakto rakto vektorius)
= (0.4 * 0.8) + (-0.2 * 0.2) + (0.1 * 0.1)
= 0.31
Šie dėmesio balai parodo santykinį kiekvienos sekos žetono svarbą kitiems.
Galiausiai, kiekvieno žetono išvesties vaizdas sukuriamas imant svertinę vertės vektorių sumą, o svoriai nustatomi pagal dėmesio balus. Pavyzdžiui, pirmojo žetono „The“ išvesties vaizdas būtų toks:
1 prieigos rakto išvesties vektorius = (dėmesio balas naudojant 1 prieigos raktą) * 2 prieigos rakto reikšmės vektorius
+ (Dėmesio balas naudojant 3 prieigos raktą) * 3 prieigos rakto reikšmės vektorius
+ (Dėmesio balas naudojant 4 prieigos raktą) * 4 prieigos rakto reikšmės vektorius
+ (Dėmesio balas naudojant 5 prieigos raktą) * 5 prieigos rakto reikšmės vektorius
+ (Dėmesio balas naudojant 6 prieigos raktą) * 6 prieigos rakto reikšmės vektorius
= (0.31 * [0.1, 0.2, 0.3]) + (0.25 * [0.2, -0.1, 0.7]) + (0.08 * [0.3, 0.5, -0.1]) + (0.14 * [0.1, 0.3, -0.2] ) + (0.22 * [0.6, -0.3, 0.4])
= [0.2669, 0.1533, 0.2715]
Dėl savęs dėmesio transformatoriumi pagrįstas modelis gali pasirinkti atsižvelgti į skirtingas įvesties sekos dalis kurdamas išvesties seką.
Programų yra daugiau, nei manote
Pastaraisiais metais dirbtinio intelekto transformatoriai išpopuliarėjo dėl savo pritaikomumo ir gebėjimo atlikti įvairias NLP užduotis, tokias kaip mašininis vertimas, nuotaikų analizė, teksto apibendrinimas ir kt.
AI transformatoriai buvo naudojami įvairiose srityse, įskaitant vaizdo atpažinimą, rekomendacijų sistemas ir net vaistų atradimą, be klasikinių kalbos programų.
AI transformatoriai gali būti naudojami beveik neribotai, nes juos galima pritaikyti daugeliui probleminių sričių ir duomenų rūšių. AI transformatoriai, gebantys analizuoti sudėtingas duomenų sekas ir užfiksuoti ilgalaikius ryšius, ateinančiais metais bus svarbus veiksnys kuriant AI programas.
Palyginimas su kitomis neuroninių tinklų architektūromis
Kadangi dirbtinio intelekto transformatoriai gali analizuoti įvesties sekas ir suvokti ilgalaikius ryšius tekste, AI transformatoriai ypač tinka natūralios kalbos apdorojimui, palyginti su kitomis neuroninio tinklo programomis.
Kita vertus, kai kurios neuroninių tinklų architektūros, pvz., konvoliuciniai neuroniniai tinklai (CNN) ir pasikartojantys neuroniniai tinklai (RNN), geriau tinka užduotims, susijusioms su struktūrizuotų įvesties, pvz., paveikslėlių ar laiko eilučių duomenų, apdorojimu.
Ateitis atrodo šviesi
AI transformatorių ateitis atrodo šviesi. Viena iš tebevykstančių tyrimų sričių yra laipsniškai galingesnių modelių, galinčių atlikti vis sudėtingesnes užduotis, kūrimas.
Be to, AI transformatorius bandoma sujungti su kitomis DI technologijomis, pvz stiprinimas, kad suteiktų pažangesnių sprendimų priėmimo galimybių.
Kiekviena pramonės šaka bando panaudoti AI potencialą, kad paskatintų naujoves ir pasiektų konkurencinį pranašumą. Taigi, dirbtinio intelekto transformatoriai greičiausiai bus palaipsniui įtraukiami į įvairias programas, įskaitant sveikatos priežiūrą, finansus ir kt.
Nuolat tobulėjant dirbtinio intelekto transformatorių technologijai ir dėl šių stiprių AI įrankių galimybių pakeisti žmonių kalbos apdorojimą ir suvokimą, ateitis atrodo šviesi.
Palikti atsakymą