Heddiw rydym yn dyst i chwyldro ym maes prosesu iaith naturiol. Ac, mae'n sicr nad oes dyfodol heb ddeallusrwydd artiffisial. Rydym eisoes yn defnyddio amrywiol “gynorthwywyr” AI.
Chatbots yw'r enghreifftiau gorau yn ein hachos ni. Maent yn cynrychioli'r cyfnod newydd o gyfathrebu. Ond, beth sy'n eu gwneud nhw mor arbennig?
Gall chatbots cyfredol ddeall ac ateb ymholiadau iaith naturiol gyda'r un manylder a manylder ag arbenigwyr dynol. Mae'n gyffrous dysgu am y mecanweithiau sy'n rhan o'r broses.
Bwciwch i fyny a gadewch i ni ddarganfod y dechnoleg y tu ôl iddo.
Plymio i mewn i'r Tech
Mae AI Transformers yn allweddair mawr yn y maes hwn. Maen nhw fel rhwydweithiau nefol sydd wedi chwyldroi prosesu iaith naturiol. Mewn gwirionedd, mae yna debygrwydd dylunio sylweddol rhwng trawsnewidyddion AI a rhwydweithiau niwral.
Mae'r ddau yn cynnwys sawl haen o unedau prosesu sy'n perfformio cyfres o gyfrifiadau i drosi data mewnbwn yn rhagfynegiadau fel yr allbwn. Yn y swydd hon, byddwn yn edrych ar bŵer Trawsnewidyddion AI a sut maen nhw'n newid y byd o'n cwmpas.
Potensial Prosesu Iaith Naturiol
Gadewch i ni ddechrau gyda'r pethau sylfaenol. Rydym yn ei glywed ym mhobman bron. Ond, beth yn union yw prosesu iaith naturiol?
Mae'n segment o deallusrwydd artiffisial sy'n canolbwyntio ar ryngweithio bodau dynol a pheiriannau trwy ddefnyddio iaith naturiol. Y nod yw galluogi cyfrifiaduron i ganfod, dehongli, a chynhyrchu iaith ddynol mewn modd ystyrlon a dilys.
Adnabod lleferydd, cyfieithu iaith, dadansoddiad teimlad, a chrynhoi testun i gyd yn enghreifftiau o gymwysiadau NLP. Mae modelau NLP traddodiadol, ar y llaw arall, wedi cael trafferth i ddeall y cysylltiadau cymhleth rhwng geiriau mewn ymadrodd. Roedd hyn yn gwneud y lefelau uchel o gywirdeb mewn llawer o dasgau NLP yn amhosibl.
Dyma pan fydd Trawsnewidyddion AI yn mynd i mewn i'r llun. Trwy broses hunan-sylw, gall trawsnewidyddion gofnodi dibyniaethau hirdymor a chysylltiadau rhwng geiriau mewn ymadrodd. Mae'r dull hwn yn galluogi'r model i ddewis rhoi sylw i wahanol adrannau o'r dilyniant mewnbwn. Felly, gall ddeall cyd-destun ac ystyr pob gair mewn ymadrodd.
Beth yn union yw modelau trawsnewidyddion
Mae trawsnewidydd AI yn a dysgu dwfn pensaernïaeth sy'n deall ac yn prosesu gwahanol fathau o wybodaeth. Mae'n rhagori wrth benderfynu sut mae darnau lluosog o wybodaeth yn berthnasol i'w gilydd, megis sut mae gwahanol eiriau mewn ymadrodd yn gysylltiedig neu sut mae gwahanol adrannau o ddelwedd yn cyd-fynd â'i gilydd.
Mae'n gweithio trwy rannu gwybodaeth yn ddarnau bach ac yna edrych ar yr holl gydrannau hynny ar unwaith. Mae fel petai nifer o robotiaid bach yn cydweithredu i ddeall y data. Nesaf, unwaith y bydd yn gwybod popeth, mae'n ailosod yr holl gydrannau i ddarparu ymateb neu allbwn.
Mae trawsnewidyddion AI yn hynod werthfawr. Gallant amgyffred y cyd-destun a'r cysylltiadau hirdymor rhwng gwybodaeth amrywiol. Mae hyn yn hanfodol ar gyfer tasgau fel cyfieithu iaith, crynhoi, ac ateb cwestiynau. Felly, nhw yw'r ymennydd y tu ôl i lawer o'r pethau diddorol y gall AI eu cyflawni!
Sylw yw'r cyfan sydd ei angen arnoch chi
Mae’r is-deitl “Attention is All You Need” yn cyfeirio at gyhoeddiad yn 2017 a oedd yn cynnig model y trawsnewidydd. Fe chwyldroi disgyblaeth prosesu iaith naturiol (NLP).
Dywedodd awduron yr ymchwil hwn fod mecanwaith hunan-sylw model y trawsnewidydd yn ddigon cryf i gymryd rôl y confensiynol rheolaidd a rhwydweithiau niwral argyhoeddiadol cael ei ddefnyddio ar gyfer tasgau NLP.
Beth yn union yw Hunan-sylw?
Mae'n ddull sy'n caniatáu i'r model ganolbwyntio ar wahanol segmentau dilyniant mewnbwn wrth gynhyrchu rhagfynegiadau.
Mewn geiriau eraill, mae hunan-sylw yn galluogi'r model i gyfrifo set o sgoriau sylw ar gyfer pob elfen yn ymwneud â'r holl gydrannau eraill, gan ganiatáu i'r model gydbwyso arwyddocâd pob elfen fewnbwn.
Mewn dull sy'n seiliedig ar drawsnewidydd, mae hunan-sylw yn gweithredu fel a ganlyn:
Mae'r dilyniant mewnbwn wedi'i fewnosod yn gyntaf i gyfres o fectorau, un ar gyfer pob aelod o'r dilyniant.
Ar gyfer pob elfen yn y dilyniant, mae'r model yn creu tair set o fectorau: fector yr ymholiad, y fector allweddol, a'r fector gwerth.
Mae'r fector ymholiad yn cael ei gymharu â'r holl fectorau allweddol, ac mae'r tebygrwydd yn cael ei gyfrifo gan ddefnyddio cynnyrch dot.
Mae'r sgoriau sylw sy'n deillio o hyn yn cael eu normaleiddio gan ddefnyddio swyddogaeth softmax, sy'n cynhyrchu set o bwysau sy'n nodi arwyddocâd cymharol pob darn yn y dilyniant.
I greu'r cynrychioliad allbwn terfynol, mae'r fectorau gwerth yn cael eu lluosi â'r pwysau sylw a'u crynhoi.
Gall modelau sy'n seiliedig ar drawsnewidyddion, sy'n defnyddio hunan-sylw, ddal perthnasoedd hirdymor yn llwyddiannus mewn dilyniannau mewnbwn heb ddibynnu ar ffenestri cyd-destun hyd sefydlog, gan eu gwneud yn arbennig o ddefnyddiol ar gyfer cymwysiadau prosesu iaith naturiol.
enghraifft
Tybiwch fod gennym ni ddilyniant mewnbwn chwe thocyn: “Eisteddodd y gath ar y mat.” Gellir cynrychioli pob tocyn fel fector, a gellir gweld y dilyniant mewnbwn fel a ganlyn:
Nesaf, ar gyfer pob tocyn, byddem yn adeiladu tair set o fectorau: y fector ymholiad, y fector allweddol, a'r fector gwerth. Mae'r fector tocyn planedig yn cael ei luosi â thri matrics pwysau a ddysgwyd i gynhyrchu'r fectorau hyn.
Ar gyfer y tocyn cyntaf “The,” er enghraifft, yr ymholiad, allwedd, a fectorau gwerth fyddai:
Fector ymholiad: [0.4, -0.2, 0.1]
Fector allweddol: [0.2, 0.1, 0.5]
Fector gwerth: [0.1, 0.2, 0.3]
Mae'r sgoriau sylw rhwng pob pâr o docynnau yn y dilyniant mewnbwn yn cael eu cyfrifo gan y mecanwaith hunan-sylw. Er enghraifft, byddai’r sgôr sylw rhwng tocynnau 1 a 2 “The” yn cael ei gyfrifo fel cynnyrch dot eu hymholiad a fectorau allweddol:
Sgôr sylw = dot_product(Fector ymholiad Tocyn 1, fector allweddol Token 2)
= (0.4 * 0.8) + (-0.2 * 0.2) + (0.1 * 0.1)
= 0.31
Mae'r sgorau sylw hyn yn dangos perthnasedd cymharol pob tocyn yn y dilyniant i'r lleill.
Yn olaf, ar gyfer pob tocyn, mae'r cynrychioliad allbwn yn cael ei greu trwy gymryd swm pwysol o'r fectorau gwerth, gyda'r pwysau yn cael ei bennu gan y sgorau sylw. Y cynrychioliad allbwn ar gyfer y tocyn cyntaf “The,” er enghraifft, fyddai:
Fector allbwn ar gyfer Tocyn 1 = (Sgôr sylw gyda Tocyn 1) * Fector gwerth ar gyfer Tocyn 2
+ (Sgôr sylw gyda Token 3) * Fector gwerth ar gyfer Tocyn 3
+ (Sgôr sylw gyda Token 4) * Fector gwerth ar gyfer Tocyn 4
+ (Sgôr sylw gyda Token 5) * Fector gwerth ar gyfer Tocyn 5
+ (Sgôr sylw gyda Token 6) * Fector gwerth ar gyfer Tocyn 6
= (0.31 * [0.1, 0.2, 0.3]) + (0.25 * [0.2, -0.1, 0.7]) + (0.08 * [0.3, 0.5, -0.1]) + (0.14 * [0.1, 0.3, -0.2]) + (0.22 * [0.6, 0.3, -0.4] ) + (XNUMX * [XNUMX, -XNUMX, XNUMX])
= [0.2669, 0.1533, 0.2715]
O ganlyniad i hunan-sylw, gall y model sy'n seiliedig ar drawsnewidydd ddewis rhoi sylw i wahanol adrannau o'r dilyniant mewnbwn wrth greu'r dilyniant allbwn.
Mae Ceisiadau'n Fwy Nac Yw'n Meddwl
Oherwydd eu gallu i addasu a'u gallu i drin ystod eang o dasgau NLP, megis cyfieithu peiriant, dadansoddi teimladau, crynhoi testun, a mwy, mae trawsnewidyddion AI wedi dod yn fwy poblogaidd yn ystod y blynyddoedd diwethaf.
Mae trawsnewidyddion AI wedi cael eu defnyddio mewn amrywiaeth o feysydd, gan gynnwys adnabod lluniau, systemau argymell, a hyd yn oed darganfod cyffuriau, yn ogystal â chymwysiadau sy'n seiliedig ar iaith glasurol.
Mae gan drawsnewidyddion AI ddefnyddiau diderfyn bron oherwydd gellir eu teilwra i nifer o feysydd problem a mathau o ddata. Mae trawsnewidyddion AI, gyda'u gallu i ddadansoddi dilyniannau data cymhleth a dal perthnasoedd hirdymor, yn cael eu gosod i fod yn ffactor gyrru arwyddocaol yn natblygiad cymwysiadau AI yn y blynyddoedd nesaf.
Cymhariaeth â Phensaernïaeth Rhwydwaith Niwral Eraill
Gan eu bod yn gallu dadansoddi dilyniannau mewnbwn a deall perthnasoedd ystod hir mewn testun, mae trawsnewidyddion AI yn arbennig o addas ar gyfer prosesu iaith naturiol o'u cymharu â chymwysiadau rhwydwaith niwral eraill.
Mae rhai pensaernïaeth rhwydwaith niwral, megis rhwydweithiau niwral convolutional (CNNs) a rhwydweithiau niwral cylchol (RNNs), ar y llaw arall, yn fwy addas ar gyfer tasgau sy'n ymwneud â phrosesu mewnbwn strwythuredig, megis lluniau neu ddata cyfres amser.
Edrych yn Ddisglair yw'r dyfodol
Mae dyfodol trawsnewidyddion AI yn ymddangos yn ddisglair. Un maes o'r astudiaeth barhaus yw datblygu modelau cynyddol fwy pwerus sy'n gallu ymdrin â thasgau cynyddol gymhleth.
At hynny, mae ymdrechion yn cael eu gwneud i gysylltu trawsnewidyddion AI â thechnolegau AI eraill, megis dysgu atgyfnerthu, i ddarparu galluoedd gwneud penderfyniadau mwy datblygedig.
Mae pob diwydiant yn ceisio defnyddio potensial AI i ysgogi arloesedd a chyflawni mantais gystadleuol. Felly, mae trawsnewidyddion AI yn debygol o gael eu hymgorffori'n gynyddol mewn amrywiaeth o gymwysiadau, gan gynnwys gofal iechyd, cyllid, ac eraill.
Gyda gwelliannau parhaus mewn technoleg trawsnewidyddion AI a'r potensial i'r offer AI cryf hyn chwyldroi'r ffordd y mae bodau dynol yn prosesu ac yn deall iaith, mae'r dyfodol yn ymddangos yn ddisglair.
Gadael ymateb