Í dag erum við vitni að byltingu á sviði náttúrulegrar málvinnslu. Og það er víst að það er engin framtíð án gervigreindar. Við erum nú þegar að nota ýmsa AI „aðstoðarmenn“.
Chatbots eru bestu dæmin í okkar tilviki. Þeir tákna nýtt tímabil samskipta. En hvað gerir þá svona sérstaka?
Núverandi spjallforrit geta skilið og svarað fyrirspurnum um náttúrumál með sömu nákvæmni og smáatriðum og sérfræðingar í mönnum. Það er spennandi að læra um aðferðirnar sem fara inn í ferlið.
Spenntu þig og við skulum uppgötva tæknina á bakvið það.
Að kafa inn í tæknina
AI Transformers er stórt lykilorð á þessu sviði. Þeir eru eins og taugakerfi sem hafa gjörbylt náttúrulegri málvinnslu. Í raun og veru eru töluverðar hliðstæður í hönnun á milli gervigreindarspenna og tauganeta.
Báðir eru samsettir úr nokkrum lögum af vinnslueiningum sem framkvæma röð útreikninga til að umbreyta inntaksgögnum í spár sem framleiðsla. Í þessari færslu munum við skoða kraft AI Transformers og hvernig þeir eru að breyta heiminum í kringum okkur.
Möguleikar náttúrulegrar málvinnslu
Byrjum á grunnatriðum. Við heyrum það nánast alls staðar. En hvað er náttúruleg málvinnsla eiginlega?
Það er hluti af gervigreind sem einblínir á samspil manna og véla með notkun náttúrulegs tungumáls. Markmiðið er að gera tölvum kleift að skynja, túlka og framleiða mannamál á þroskandi og ekta hátt.
Talgreining, tungumálaþýðing, viðhorfsgreining, og textasamantekt eru öll dæmi um NLP forrit. Hefðbundin NLP líkön hafa aftur á móti átt í erfiðleikum með að skilja flókin tengsl milli orða í orðasambandi. Þetta gerði mikla nákvæmni í mörgum NLP verkefnum ómöguleg.
Þetta er þegar AI Transformers koma inn í myndina. Með sjálfsathygli geta spennir skráð langtíma ósjálfstæði og tengsl milli orða í setningu. Þessi aðferð gerir líkaninu kleift að velja að sinna ýmsum hlutum inntaksröðarinnar. Þannig að það getur skilið samhengi og merkingu hvers orðs í setningu.
Hvað eru Transformers módel nákvæmlega
AI spenni er a djúpt nám arkitektúr sem skilur og vinnur úr ýmsum gerðum upplýsinga. Það skarar fram úr í því að ákvarða hvernig margir upplýsingabitar tengjast hver öðrum, svo sem hvernig mismunandi orð í setningu eru tengd eða hvernig mismunandi hlutar myndar passa saman.
Það virkar með því að skipta upplýsingum niður í litla bita og skoða síðan alla þessa þætti í einu. Það er eins og mörg lítil vélmenni séu í samstarfi við að skilja gögnin. Næst, þegar það veit allt, setur það saman alla íhlutina aftur til að veita svar eða úttak.
AI spennir eru afar verðmætir. Þeir geta skilið samhengið og langtímatengsl milli fjölbreyttra upplýsinga. Þetta er mikilvægt fyrir verkefni eins og tungumálaþýðingu, samantekt og spurningasvar. Svo, þeir eru heilinn á bak við margt af því áhugaverða sem gervigreind getur áorkað!
Athygli er allt sem þú þarft
Undirtitillinn „Attention is All You Need“ vísar til 2017 útgáfu sem lagði til spennilíkanið. Það gjörbreytti fræðigreininni náttúrulega málvinnslu (NLP).
Höfundar þessarar rannsóknar fullyrtu að sjálfs athygliskerfi spennilíkans væri nógu sterkt til að taka hlutverk hefðbundinna endurtekinna og snúnings tauganet notað fyrir NLP verkefni.
Hvað er sjálfsathygli nákvæmlega?
Það er aðferð sem gerir líkaninu kleift að einbeita sér að ýmsum inntaksröðum þegar spár eru framleiddar.
Með öðrum orðum, sjálfsathygli gerir líkaninu kleift að reikna mengi athyglisstiga fyrir hvern þátt varðandi alla aðra þætti, sem gerir líkaninu kleift að halda jafnvægi á mikilvægi hvers inntaksþáttar.
Í nálgun sem byggir á spenni virkar sjálfsathygli sem hér segir:
Inntaksröðin er fyrst felld inn í röð vigra, einn fyrir hvern raðþátt.
Fyrir hvern þátt í röðinni býr líkanið til þrjú sett af vigum: fyrirspurnarvigur, lykilvigur og gildisvigur.
Fyrirspurnarvigurinn er borinn saman við alla lykilvigrana og líkindin eru reiknuð með punktaafurð.
Athyglisstigið sem fæst er staðlað með því að nota softmax aðgerð, sem myndar sett af lóðum sem gefur til kynna hlutfallslegt mikilvægi hvers hlutar í röðinni.
Til að búa til endanlega framsetningu úttaksins eru gildisvigrarnir margfaldaðir með athyglisvogunum og lagðir saman.
Transformer-undirstaða líkön, sem nota sjálfsathygli, geta tekist að fanga langdræg tengsl í inntaksröðum án þess að vera háð samhengisgluggum með fastri lengd, sem gerir þau sérstaklega gagnleg fyrir náttúruleg málvinnsluforrit.
Dæmi
Gerum ráð fyrir að við höfum sex tákna inntaksröð: "Kötturinn sat á mottunni." Hvert tákn getur verið táknað sem vektor og inntaksröðina má sjá sem hér segir:
Næst, fyrir hvert tákn, myndum við smíða þrjú sett af vigum: fyrirspurnarvigur, lykilvigur og gildisvigur. Innfelldi táknvigran er margfaldaður með þremur lærðum þyngdarfylki til að gefa þessa vektora.
Fyrir fyrsta táknið „The,“ til dæmis, væru fyrirspurnar-, lykil- og gildisvigrar:
Fyrirspurnarvektor: [0.4, -0.2, 0.1]
Lykilvigur: [0.2, 0.1, 0.5]
Gildi vektor: [0.1, 0.2, 0.3]
Athyglisstigið á milli hvers táknapars í inntaksröðinni er reiknað út af sjálfsathygli. Til dæmis væri athyglisstigið á milli táknanna 1 og 2 „The“ reiknað sem punktaafurð fyrirspurnar þeirra og lykilvigra:
Athyglisstig = punktur_vara(fyrirspurnarvigur tákns 1, lykilvigur tákns 2)
= (0.4 * 0.8) + (-0.2 * 0.2) + (0.1 * 0.1)
= 0.31
Þessi athyglisstig sýnir hlutfallslegt mikilvægi hvers tákns í röðinni fyrir hina.
Að lokum, fyrir hvern tákn, er framsetning framsetningin búin til með því að taka vegna summan af gildisvigrum, þar sem vægin ákvarðast af athyglisstigunum. Úttaksframsetning fyrir fyrsta táknið „The,“ til dæmis, væri:
Úttaksvigur fyrir tákn 1 = (Athyglisstig með tákn 1) * Gildisvigur fyrir tákn 2
+ (Athyglisstig með tákni 3) * Gildisvigur fyrir tákn 3
+ (Athyglisstig með tákni 4) * Gildisvigur fyrir tákn 4
+ (Athyglisstig með tákni 5) * Gildisvigur fyrir tákn 5
+ (Athyglisstig með tákni 6) * Gildisvigur fyrir tákn 6
= (0.31 * [0.1, 0.2, 0.3]) + (0.25 * [0.2, -0.1, 0.7]) + (0.08 * [0.3, 0.5, -0.1]) + (0.14 * [0.1, 0.3, -0.2] ) + (0.22 * [0.6, -0.3, 0.4])
= [0.2669, 0.1533, 0.2715]
Sem afleiðing af sjálfsathygli getur spenni-undirstaða líkanið valið að sinna mismunandi hlutum inntaksröðarinnar þegar úttaksröðin er búin til.
Umsóknir eru fleiri en þú heldur
Vegna aðlögunarhæfni þeirra og getu til að takast á við margs konar NLP verkefni, svo sem vélþýðingu, tilfinningagreiningu, textasamantekt og fleira, hafa gervigreindarspennar vaxið í vinsældum undanfarin ár.
Gervigreindarspennar hafa verið notaðir á ýmsum sviðum, þar á meðal myndgreiningu, meðmælakerfi og jafnvel lyfjauppgötvun, auk klassískra tungumálatengdra forrita.
AI spennir hafa nánast takmarkalausa notkun þar sem hægt er að sníða þá að fjölmörgum vandamálasvæðum og gagnategundum. Gervigreindarspennar, með getu sína til að greina flóknar gagnaraðir og fanga langtímasambönd, munu verða mikilvægur drifþáttur í þróun gervigreindarforrita á næstu árum.
Samanburður við aðra taugakerfisarkitektúr
Þar sem þeir geta greint inntaksraðir og skilið langdræg tengsl í texta, eru gervigreindarspennar sérstaklega vel til þess fallnir fyrir náttúrulega málvinnslu samanborið við önnur taugakerfisforrit.
Sumir taugakerfisarkitektúrar, eins og snúningstauganet (CNN) og endurtekin tauganet (RNN), henta aftur á móti betur fyrir verkefni sem fela í sér vinnslu á skipulögðu inntaki, svo sem myndir eða tímaraðargögn.
Framtíðin er björt
Framtíð gervigreindarspenna virðist björt. Eitt svið yfirstandandi rannsóknarinnar er þróun sífellt öflugri líkana sem geta tekist á við sífellt flóknari verkefni.
Ennfremur er verið að reyna að tengja gervigreindarspenna við aðra gervigreindartækni, svo sem styrking nám, til að veita háþróaðri ákvörðunartökugetu.
Sérhver atvinnugrein er að reyna að nýta möguleika gervigreindar til að knýja fram nýsköpun og ná samkeppnisforskoti. Svo, gervigreind spennarar eru líklegir til að vera smám saman felldir inn í margs konar forrit, þar á meðal heilsugæslu, fjármál og fleira.
Með áframhaldandi endurbótum á gervigreindarspennutækni og möguleikum þessara sterku gervigreindartækja til að gjörbylta því hvernig menn vinna og skilja tungumál, virðist framtíðin björt.
Skildu eftir skilaboð