In klassyk probleem yn keunstmjittige yntelliginsje is it stribjen nei in masine dy't minsklike taal ferstean kin.
Bygelyks, as jo sykje nei "nearby Italjaanske restaurants" op jo favorite sykmasine, moat in algoritme elk wurd yn jo query analysearje en de relevante resultaten útfiere. In fatsoenlike oersetapp sil de kontekst fan in bepaald wurd yn it Ingelsk moatte begripe en op ien of oare manier rekken hâlde mei de ferskillen yn grammatika tusken talen.
Al dizze taken en folle mear falle ûnder it subfjild fan kompjûterwittenskip bekend as Natuerlike taalbehearsking of NLP. Foarútgongen yn NLP hawwe laat ta in breed skala oan praktyske applikaasjes fan firtuele assistinten lykas Amazon's Alexa oant spamfilters dy't kweade e-post detectearje.
De meast resinte trochbraak yn NLP is it idee fan in grut taalmodel of LLM. LLM's lykas GPT-3 binne sa machtich wurden dat se lykje te slagjen yn hast elke NLP-taak of gebrûksgefal.
Yn dit artikel sille wy sjen wat LLM's krekt binne, hoe't dizze modellen wurde oplaat, en de hjoeddeistige beheiningen dy't se hawwe.
Wat is in grut taalmodel?
Yn har kearn is in taalmodel gewoan in algoritme dat wit hoe wierskynlik in folchoarder fan wurden in jildige sin is.
In hiel ienfâldich taalmodel dat op in pear hûndert boeken oplaat is, soe sizze moatte kinne dat "Hy gie nei hûs" jildiger is as "Hûs gie hy".
As wy ferfange de relatyf lytse dataset mei in massale dataset skrast fan it ynternet, wy begjinne te benaderjen it idee fan in grut taalmodel.
Mei help fan neurale netwurken, kinne ûndersikers LLM's opliede op in grutte hoemannichte tekstgegevens. Troch de hoemannichte tekstgegevens dy't it model sjoen hat, wurdt de LLM tige goed yn it foarsizzen fan it folgjende wurd yn in folchoarder.
It model wurdt sa ferfine, it kin in protte NLP-taken útfiere. Dizze taken omfetsje it gearfetten fan tekst, it meitsjen fan nije ynhâld, en sels it simulearjen fan minsklike petearen.
Bygelyks, it heul populêre GPT-3-taalmodel wurdt oplaat mei mear dan 175 miljard parameters en wurdt beskôge as it meast avansearre taalmodel oant no ta.
It is yn steat om wurkkoade te generearjen, heule artikels te skriuwe, en kin in kâns nimme om fragen oer elk ûnderwerp te beantwurdzjen.
Hoe wurde LLM's oplaat?
Wy hawwe it feit koart oanrekke dat LLM's in protte fan har macht te tankjen hawwe oan de grutte fan har trainingsgegevens. Der is in reden wêrom't wy se nei alle gedachten "grutte" taalmodellen neame.
Pre-training mei in Transformer Architecture
Tidens de foaropliedingsfaze wurde LLM's yntrodusearre oan besteande tekstgegevens om de algemiene struktuer en regels fan in taal te learen.
Yn 'e ôfrûne jierren binne LLM's foartraind op datasets dy't in signifikant diel fan it iepenbiere ynternet dekke. Bygelyks, GPT-3 syn taal model waard oplaat op gegevens út de Algemiene krûp dataset, in korpus fan webposten, websiden en digitalisearre boeken skrast fan mear as 50 miljoen domeinen.
De massive dataset wurdt dan fied yn in model bekend as a transformator. Transformers binne in soarte fan djip neural netwurk dat wurket it bêste foar sekwinsjele gegevens.
Transformers brûke in encoder-decoder arsjitektuer foar it behanneljen fan ynput en útfier. Yn essinsje befettet de transformator twa neurale netwurken: in encoder en in decoder. De kodearder kin de betsjutting fan 'e ynfiertekst ekstrahearje en opslaan as in fektor. De dekoder ûntfangt dan de fektor en produsearret syn ynterpretaasje fan 'e tekst.
It kaaibegryp dat de transformatorarsjitektuer lykwols sa goed koe wurkje is de tafoeging fan in sels-omtinken meganisme. It konsept fan selsomtinken liet it model omtinken jaan oan de wichtichste wurden yn in opjûne sin. It meganisme beskôget sels de gewichten tusken wurden dy't fier útinoar binne opfolgjend.
In oar foardiel fan selsomtinken is dat it proses parallelisearre wurde kin. Ynstee fan sekwinsjele gegevens yn oarder te ferwurkjen, kinne transformatormodellen alle yngongen tagelyk ferwurkje. Dit stelt transformators yn steat om relatyf fluch te trainen op enoarme hoemannichten gegevens yn ferliking mei oare metoaden.
Fine-tuning
Nei it foar-trainingsstadium kinne jo kieze om nije tekst yn te fieren foar de basis LLM om op te trenen. Wy neame dit proses fine-tuning en wurdt faak brûkt om de útfier fan 'e LLM op in spesifike taak fierder te ferbetterjen.
Jo kinne bygelyks in LLM brûke om ynhâld te generearjen foar jo Twitter-akkount. Wy kinne it model ferskate foarbylden fan jo eardere tweets leverje om it in idee te jaan fan 'e winske útfier.
D'r binne in pear ferskillende soarten fine-tuning.
In pear skoot learen ferwiist nei it proses fan it jaan fan in model in lyts oantal foarbylden mei de ferwachting dat it taalmodel sil útfine hoe't te meitsjen ferlykbere útfier. Ien-shot learen is in ferlykber proses, útsein dat mar ien foarbyld wurdt levere.
Beheinings fan grutte taalmodellen
LLM's lykas GPT-3 binne yn steat om in grut oantal gebrûksgefallen út te fieren, sels sûnder fine-tuning. Dizze modellen komme lykwols noch mei har eigen set fan beheiningen.
Gebrek oan in semantysk begryp fan 'e wrâld
Oan it oerflak lykje LLM's yntelliginsje te werjaan. Lykwols, dizze modellen wurkje net op deselde wize de minskebern docht. LLM's fertrouwe allinich op statistyske berekkeningen om output te generearjen. Se hawwe net de kapasiteit om ideeën en konsepten op har eigen te redenearjen.
Hjirtroch kin in LLM ûnsinnige antwurden útfiere gewoan om't de wurden "rjocht" of "statistysk wierskynlik" lykje as se yn dy bepaalde folchoarder pleatst wurde.
Halluzinationen
Modellen lykas GPT-3 lije ek fan ûnkrekte antwurden. LLM's kinne lije fan in fenomeen bekend as hallusinaasje wêr't modellen in feitlik ferkearde reaksje útfiere sûnder bewust te wêzen dat it antwurd gjin basis hat yn 'e realiteit.
Bygelyks, in brûker kin it model freegje om de tinzen fan Steve Jobs oer de lêste iPhone te ferklearjen. It model kin in quote generearje út tinne loft basearre op syn trainingsgegevens.
Biases en beheinde kennis
Lykas in protte oare algoritmen binne grutte taalmodellen gefoelich foar it erven fan de foaroardielen oanwêzich yn 'e trainingsgegevens. As wy mear begjinne te fertrouwe op LLM's om ynformaasje te heljen, moatte de ûntwikkelders fan dizze modellen manieren fine om de mooglik skealike effekten fan biased antwurden te ferminderjen.
Yn in fergelykbere kapasiteit sille de blinde spots fan 'e trainingsgegevens fan it model it model sels ek hinderje. Op it stuit nimme grutte taalmodellen moannen om te trainen. Dizze modellen fertrouwe ek op datasetten dy't beheind binne yn omfang. Dit is de reden wêrom ChatGPT allinich beheinde kennis hat fan eveneminten dy't barde nei 2021.
Konklúzje
Grutte taalmodellen hawwe it potinsjeel om wirklik te feroarjen hoe't wy omgean mei technology en ús wrâld yn it algemien.
De grutte hoemannichte gegevens beskikber op it ynternet hat ûndersikers in manier jûn om de kompleksiteiten fan taal te modellearjen. Underweis lykje dizze taalmodellen lykwols in minskelik begryp fan 'e wrâld sa't dy is, op te pakken.
As it publyk dizze taalmodellen begjint te fertrouwen om krekte útfier te leverjen, fine ûndersikers en ûntwikkelders al manieren om guardrails ta te foegjen sadat de technology etysk bliuwt.
Wat tinke jo is de takomst fan LLM's?
Leave a Reply