Yon pwoblèm klasik nan entèlijans atifisyèl se pouswit yon machin ki ka konprann lang moun.
Pou egzanp, lè w ap chèche "restoran Italyen ki tou pre" sou motè rechèch ou pi renmen, yon algorithm gen pou analize chak mo nan rechèch ou an epi bay rezilta ki enpòtan yo. Yon aplikasyon tradiksyon desan ap oblije konprann kontèks yon mo an patikilye nan lang angle ak yon jan kanmenm kont pou diferans ki genyen nan gramè ant lang yo.
Tout travay sa yo ak plis ankò tonbe anba sous-champ de syans enfòmatik ke yo rekonèt kòm Pwosesis Lang Natirèl oswa NLP. Avansman nan NLP te mennen nan yon pakèt aplikasyon pratik soti nan asistan vityèl tankou Alexa Amazon nan filtè spam ki detekte move imel.
Dekouvèt ki pi resan nan NLP se lide a gwo modèl lang oswa LLM. LLM tankou GPT-3 te vin tèlman pwisan ke yo sanble yo reyisi nan prèske nenpòt travay NLP oswa ka itilize.
Nan atik sa a, nou pral gade nan ki sa egzakteman LLM yo ye, ki jan modèl sa yo resevwa fòmasyon, ak limit aktyèl yo genyen.
Ki sa ki se yon gwo modèl lang?
Nan nwayo li yo, yon modèl lang se tou senpleman yon algorithm ki konnen konbyen chans yon sekans mo se yon fraz valab.
Yon modèl lang trè senp ki fòme sou kèk santèn liv ta dwe kapab di ke "Li te ale lakay ou" pi valab pase "Lakay li ale li".
Si nou ranplase yon seri done relativman ti ak yon seri done masiv ki soti nan entènèt la, nou kòmanse apwoche lide yon gwo modèl lang.
Lè l sèvi avèk rezo neral, chèchè yo ka fòme LLM yo sou yon gwo kantite done tèks. Akòz kantite done tèks modèl la te wè, LLM a vin trè bon nan predi pwochen mo a nan yon sekans.
Modèl la vin tèlman sofistike, li ka fè anpil travay NLP. Travay sa yo enkli rezime tèks, kreye kontni roman, e menm similye konvèsasyon ki sanble ak moun.
Pou egzanp, modèl lang GPT-3 trè popilè a fòme ak plis pase 175 milya paramèt epi li konsidere kòm modèl lang ki pi avanse jiska prezan.
Li kapab jenere kòd k ap travay, ekri atik antye, epi li ka pran yon piki nan reponn kesyon sou nenpòt sijè.
Kijan LLM yo fòme?
Nou te touche yon ti tan sou lefèt ke LLM yo dwe anpil nan pouvwa yo nan gwosè a nan done fòmasyon yo. Gen yon rezon ki fè nou rele yo "gwo" modèl lang apre tout.
Pre-fòmasyon ak yon Achitekti Transformer
Pandan etap pre-fòmasyon an, LLM yo prezante nan done tèks ki egziste deja pou aprann estrikti jeneral ak règ yon lang.
Nan kèk ane ki sot pase yo, LLM yo te pre-fòme sou done ki kouvri yon pòsyon enpòtan nan entènèt piblik la. Pou egzanp, modèl lang GPT-3 a te fòme sou done ki soti nan Komen rale dataset, yon corpus posts entènèt, paj wèb, ak liv nimerik grate soti nan plis pase 50 milyon domèn.
Answit done masiv la ap antre nan yon modèl ke yo rekonèt kòm a transfòmatè. Transformateur yo se yon kalite rezo neral pwofon ki travay pi byen pou done sekans.
Transformateurs itilize yon achitekti encoder-decoder pou manyen opinyon ak pwodiksyon. Esansyèlman, transfòmatè a gen de rezo neral: yon ankode ak yon dekodeur. Ankode a ka ekstrè siyifikasyon an nan tèks la opinyon epi estoke li kòm yon vektè. Lè sa a, dekodè a resevwa vektè a epi li pwodui entèpretasyon li nan tèks la.
Sepandan, konsèp kle ki pèmèt achitekti transfòmatè a travay byen se adisyon a mekanis oto-atansyon. Konsèp atansyon pwòp tèt ou pèmèt modèl la peye atansyon sou mo ki pi enpòtan nan yon fraz bay yo. Mekanis nan menm konsidere pwa ki genyen ant mo ki byen lwen youn sekans.
Yon lòt benefis nan atansyon pwòp tèt ou se ke pwosesis la ka paralelize. Olye pou yo trete done sekans yo nan lòd, modèl transfòmatè ka trete tout entrées nan yon fwa. Sa a pèmèt transfòmatè yo antrene sou gwo kantite done relativman byen vit konpare ak lòt metòd.
Fine-akor
Apre etap pre-antrènman an, ou ka chwazi prezante nouvo tèks pou LLM baz pou fòme. Nou rele pwosesis sa a amann-akor epi li souvan itilize pou amelyore plis pwodiksyon LLM nan yon travay espesifik.
Pou egzanp, ou ka vle sèvi ak yon LLM pou jenere kontni pou kont Twitter ou a. Nou ka bay modèl la plizyè egzanp sou tweet anvan ou yo pou ba li yon lide sou pwodiksyon an vle.
Gen kèk diferan kalite amann-akor.
Aprantisaj kèk-piki refere a pwosesis pou bay yon modèl yon ti kantite egzanp ak atann ke modèl lang lan pral konnen ki jan yo fè pwodiksyon menm jan an. One-shot aprantisaj se yon pwosesis menm jan an eksepte sèlman yon egzanp bay.
Limit modèl gwo langaj
LLM tankou GPT-3 yo kapab fè yon gwo kantite ka itilize menm san yo pa ajiste. Sepandan, modèl sa yo toujou vini ak pwòp seri limit yo.
Mank yon konpreyansyon semantik nan mond lan
Nan sifas la, LLM yo parèt pou montre entèlijans. Sepandan, modèl sa yo pa opere menm jan an imen nan sèvo fè. LLM yo sèlman konte sou kalkil estatistik yo jenere pwodiksyon. Yo pa gen kapasite pou rezone lide ak konsèp poukont yo.
Poutèt sa, yon LLM ka bay repons san sans tou senpleman paske mo yo sanble "dwa" oswa "estatistik posib" lè yo mete yo nan lòd patikilye sa a.
Alisinasyon
Modèl tankou GPT-3 soufri tou de repons ki pa kòrèk. LLM yo ka soufri nan yon fenomèn ke yo rekonèt kòm alisinasyon kote modèl yo bay yon repons ki pa kòrèk san yo pa konnen repons lan pa gen okenn baz an reyalite.
Pou egzanp, yon itilizatè ka mande modèl la eksplike panse Steve Jobs sou dènye iPhone a. Modèl la ka jenere yon quote soti nan lè mens ki baze sou done fòmasyon li yo.
Patipri ak Konesans limite
Menm jan ak anpil lòt algoritm, modèl lang gwo yo gen tandans eritye prejije ki prezan nan done fòmasyon yo. Kòm nou kòmanse konte plis sou LLM yo rekipere enfòmasyon, devlopè modèl sa yo ta dwe jwenn fason pou bese efè potansyèlman danjere nan repons patipri.
Nan yon kapasite menm jan an, blindspot yo nan done fòmasyon modèl la pral tou anpeche modèl la tèt li. Kounye a, gwo modèl lang pran plizyè mwa pou antrene. Modèl sa yo tou konte sou seri done ki limite nan dimansyon. Se poutèt sa ChatGPT sèlman gen konesans limite sou evènman ki te fèt sot pase 2021.
konklizyon
Gwo modèl lang gen potansyèl pou chanje vrèman fason nou kominike avèk teknoloji ak mond nou an an jeneral.
Gwo kantite done ki disponib sou entènèt la te bay chèchè yo yon fason pou modèl konpleksite langaj yo. Sepandan, sou wout la, modèl lang sa yo sanble yo te ranmase sou yon konpreyansyon moun tankou mond lan jan li ye.
Kòm piblik la kòmanse fè modèl lang sa yo konfyans pou bay pwodiksyon egzat, chèchè ak devlopè yo deja jwenn fason pou ajoute guardrails pou teknoloji a rete etik.
Ki sa ou panse se avni LLM yo?
Kite yon Reply