Kaundan[Itago][Ipakita]
Ang usa ka klasiko nga problema sa artificial intelligence mao ang pagpangita sa usa ka makina nga makasabut sa sinultihan sa tawo.
Pananglitan, kung nangita alang sa "duol nga mga restawran nga Italyano" sa imong paborito nga search engine, kinahanglan nga analisahon sa usa ka algorithm ang matag pulong sa imong pangutana ug ipagawas ang mga may kalabotan nga resulta. Ang usa ka disente nga app sa paghubad kinahanglan nga makasabut sa konteksto sa usa ka partikular nga pulong sa English ug sa usa ka paagi nag-asoy sa mga kalainan sa gramatika tali sa mga pinulongan.
Ang tanan nga kini nga mga buluhaton ug daghan pa nahulog sa ilawom sa subfield sa computer science nga nailhan nga Natural Language Processing o NLP. Ang mga pag-uswag sa NLP mitultol sa daghang mga praktikal nga aplikasyon gikan sa mga virtual nga katabang sama sa Alexa sa Amazon hangtod sa mga filter sa spam nga nakamatikod sa makadaot nga email.
Ang pinakabag-o nga breakthrough sa NLP mao ang ideya sa usa ka dako nga modelo sa pinulongan o LLM. Ang mga LLM sama sa GPT-3 nahimong gamhanan kaayo nga daw nagmalampuson sila sa halos bisan unsang buluhaton sa NLP o kaso sa paggamit.
Niini nga artikulo, atong tan-awon kung unsa gyud ang mga LLM, kung giunsa kini nga mga modelo gibansay, ug ang mga limitasyon nga naa niini karon.
Unsa ang usa ka dako nga modelo sa pinulongan?
Sa kinauyokan niini, ang usa ka modelo sa pinulongan usa lamang ka algorithm nga nahibal-an kung unsa ka posible ang usa ka han-ay sa mga pulong usa ka balido nga sentence.
Ang usa ka yano kaayo nga modelo sa pinulongan nga gibansay sa pipila ka gatos nga mga libro kinahanglan nga makasulti nga ang "Mipauli siya" mas balido kaysa "Miadto siya sa balay".
Kung atong pulihan ang medyo gamay nga dataset sa usa ka dako nga dataset nga gikiskis gikan sa internet, magsugod kita sa pagduol sa ideya sa a dako nga modelo sa pinulongan.
Pinaagi sa paggamit sa neural networks, ang mga tigdukiduki makabansay sa mga LLM sa daghang gidaghanon sa datos sa teksto. Tungod sa kadaghan sa datos sa teksto nga nakita sa modelo, ang LLM nahimong maayo kaayo sa pagtagna sa sunod nga pulong sa usa ka han-ay.
Ang modelo nahimong sopistikado kaayo, makahimo kini og daghang buluhaton sa NLP. Kini nga mga buluhaton naglakip sa pag-summarize sa teksto, paghimo sa nobela nga sulud, ug bisan ang pag-susama sa panag-istoryahanay nga sama sa tawo.
Pananglitan, ang sikat kaayo nga modelo sa lengguwahe nga GPT-3 gibansay nga adunay kapin sa 175 bilyon nga mga parameter ug gikonsiderar nga labing abante nga modelo sa pinulongan hangtod karon.
Makahimo kini og working code, magsulat sa tibuok nga mga artikulo, ug makahimo sa usa ka shot sa pagtubag sa mga pangutana mahitungod sa bisan unsang hilisgutan.
Giunsa Pagbansay ang mga LLM?
Among natandog sa makadiyot ang kamatuoran nga ang mga LLM adunay dakong utang sa ilang gahom sa gidak-on sa ilang datos sa pagbansay. Adunay usa ka rason nganong gitawag nato sila nga "dako" nga mga modelo sa pinulongan.
Pre-training sa usa ka Transformer Architecture
Atol sa yugto sa pre-training, ang mga LLM gipaila sa kasamtangan nga datos sa teksto aron makat-on sa kinatibuk-ang istruktura ug mga lagda sa usa ka pinulongan.
Sa niaging pipila ka tuig, ang mga LLM nahanas na sa mga dataset nga nagsakup sa dakong bahin sa publikong internet. Pananglitan, ang modelo sa pinulongan sa GPT-3 gibansay sa datos gikan sa Kasagaran nga Crawl dataset, usa ka corpus sa mga post sa web, mga web page, ug gi-digitize nga mga libro nga gikuha gikan sa kapin sa 50 ka milyon nga mga dominyo.
Ang dako nga dataset kay gipakaon sa usa ka modelo nga nailhan nga a Transformer. Ang mga transformer usa ka matang sa lawom nga neural network nga labing maayo alang sa sequential data.
Ang mga transformer naggamit ug encoder-decoder nga arkitektura alang sa pagdumala sa input ug output. Sa esensya, ang transformer adunay duha ka neural network: usa ka encoder ug usa ka decoder. Mahimong makuha sa encoder ang kahulogan sa input text ug tipigan kini isip vector. Gidawat dayon sa decoder ang vector ug gipatungha ang interpretasyon niini sa teksto.
Bisan pa, ang panguna nga konsepto nga nagtugot sa arkitektura sa transformer nga molihok nga maayo mao ang pagdugang sa a mekanismo sa kaugalingon nga pagtagad. Ang konsepto sa pagtagad sa kaugalingon nagtugot sa modelo sa pagtagad sa labing importante nga mga pulong sa usa ka gihatag nga sentence. Gikonsiderar pa gani sa mekanismo ang mga gibug-aton tali sa mga pulong nga layo sa pagkasunodsunod.
Ang laing kaayohan sa pagtagad sa kaugalingon mao nga ang proseso mahimong magkaparehas. Imbis sa pagproseso sa sunud-sunod nga datos sa han-ay, ang mga modelo sa transformer mahimong magproseso sa tanan nga mga input sa usa ka higayon. Gitugotan niini ang mga transformer nga magbansay sa daghang mga datos nga medyo dali kumpara sa ubang mga pamaagi.
Maayo nga pagpaayo
Pagkahuman sa yugto sa pre-training, mahimo nimong pilion ang pagpaila sa bag-ong teksto alang sa base nga LLM aron mabansay. Gitawag namo kini nga proseso maayo nga pag-ayo ug kasagarang gigamit aron mapauswag pa ang output sa LLM sa usa ka piho nga buluhaton.
Pananglitan, mahimo nimong gamiton ang LLM aron makamugna og sulud alang sa imong Twitter account. Makahatag kami sa modelo sa daghang mga pananglitan sa imong miaging mga tweet aron mahatagan kini usa ka ideya sa gusto nga output.
Adunay pipila ka lain-laing mga matang sa fine-tuning.
Pipila ka shot nga pagkat-on nagtumong sa proseso sa paghatag sa usa ka modelo og gamay nga gidaghanon sa mga pananglitan uban sa pagdahom nga ang modelo sa pinulongan makahibalo unsaon paghimo sa susama nga output. One-shot nga pagkat-on mao ang usa ka susama nga proseso gawas sa usa lamang ka pananglitan ang gihatag.
Mga Limitasyon sa Dagkong mga Modelo sa Pinulongan
Ang mga LLM sama sa GPT-3 makahimo sa daghang gidaghanon sa mga kaso sa paggamit bisan kung wala’y maayo nga pag-tune. Bisan pa, kini nga mga modelo nag-abut gihapon sa ilang kaugalingon nga hugpong sa mga limitasyon.
Kakulang sa usa ka Semantiko nga Pagsabot sa Kalibutan
Sa ibabaw, ang mga LLM makita nga nagpakita sa salabutan. Bisan pa, kini nga mga modelo dili molihok sa parehas nga paagi utok sa tawo nagabuhat. Ang mga LLM nagsalig lang sa istatistikal nga pagkalkula aron makamugna og output. Wala silay kapasidad sa pagpangatarungan sa mga ideya ug mga konsepto sa ilang kaugalingon.
Tungod niini, ang usa ka LLM makapagawas ug walay pulos nga mga tubag tungod lang kay ang mga pulong daw "husto" o "malagmit sa estadistika" kon ibutang sa maong partikular nga han-ay.
Hallucinations
Ang mga modelo sama sa GPT-3 nag-antus usab sa dili tukma nga mga tubag. Ang mga LLM mahimong mag-antos sa usa ka panghitabo nga nailhan nga halangdon diin ang mga modelo nagpagawas sa usa ka tinuod nga sayop nga tubag nga walay bisan unsa nga kahibalo nga ang tubag walay basehan sa tinuod.
Pananglitan, ang usa ka user mahimong mangutana sa modelo sa pagpatin-aw sa mga hunahuna ni Steve Jobs sa pinakabag-o nga iPhone. Ang modelo mahimong makamugna og usa ka kinutlo gikan sa nipis nga hangin base sa datos sa pagbansay niini.
Mga Bias ug Limitado nga Kahibalo
Sama sa daghang uban pang mga algorithm, ang dagkong mga modelo sa pinulongan dali nga makapanunod sa mga bias nga anaa sa datos sa pagbansay. Samtang nagsugod kami sa pagsalig sa dugang sa mga LLM aron makuha ang kasayuran, ang mga nag-develop sa kini nga mga modelo kinahanglan mangita mga paagi aron maminusan ang mahimo’g makadaot nga mga epekto sa mapihigon nga mga tubag.
Sa parehas nga kapasidad, ang mga blindspot sa datos sa pagbansay sa modelo makapugong usab sa modelo mismo. Sa pagkakaron, ang dagkong mga modelo sa pinulongan nagkinahanglan og mga bulan sa pagbansay. Kini nga mga modelo nagsalig usab sa mga dataset nga limitado sa sakup. Mao kini ang hinungdan nga ang ChatGPT adunay limitado nga kahibalo sa mga panghitabo nga nahitabo sa miaging 2021.
Panapos
Ang dagkong mga modelo sa pinulongan adunay potensyal nga tinuod nga magbag-o kung giunsa kita makig-uban sa teknolohiya ug sa atong kalibutan sa kinatibuk-an.
Ang kadaghanon sa datos nga anaa sa internet nakahatag sa mga tigdukiduki og paagi sa pagmodelo sa pagkakomplikado sa pinulongan. Bisan pa, sa kadugayan, kini nga mga modelo sa lengguwahe ingon og nakakuha sa usa ka samag-tawo nga pagsabut sa kalibutan kung unsa kini.
Samtang ang publiko nagsugod sa pagsalig niini nga mga modelo sa lengguwahe sa paghatag sa tukma nga output, ang mga tigdukiduki ug mga developer nangita na og mga paagi sa pagdugang og mga guardrail aron ang teknolohiya magpabilin nga etikal.
Unsa sa imong hunahuna ang kaugmaon sa mga LLM?
Leave sa usa ka Reply