Edukien aurkibidea[Ezkutatu][Erakutsi]
GPT-3, momentuko sare neuronal handia, 2020ko maiatzean argitaratu zen OpenAI, Elon Musk eta Sam Altman-ek elkarrekin sortutako AI startup-a. GPT-3 abangoardiako hizkuntza-eredua da, 175 milioi parametro dituena, aurreko GPT-1,5aren 2 milioi parametrorekin alderatuta.
GPT-3-k Microsoften NLG Turing eredua gainditu zuen (Turing Natural Language Generation), aurretik 17 mila milioi parametro zituen neurona-sare handienaren errekorra zuena.
Hizkuntz eredua goraipatu, kritikatu eta are aztertua izan da; erabilera berriak eta intrigazkoak ere sortu ditu. Eta orain, GPT-4, OpenAIren hurrengo edizioa dela jakinarazi dute hizkuntza eredua, benetan laster etorriko da.
GPT-4-ri buruz gehiago jakin nahi baduzu gune egokira iritsi zara. Artikulu honetan GPT-4-a sakon aztertuko dugu, bere parametroak, beste modeloekin nola alderatzen den eta abar azalduz.
Beraz, zer da GPT-4?
GPT-4-ren esparrua ulertzeko, lehenik eta behin GPT-3, bere aitzindaria, ulertu behar dugu. GPT-3 (Generative Pre-trained Transformer, hirugarren belaunaldia) edukia sortzeko tresna autonomoa da.
Erabiltzaileek datuak a batean sartzen dituzte makina ikaskuntza eredua, gerora erantzun gisa idazketa garrantzitsuak sor ditzakeena, OpenAIren arabera. GPT-4 askoz hobea izango da multiataza batean jaurtiketa gutxiko baldintzetan - mota bat makina ikaskuntza – Emaitzak gizakienetara are gehiago hurbiltzea.
GPT-3-k ehunka milioi libera kostatzen ditu eraikitzeko, baina GPT-4-k nabarmen gehiago kostatuko duela aurreikusten da, eskala bostehun aldiz handiagoa izango delako. Hau ikuspegian jartzeko,
GPT-4-k garuneko sinapsiek adina ezaugarri izan ditzake. GPT-4-k batez ere GPT-3-ren metodo berberak erabiliko ditu, beraz, paradigma jauzi bat izan beharrean, GPT-4-k gaur egun GPT-3-k lortzen duena zabalduko du, baina inferentzia gaitasun nabarmen handiagoarekin.
GPT-3-k erabiltzaileei hizkuntza naturala sartzeko aukera eman zien helburu praktikoetarako, baina hala ere, esperientzia batzuk behar zituen emaitza onak emango zituen gonbita diseinatzeko. GPT-4 erabiltzaileen asmoak iragartzeko nabarmen hobea izango da.
Zein izango dira GPT-4 parametroak?
Gehien espero diren AIren aurrerapenetako bat izan arren, ez da ezer ezagutzen GPT-4ri buruz: nolakoa izango den, zer ezaugarri izango dituen eta zer ahalmen izango dituen.
Iaz, Altman-ek galdera eta erantzun bat egin zuen eta OpenAIren GPT-4rako asmoei buruzko xehetasun batzuk agerian utzi zituen. Ez litzateke GPT-3 baino handiagoa izango, Altmanen arabera. GPT-4 nekez izango da erabiliena hizkuntza eredua. Nahiz eta eredua handia izango den aurreko belaunaldiekin alderatuta neural sareak, bere tamaina ez da bere bereizgarria izango. GPT-3 eta Gopher dira hautagairik sinesgarrienak (175B-280B).
Nvidia eta Microsoft-en Megatron-Turing NLG-ek izan zuten errekorra sare neuronal trinkoena parametroak 530B-n - GPT-3-ren hiru aldiz - duela gutxi Google-ren PaLM-ek 540B-n hartu zuen arte. Harrigarria bada ere, eredu txikiago batek MT-NLG-a gainditu zuen.
Power-lege-konexio baten arabera, OpenAI-ko Jared Kaplan-ek eta lankideek 2020an zehaztu zuten aurrekontuaren igoerak prozesatzen direnean gehien bat parametro kopurua handitzera bideratzen dela errendimendua hobetzen dela. Google, Nvidia, Microsoft, OpenAI, DeepMind eta beste hizkuntza-modelatzaile batzuek esaneko jarraitu zuten araudia.
Altman-ek adierazi zuen jada ez zirela eredu masiboak eraikitzen, eredu txikienen errendimendua maximizatzen baizik.
OpenAI-ko ikertzaileak eskalatze hipotesiaren aldekoak izan ziren, baina baliteke deskubritu izana aurretik aurkitu gabeko bide gehigarriek goi mailako ereduetara eraman dezaketela. GPT-4 ez da GPT-3 baino nabarmen handiagoa izango arrazoi hauengatik.
OpenAIk arreta handiagoa jarriko du beste alderdi batzuetan, hala nola, datuetan, algoritmoetan, parametrizazioan eta lerrokatzean, onura garrantzitsuak azkarrago lortzeko ahalmena dutenak. Itxaron beharko dugu 100T parametroak dituen modelo batek zer egin dezakeen.
Giltza puntuak:
- Ereduaren tamaina: GPT-4 GPT-3 baino handiagoa izango da, baina ez asko (MT-NLG 530B eta PaLM 540B). Ereduaren tamaina ez da nabarmena izango.
- Optimotasuna: GPT-4-k GPT-3-k baino baliabide gehiago erabiliko ditu. Parametrizazio (hiperparametro optimoak) eta eskalatzeko metodoetan optimotasun ikuspegi berriak ezarriko ditu (prestakuntza-token kopurua ereduaren tamaina bezain garrantzitsua da).
- Multimodalitatea: GPT-4-k testu-mezuak soilik bidali eta jaso ahal izango ditu (ez multimodala). OpenAI-k hizkuntza-ereduak beren mugetara bultzatu nahi ditu, esaterako, eredu multimodaletara igaro aurretik DALA 2, sistema unimodalak gaindituko dituela aurreikusten dute azkenean.
- urritasuna: GPT-4, bere aurreko GPT-2 eta GPT-3 bezala, eredu trinkoa izango da (parametro guztiak erabiliko dira edozein sarrera prozesatzeko). Etorkizunean, urritasuna garrantzitsuagoa izango da.
- Lerrokatzea: GPT-4 GPT-3 baino hurbilago hurbilduko zaigu. InstructGPT-tik ikasitakoa jarriko du, giza ekarpenarekin garatu dena. Hala ere, AIren konbergentzia oso urrun dago, eta ahaleginak arretaz ebaluatu behar dira gehiegizkoak baino.
Ondorioa
Adimen Orokor Artifiziala. Helburu handia da, baina hori lortzeko lanean ari dira OpenAI garatzaileak. AGIren helburua pertsona batek ahal duen edozein jarduera ulertzeko eta egiteko gai den eredu edo "agente" bat sortzea da.
GPT-4 izan daiteke helburu hori lortzeko hurrengo urratsa, eta zientzia-fikziozko film bateko zerbait dirudi. AGI lortzea zein errealista den galdetzen ari zara.
2029rako mugarri hau lortuko dugu, Ray Kurzweil Google-ko Ingeniaritza zuzendariaren arabera. Hori kontuan izanda, sakonago aztertu ditzagun GPT-4 eta eredu honen ondorioak AGIra (Adimen Orokor Artifiziala) hurbiltzen garen heinean.
Utzi erantzun bat