Përmbajtje[Fshih][Shfaqje]
GPT-3, rrjeti i madh nervor i momentit, u publikua në maj 2020 nga OpenAI, startup i AI i bashkëthemeluar nga Elon Musk dhe Sam Altman. GPT-3 është një model gjuhësor i avancuar me 175 miliardë parametra krahasuar me 1,5 miliardë parametra në paraardhësin e tij GPT-2.
GPT-3 tejkaloi modelin NLG Turing të Microsoft (Turing Natural Language Generation), i cili më parë kishte mbajtur rekordin për rrjetin nervor më të madh me 17 miliardë parametra.
Modeli gjuhësor është lavdëruar, kritikuar dhe madje është shqyrtuar; ai gjithashtu ka sjellë përdorime të reja dhe intriguese. Dhe tani ka raporte se GPT-4, edicioni i ardhshëm i OpenAI model gjuhësor, me të vërtetë do të vijë së shpejti.
Ju keni mbërritur në faqen e duhur nëse doni të mësoni më shumë rreth GPT-4. Ne do ta shikojmë GPT-4 në thellësi në këtë artikull, duke mbuluar parametrat e tij, si krahasohet me modelet e tjera dhe më shumë.
Pra, çfarë është GPT-4?
Për të kuptuar qëllimin e GPT-4, së pari duhet të kuptojmë GPT-3, pararendësin e tij. GPT-3 (Generative Pre-trained Transformer, gjenerata e tretë) është një mjet autonom për gjenerimin e përmbajtjes.
Përdoruesit futin të dhëna në a Mësimi makinë model, i cili më pas mund të prodhojë sasi masive të shkrimit përkatës si përgjigje, sipas OpenAI. GPT-4 do të jetë dukshëm më i mirë në kryerjen e shumë detyrave në kushte me pak goditje - një lloj i tillë Mësimi makinë – duke i sjellë rezultatet edhe më afër atyre të njerëzve.
GPT-3 kushton qindra miliona paund për t'u ndërtuar, por GPT-4 parashikohet të kushtojë dukshëm më shumë, sepse do të jetë pesëqind herë më i madh në shkallë. Për ta vënë këtë në perspektivë,
GPT-4 mund të ketë po aq karakteristika sa sinapset në tru. GPT-4 do të përdorë kryesisht të njëjtat metoda si GPT-3, kështu që në vend që të jetë një kërcim paradigme, GPT-4 do të zgjerohet në atë që GPT-3 realizon aktualisht - por me aftësi dukshëm më të madhe konkluzionesh.
GPT-3 i lejoi përdoruesit të futnin gjuhën e natyrshme për qëllime praktike, por gjithsesi kishte nevojë për një ekspertizë për të hartuar një kërkesë që do të jepte rezultate të mira. GPT-4 do të jetë dukshëm më i mirë në parashikimin e synimeve të përdoruesve.
Cilat do të jenë parametrat GPT-4?
Pavarësisht se është një nga përparimet më të pritura të AI, asgjë nuk dihet për GPT-4: si do të duket, çfarë karakteristikash do të ketë dhe çfarë fuqie do të ketë.
Vitin e kaluar, Altman bëri një pyetje dhe përgjigje dhe zbuloi disa detaje rreth ambicieve të OpenAI për GPT-4. Nuk do të ishte më i madh se GPT-3, sipas Altman. GPT-4 nuk ka gjasa të jetë më i përdoruri model gjuhësor. Edhe pse modeli do të jetë i madh në krahasim me gjeneratat e mëparshme të rrjetet nervore, madhësia e tij nuk do të jetë karakteristikë e tij dalluese. GPT-3 dhe Gopher janë kandidatët më të besueshëm (175B-280B).
Nvidia dhe Megatron-Turing NLG e Microsoft-it mbajtën rekordin për rrjeti nervor më i dendur parametrat në 530B – tre herë më shumë se GPT-3 – deri kohët e fundit kur Google PalM e mori atë në 540B. Çuditërisht, një mori modelesh më të vogla ia kalonin MT-NLG.
Sipas një lidhjeje me ligjin e pushtetit, Jared Kaplan i OpenAI dhe kolegët përcaktuan në vitin 2020 se kur përpunimi i rritjeve të buxhetit shpenzohet kryesisht në rritjen e numrit të parametrave, performanca përmirësohet më së shumti. Google, Nvidia, Microsoft, OpenAI, DeepMind dhe kompani të tjera të modelimit të gjuhëve ndoqën me bindje rregullat.
Altman tregoi se ata nuk po përqendroheshin më në ndërtimin e modeleve masive, por më tepër në maksimizimin e performancës së modeleve më të vogla.
Studiuesit e OpenAI ishin përkrahësit e hershëm të hipotezës së shkallëzimit, por ata mund të kenë zbuluar se shtigje shtesë, të pazbuluara më parë mund të çojnë në modele superiore. GPT-4 nuk do të jetë dukshëm më i madh se GPT-3 për këto arsye.
OpenAI do të vendosë një fokus më të madh në aspekte të tjera, të tilla si të dhënat, algoritmet, parametrizimi dhe shtrirja, të cilat kanë potencialin të japin përfitime të rëndësishme më shpejt. Duhet të presim dhe të shohim se çfarë mund të bëjë një model me parametra 100T.
Pikat kryesore:
- Madhësia e modelit: GPT-4 do të jetë më i madh se GPT-3, por jo shumë (MT-NLG 530B dhe PaLM 540B). Madhësia e modelit do të jetë e papërfillshme.
- Optimaliteti: GPT-4 do të përdorë më shumë burime se GPT-3. Ai do të zbatojë njohuri të reja të optimizmit në parametrizimin (hiperparametrat optimalë) dhe metodat e shkallëzimit (numri i argumenteve të trajnimit është po aq i rëndësishëm sa madhësia e modelit).
- Multimodaliteti: GPT-4 do të jetë në gjendje të dërgojë dhe të marrë vetëm mesazhe me tekst (jo multimodale). OpenAI kërkon të shtyjë modelet gjuhësore në kufijtë e tyre përpara se të kalojë në modele multimodale si PLAKA 2, të cilat ata parashikojnë se përfundimisht do të tejkalojnë sistemet unimodale.
- Sparitet: GPT-4, si paraardhësit e tij GPT-2 dhe GPT-3, do të jetë një model i dendur (të gjithë parametrat do të përdoren për të përpunuar çdo hyrje të dhënë). Në të ardhmen, rrallësia do të bëhet më e rëndësishme.
- Bashkim: GPT-4 do të na afrohet më afër se GPT-3. Ai do të vendosë atë që ka mësuar nga InstructGPT, i cili është zhvilluar me kontributin e njeriut. Megjithatë, konvergjenca e AI është shumë larg dhe përpjekjet duhet të vlerësohen me kujdes dhe jo të ekzagjerohen.
Përfundim
Inteligjenca e Përgjithshme Artificiale. Është një objektiv i madh, por zhvilluesit e OpenAI po punojnë për ta arritur atë. Qëllimi i AGI është të krijojë një model ose "agjent" të aftë për të kuptuar dhe kryer çdo aktivitet që një person mundet.
GPT-4 mund të jetë hapi tjetër në arritjen e këtij qëllimi dhe tingëllon si diçka nga një film fantastiko-shkencor. Ju mund të pyesni veten se sa realiste është të arrihet AGI.
Ne do ta arrijmë këtë moment historik deri në vitin 2029, sipas Ray Kurzweil, Drejtori i Inxhinierisë së Google. Me këtë në mendje, le të hedhim një vështrim më të thellë në GPT-4 dhe degëzimet e këtij modeli ndërsa i afrohemi AGI (Inteligjencës së Përgjithshme Artificiale).
Lini një Përgjigju