Table of Contents[Veşartin][Rêdan]
GPT-3, tora neuralî ya mezin a vê gavê, di Gulana 2020-an de hate weşandin OpenAI, destpêka AI-ê ku ji hêla Elon Musk û Sam Altman ve hatî damezrandin. GPT-3 bi 175 mîlyar parametre li gorî 1,5 mîlyar parametreyên di pêşeya xwe ya GPT-2 de modelek zimanek pêşkeftî ye.
GPT-3 ji modela NLG Turing (Turing Natural Language Generation) ya Microsoft-ê ku berê bi 17 mîlyar parametre rekora herî mezin a tora neuralî girtibû bi pêş xist.
Modela ziman hatiye pesinandin, rexnekirin û heta bi hûrgilî hatiye lêkirin; di heman demê de karanîna nû û balkêş jî derxistiye holê. Û naha rapor hene ku GPT-4, çapa paşîn a OpenAI modela ziman, bi rastî dê di nêzîk de were.
Heke hûn dixwazin li ser GPT-4 bêtir fêr bibin hûn gihîştine malpera rast. Em ê di vê gotarê de li GPT-4-ê bi kûrahî binihêrin, pîvanên wê vedigire, ka ew çawa bi modelên din re berhev dike, û hêj bêtir.
Ji ber vê yekê, GPT-4 çi ye?
Ji bo têgihîştina çarçoveya GPT-4, divê em pêşî GPT-3, pêşiya wê fam bikin. GPT-3 (Generative Pre-trained Transformer, nifşa sêyemîn) amûrek hilberîna naverokê ya xweser e.
Bikarhêner daneyan têxe nav a fêrbûna makîneyê modela, ku paşê dikare di bersivê de, li gorî OpenAI, gelek nivîsên têkildar hilberîne. GPT-4 dê di şert û mercên çend-şok de di pirtasking de pir çêtir be - celebek fêrbûna makîneyê - gihandina encaman hîn zêdetir nêzî yên mirovan.
Çêkirina GPT-3 bi sed mîlyon lîre lêçûn e, lê tê pêşbînîkirin ku GPT-4 bi giranî bêtir lêçûn ji ber ku ew ê di pîvanê de pênc sed carî mezintir be. Ji bo ku vê yekê di perspektîfê de,
Dibe ku GPT-4 bi qasî synapses di mêjî de xwedî taybetmendiyên pir zêde be. GPT-4 dê bi giranî heman rêbazên wekî GPT-3 bikar bîne, ji ber vê yekê ji dêvla ku bibe pêvekek paradîgmayê, GPT-4 dê li ser tiştê ku GPT-3 niha pêk tîne berfireh bike - lê bi kapasîteya encamdana girîngtir.
GPT-3 destûr da bikarhêneran ku ji bo mebestên pratîkî têkevin zimanê xwezayî, lê dîsa jî pêdivî bi hin pisporan heye ku bilezek ku dê encamên baş bide sêwirandin. GPT-4 dê di pêşbînkirina niyeta bikarhêneran de pir çêtir be.
Parametreyên GPT-4 dê çi bin?
Tevî ku yek ji wan pêşkeftinên AI-ê yên ku herî zêde li bendê ne, di derbarê GPT-4 de tiştek nayê zanîn: ew ê çawa xuya bike, dê kîjan taybetmendiyên wê hebin, û dê xwediyê kîjan hêzan be.
Sala borî, Altman Q&A kir û çend hûrgulî li ser mebestên OpenAI-yê ji bo GPT-4 eşkere kir. Li gorî Altman, ew ê ji GPT-3 ne mezintir be. GPT-4 ne mimkûn e ku herî zêde tê bikar anîn modela ziman. Her çend model dê li gorî nifşên berê mezin be torên neural, mezinahiya wê dê ne taybetmendiya wê ya cihêkar be. GPT-3 û Gopher berendamên herî maqûl in (175B-280B).
Nvidia û Megatron-Turing NLG ya Microsoft-ê ji bo vê rekorê girtin tora neuralî ya herî hişk Parametreyên li 530B - sê qat ji GPT-3 - heya vê dawiyê dema ku PaLM ya Google ew di 540B de girt. Ecêb e, komek modelên hindiktir ji MT-NLG-ê derketin.
Li gorî pêwendiyek hêz-qanûnê, Jared Kaplan û hevalên OpenAI-yê di sala 2020-an de destnîşan kirin ku dema ku zêdekirina budceyê bi piranî ji bo zêdekirina hejmara parametreyan tê xerc kirin, performans herî zêde baştir dibe. Google, Nvidia, Microsoft, OpenAI, DeepMind, û pargîdaniyên din ên modela zimanî bi guhdana rêziknameyê şopandin.
Altman destnîşan kir ku ew êdî ne li ser avakirina modelên girseyî, lê ji ber ku performansa modelên piçûktir zêde dikin.
Lekolînwanên OpenAI-ê pêşî parêzvanên hîpoteza pîvandinê bûn, lê dibe ku wan keşif kiribin ku rêyên din, yên ku berê nehatine kifş kirin, dibe ku bibin sedema modelên bilind. GPT-4 dê ji ber van sedeman ji GPT-3 ne girîngtir be.
OpenAI dê balê bikişîne ser aliyên din, wek dane, algorîtma, parameterîzasyon, û lihevkirin, ku potansiyela wan heye ku zûtir feydeyên girîng bistînin. Em ê li bendê bin û bibînin ka modelek bi parametreyên 100T dikare çi bike.
Key Points:
- Mezinahiya modelê: GPT-4 dê ji GPT-3 mezintir be, lê ne pir (MT-NLG 530B û PaLM 540B). Mezinahiya modelê dê bêkêmasî be.
- Optimality: GPT-4 dê ji GPT-3 bêtir çavkaniyan bikar bîne. Ew ê di parametrekirinê (hîperparametreyên çêtirîn) û pîvandinê de nihêrînên optîmaliyê yên nû bicîh bîne (hejmara nîşaneyên perwerdehiyê bi qasî mezinahiya modelê girîng e).
- Multimodality: GPT-4 dê tenê karibe peyamên nivîsê bişîne û bistîne (ne pirmodal). OpenAI hewl dide ku modelên zimên ber bi sînorên xwe ve bikişîne berî ku veguhezîne modelên pirmodal ên mîna DALLE 2, ku ew pêşbînî dikin ku dê di dawiyê de ji pergalên unimodal derbas bibin.
- Sparity: GPT-4, mîna pêşiyên xwe GPT-2 û GPT-3, dê bibe modelek zexm (hemî parametre dê bêne bikar anîn da ku hûn pêvekek diyarkirî bişopînin). Di paşerojê de, kêmbûn dê girîngtir bibe.
- Entegrasyona: GPT-4 dê ji GPT-3 nêzîktir nêzî me bibe. Ew ê tiştê ku ji InstructGPT fêr bûye, ku bi tevlêbûna mirovan ve hatî pêşve xistin, bîne cih. Dîsa jî, lihevhatina AI-ê rêyek dûr e, û hewildan divê bi baldarî bêne nirxandin û ne ku zêde têne kirin.
Xelasî
Îstixbarata Giştî ya Artificial. Ew armancek mezin e, lê pêşdebirên OpenAI dixebitin ku bigihîjin wê. Armanca AGI ev e ku meriv modelek an "ajanek" biafirîne ku karibe her çalakiya ku kesek dikare têbigihîje û bike.
GPT-4 dibe ku di gihîştina vê armancê de gava paşîn be, û ew mîna tiştek ji fîlimek xeyalî ya zanistî xuya dike. Hûn dikarin bipirsin ka ew çiqas realîst e ku meriv bigihîje AGI.
Li gorî Ray Kurzweil, Gerînendeyê Endezyariyê ya Google, em ê heya sala 2029-an bigihîjin vê qonaxê. Di hişê vê yekê de, gava ku em nêzikî AGI (Îstixbarata Giştî ya Artificial) dibin, em ê kûrtir li GPT-4 û encamên vê modelê binêrin.
Leave a Reply