Talaan ng nilalaman[Tago][Ipakita]
Ang GPT-3, ang malaking neural network sa kasalukuyan, ay na-publish noong Mayo 2020 ni OpenAI, ang AI startup na itinatag nina Elon Musk at Sam Altman. Ang GPT-3 ay isang cutting-edge na modelo ng wika na may 175 bilyong mga parameter kumpara sa 1,5 bilyong mga parameter sa hinalinhan nitong GPT-2.
Naungusan ng GPT-3 ang modelo ng NLG Turing ng Microsoft (Turing Natural Language Generation), na dati nang may hawak ng record para sa pinakamalaking neural network na may 17 bilyong parameter.
Ang modelo ng wika ay pinuri, pinuna, at sinuri pa nga; ito rin ay nagbunga ng mga bago at nakakaintriga na gamit. At ngayon ay may mga ulat na ang GPT-4, ang susunod na edisyon ng OpenAI modelo ng wika, paparating na talaga.
Nakarating ka sa tamang site kung gusto mong matuto nang higit pa tungkol sa GPT-4. Titingnan natin ang GPT-4 nang malalim sa artikulong ito, na sumasaklaw sa mga parameter nito, kung paano ito inihahambing sa iba pang mga modelo, at higit pa.
Kaya, Ano ang GPT-4?
Upang maunawaan ang saklaw ng GPT-4, kailangan muna nating maunawaan ang GPT-3, ang pasimula nito. Ang GPT-3 (Generative Pre-trained Transformer, ikatlong henerasyon) ay isang autonomous na tool sa pagbuo ng nilalaman.
Ang mga gumagamit ay naglalagay ng data sa a machine learning modelo, na maaaring makabuo ng napakalaking halaga ng nauugnay na pagsulat bilang tugon, ayon sa OpenAI. Ang GPT-4 ay magiging mas mahusay sa multitasking sa mga kundisyon ng few-shot — isang uri ng machine learning – pinalalapit ang mga kinalabasan sa mga tao.
Ang GPT-3 ay nagkakahalaga ng daan-daang milyong libra upang itayo, ngunit ang GPT-4 ay hinuhulaan na mas malaki ang halaga dahil ito ay magiging limang daang beses na mas malaki sa sukat. Upang ilagay ito sa pananaw,
Ang GPT-4 ay maaaring magkaroon ng maraming katangian gaya ng mga synapses sa utak. Pangunahing gagamitin ng GPT-4 ang parehong mga pamamaraan tulad ng GPT-3, kaya sa halip na maging isang paradigm leap, lalawak ang GPT-4 sa kung ano ang kasalukuyang nagagawa ng GPT-3 — ngunit may higit na mas mataas na kakayahan sa paghihinuha.
Pinahintulutan ng GPT-3 ang mga user na magpasok ng natural na wika para sa mga praktikal na layunin, ngunit kailangan pa rin nito ng ilang kadalubhasaan upang magdisenyo ng prompt na magbubunga ng magagandang resulta. Ang GPT-4 ay magiging mas mahusay sa paghula sa mga intensyon ng mga user.
Ano ang magiging mga parameter ng GPT-4?
Sa kabila ng pagiging isa sa pinakahihintay na pagsulong ng AI, walang nalalaman tungkol sa GPT-4: kung ano ang magiging hitsura nito, kung ano ang mga katangian nito, at kung anong mga kapangyarihan ang magkakaroon nito.
Noong nakaraang taon, gumawa ng Q&A si Altman at nagpahayag ng ilang detalye tungkol sa mga ambisyon ng OpenAI para sa GPT-4. Ito ay hindi hihigit sa GPT-3, ayon kay Altman. Ang GPT-4 ay malamang na hindi ang pinakamalawak na ginagamit modelo ng wika. Kahit na ang modelo ay magiging napakalaki kumpara sa mga nakaraang henerasyon ng neural network, ang laki nito ay hindi magiging natatanging katangian nito. Ang GPT-3 at Gopher ay ang pinaka-kapanipaniwalang mga kandidato (175B-280B).
Hawak ng Nvidia at Megatron-Turing NLG ng Microsoft ang record para sa pinakamakapal na neural network mga parameter sa 530B – tatlong beses kaysa sa GPT-3 – hanggang kamakailan noong kinuha ito ng PaLM ng Google sa 540B. Nakapagtataka, ang dami ng mas kaunting mga modelo ay nalampasan ang MT-NLG.
Ayon sa isang koneksyon sa kapangyarihan-batas, natukoy ni Jared Kaplan ng OpenAI at mga kasamahan noong 2020 na kapag ang pagpoproseso ng mga pagtaas ng badyet ay ginugugol halos lahat sa pagtaas ng bilang ng mga parameter, ang pagganap ay nagpapabuti ng pinakamahusay. Ang Google, Nvidia, Microsoft, OpenAI, DeepMind, at iba pang kumpanya ng pagmomodelo ng wika ay masunuring sumunod sa mga regulasyon.
Ipinahiwatig ni Altman na hindi na sila nagtutuon ng pansin sa pagbuo ng napakalaking modelo, kundi sa pag-maximize ng pagganap ng mas maliliit na modelo.
Ang mga mananaliksik ng OpenAI ay mga naunang tagapagtaguyod ng scaling hypothesis, ngunit maaaring natuklasan nila na ang mga karagdagang, dati nang hindi natuklasang mga landas ay maaaring humantong sa mga mahuhusay na modelo. Ang GPT-4 ay hindi magiging mas malaki kaysa sa GPT-3 para sa mga kadahilanang ito.
Ang OpenAI ay maglalagay ng higit na pagtuon sa iba pang aspeto, gaya ng data, algorithm, parameterization, at alignment, na may potensyal na magbunga ng makabuluhang benepisyo nang mas mabilis. Kakailanganin nating maghintay at tingnan kung ano ang magagawa ng isang modelong may 100T na mga parameter.
Pangunahing puntos:
- Laki ng modelo: Ang GPT-4 ay magiging mas malaki kaysa sa GPT-3, ngunit hindi gaanong (MT-NLG 530B at PaLM 540B). Ang laki ng modelo ay magiging hindi kapansin-pansin.
- Optimality: Ang GPT-4 ay gagamit ng mas maraming mapagkukunan kaysa sa GPT-3. Magpapatupad ito ng mga bagong insight sa optimality sa parameterization (mga pinakamainam na hyperparameter) at mga pamamaraan ng scaling (bilang ng mga token ng pagsasanay ay kasinghalaga ng laki ng modelo).
- Multimodality: Ang GPT-4 ay makakapagpadala at makakatanggap lamang ng mga text message (hindi multimodal). Hinahangad ng OpenAI na itulak ang mga modelo ng wika sa kanilang mga limitasyon bago lumipat sa mga multimodal na modelo tulad ng SLAB 2, na hinuhulaan nilang malalampasan nila ang mga unimodal system.
- Kawakasan: Ang GPT-4, tulad ng mga nauna nitong GPT-2 at GPT-3, ay magiging isang siksik na modelo (lahat ng mga parameter ay gagamitin upang iproseso ang anumang ibinigay na input). Sa hinaharap, ang sparsity ay magiging mas mahalaga.
- Pagkakahanay: Lalapit sa amin ang GPT-4 nang mas malapit kaysa sa GPT-3. Ilalagay nito ang natutunan nito mula sa InstructGPT, na binuo gamit ang input ng tao. Gayunpaman, ang AI convergence ay malayo pa, at ang mga pagsisikap ay dapat na maingat na tasahin sa halip na palakihin.
Konklusyon
Artipisyal na Pangkalahatang Katalinuhan. Ito ay isang malaking layunin, ngunit ang mga developer ng OpenAI ay nagtatrabaho upang makamit ito. Ang layunin ng AGI ay lumikha ng isang modelo o "ahente" na may kakayahang umunawa at gumawa ng anumang aktibidad na magagawa ng isang tao.
Ang GPT-4 ay maaaring ang susunod na hakbang sa pagkamit ng layuning ito, at ito ay parang isang bagay mula sa isang science fiction na pelikula. Maaaring nagtataka ka kung gaano katotoo ang pagkamit ng AGI.
Aabot tayo sa milestone na ito sa 2029, ayon kay Ray Kurzweil, Direktor ng Engineering ng Google. Sa pag-iisip na ito, tingnan natin ang GPT-4 at ang mga epekto ng modelong ito habang papalapit tayo sa AGI (Artificial General Intelligence).
Mag-iwan ng Sagot