Fizahan-takelaka[Afeno][Aseho]
GPT-3, tambajotra neural lehibe amin'izao fotoana izao, navoaka tamin'ny Mey 2020 nataon'i OpenAI, ilay fanombohana AI niara-naorina tamin'i Elon Musk sy Sam Altman. Ny GPT-3 dia maodely fiteny manara-penitra misy masontsivana 175 lavitrisa raha oharina amin'ny mari-pamantarana 1,5 lavitrisa amin'ny GPT-2 teo alohany.
Ny GPT-3 dia nihoatra ny modely NLG Turing an'ny Microsoft (Turing Natural Language Generation), izay nitazona ny firaketana teo aloha ho an'ny tambajotra neural lehibe indrindra misy marika 17 lavitrisa.
Noderaina sy notsikeraina ary nojerena mihitsy aza ny maodely fiteny; dia niteraka fampiasana vaovao sy mahaliana ihany koa. Ary ankehitriny dia misy ny tatitra fa GPT-4, andiany manaraka amin'ny OpenAI modely fiteny, ho avy tsy ho ela tokoa.
Tonga amin'ny toerana mety ianao raha te hianatra bebe kokoa momba ny GPT-4. Hojerentsika lalina ny GPT-4 ato amin'ity lahatsoratra ity, mandrakotra ny masontsivana, ny fomba ampitahaina amin'ny modely hafa, sy ny maro hafa.
Noho izany, inona ny GPT-4?
Mba hahatakarana ny sahan'ny GPT-4, dia tsy maintsy takatsika aloha ny GPT-3, ny mpialoha lalana azy. GPT-3 (Generative Pre-trained Transformer, taranaka fahatelo) dia fitaovana miteraka votoaty tsy miankina.
Mampiditra data ao anaty a fianarana milina Modely, izay afaka mamokatra soratra be dia be ho valin'izany, araka ny OpenAI. Ny GPT-4 dia ho tsara kokoa amin'ny fanaovana asa maro ao anatin'ny toe-javatra vitsivitsy - karazana fianarana milina - mitondra ny vokatra ho akaiky kokoa ny olombelona.
Ny GPT-3 dia mitentina an-jatony tapitrisa kilao amin'ny fananganana, fa ny GPT-4 dia vinavinaina ho lafo be satria ho avo dimanjato heny ny habeny. Mba hametrahana izany amin'ny fomba fijery,
Ny GPT-4 dia mety manana toetra maro toy ny synapses ao amin'ny atidoha. Ny GPT-4 dia hampiasa fomba mitovy amin'ny GPT-3, noho izany fa tsy ho fitsangantsanganana paradigma, ny GPT-4 dia hanitatra ny zavatra vitan'ny GPT-3 amin'izao fotoana izao - saingy miaraka amin'ny fahaiza-manao lehibe kokoa.
Ny GPT-3 dia namela ny mpampiasa hiditra amin'ny fiteny voajanahary ho an'ny tanjona azo ampiharina, saingy mbola nila fahaiza-manao ihany izy io mba hamoronana bitsika izay hitondra vokatra tsara. Ny GPT-4 dia ho tsara kokoa amin'ny faminaniany ny fikasan'ny mpampiasa.
Inona no ho paramètre GPT-4?
Na dia iray amin'ireo fandrosoan'ny AI andrasan'ny maro aza, tsy misy fantatra momba ny GPT-4: ho toy ny ahoana izy io, inona no toetra ananany, ary inona no hery ananany.
Tamin'ny taon-dasa, nanao Q&A i Altman ary nanambara antsipiriany vitsivitsy momba ny fanirian'ny OpenAI ho an'ny GPT-4. Tsy ho lehibe noho ny GPT-3 izany, hoy i Altman. GPT-4 dia tsy azo inoana fa ny be mpampiasa indrindra modely fiteny. Na dia ny modely ho lehibe raha oharina amin`ny taranaka teo aloha ny ny tambajotra vaovao, ny habeny dia tsy ho toetra mampiavaka azy. GPT-3 sy Gopher no kandida azo inoana indrindra (175B-280B).
Nvidia sy Megatron-Turing NLG an'ny Microsoft no nitazona ny firaketana ny tambajotra neural matevina indrindra masontsivana amin'ny 530B - in-telo ny an'ny GPT-3 - hatramin'ny vao haingana izay ny Google PaLM dia naka izany tamin'ny 540B. Mahagaga fa betsaka ny modely kely kokoa noho ny MT-NLG.
Araka ny filazan'ny fifandraisana amin'ny fahefana, Jared Kaplan sy ny mpiara-miasa amin'ny OpenAI dia nanapa-kevitra tamin'ny taona 2020 fa rehefa mitombo ny teti-bola fanodinana dia mandany ny ankamaroany amin'ny fampitomboana ny isan'ny masontsivana, ny fampisehoana dia manatsara ny lehibe indrindra. Google, Nvidia, Microsoft, OpenAI, DeepMind, ary ireo orinasa mpanamboatra fiteny hafa dia nankatò ny fitsipika.
Nilaza i Altman fa tsy nifantoka tamin'ny fananganana modely goavana intsony izy ireo, fa tamin'ny fampitomboana ny fahombiazan'ny modely kely kokoa.
Ireo mpikaroka OpenAI dia mpanohana voalohany ny vinavinan'ny scaling, saingy mety ho hitan'izy ireo fa ny lalana fanampiny izay tsy mbola hita teo aloha dia mety hitarika modely ambony. Ny GPT-4 dia tsy ho lehibe kokoa noho ny GPT-3 noho ireo antony ireo.
Ny OpenAI dia hametraka fifantohana bebe kokoa amin'ny lafiny hafa, toy ny data, algorithms, parameterization ary fampifanarahana, izay mety hitondra tombony haingana kokoa. Tsy maintsy miandry isika ary hijery izay azon'ny modely misy masontsivana 100T.
Key Points:
- Haben'ny modely: Ny GPT-4 dia ho lehibe kokoa noho ny GPT-3, saingy tsy dia be loatra (MT-NLG 530B sy PaLM 540B). Ny haben'ny modely dia tsy hiavaka.
- Optimality: Ny GPT-4 dia hampiasa loharano maro kokoa noho ny GPT-3. Izy io dia hampihatra ny fomba fijery tsara indrindra amin'ny parameterization (hyperparameters tsara indrindra) sy ny fomba fanamafisam-peo (ny isan'ny mari-pandrefesana dia manan-danja amin'ny haben'ny modely).
- Multimodality: Ny GPT-4 ihany no afaka mandefa sy mandray hafatra an-tsoratra (fa tsy multimodal). OpenAI dia mikatsaka ny hanosika ny modely amin'ny fiteny amin'ny fetrany alohan'ny hifindrany amin'ny maodely multimodal toa azy DALE 2, izay lazain'izy ireo fa hihoatra ny rafitra tsy ara-dalàna amin'ny farany.
- Sparsity: GPT-4, toy ny teo alohany GPT-2 sy GPT-3, dia ho maodely matevina (ny paramètre rehetra dia hampiasaina amin'ny fanodinana ny fampidirana rehetra). Amin'ny ho avy dia ho zava-dehibe kokoa ny sparsity.
- fampifanarahana: Ny GPT-4 dia hanatona antsika akaiky kokoa noho ny GPT-3. Hametraka izay nianarany avy amin'ny InstructGPT, izay novolavolaina tamin'ny fandraisan'ny olombelona. Na izany aza, lavitra ny fifanandrinan'ny AI, ary tokony hodinihina tsara ny ezaka fa tsy ho tafahoatra.
Famaranana
Artificial General Intelligence. Tanjona lehibe izany, fa ny mpamorona OpenAI dia miasa amin'ny fanatanterahana izany. Ny tanjon'ny AGI dia ny hamorona modely na "agent" afaka mahatakatra sy manao izay asa azon'ny olona iray atao.
GPT-4 dia mety ho dingana manaraka amin'ny fanatrarana io tanjona io, ary toa zavatra avy amin'ny sarimihetsika fiction siansa. Mety hanontany tena ianao hoe hatraiza ny tena zava-misy hahazoana ny AGI.
Ho tratrantsika ity dingana ity amin'ny 2029, hoy i Ray Kurzweil, Talen'ny Injeniera Google. Miaraka amin'izany ao an-tsaina, andeha hojerentsika lalindalina kokoa ny GPT-4 sy ny fiafaran'ity modely ity rehefa manakaiky ny AGI (Artificial General Intelligence).
Leave a Reply