Բառը[Թաքցնել][Ցուցադրում]
GPT-3-ը՝ պահի մեծ նեյրոնային ցանցը, հրապարակվել է 2020 թվականի մայիսին OpenAI, AI ստարտափը, որի համահիմնադիրներն են Էլոն Մասքը և Սեմ Ալթմանը։ GPT-3-ը ժամանակակից լեզվական մոդել է, որն ունի 175 միլիարդ պարամետր՝ իր նախորդի՝ GPT-1,5-ի 2 միլիարդ պարամետրի համեմատ:
GPT-3-ը գերազանցեց Microsoft-ի NLG Turing մոդելին (Turing Natural Language Generation), որը նախկինում 17 միլիարդ պարամետրով ամենամեծ նեյրոնային ցանցի ռեկորդն էր:
Լեզվի մոդելը գնահատվել է, քննադատվել և նույնիսկ մանրակրկիտ ուսումնասիրվել; այն նաև առաջացրել է նոր և հետաքրքիր կիրառումներ: Եվ հիմա տեղեկություններ կան, որ GPT-4-ը՝ OpenAI-ի հաջորդ հրատարակությունը լեզվի մոդել, իսկապես շուտով կլինի:
Դուք ճիշտ կայք եք ժամանել, եթե ցանկանում եք ավելին իմանալ GPT-4-ի մասին: Այս հոդվածում մենք մանրամասն կանդրադառնանք GPT-4-ին, կներկայացնենք դրա պարամետրերը, ինչպես է այն համեմատվում այլ մոդելների հետ և այլն:
Այսպիսով, ինչ է GPT-4-ը:
GPT-4-ի շրջանակը հասկանալու համար մենք նախ պետք է հասկանանք GPT-3-ը՝ դրա նախորդը: GPT-3 (Generative Pre-trained Transformer, երրորդ սերնդի) բովանդակություն ստեղծող ինքնավար գործիք է:
Օգտագործողները տվյալները մուտքագրում են ա Machine Learning մոդելը, որը կարող է հետագայում արտադրել հսկայական քանակությամբ համապատասխան գրություններ՝ ի պատասխան, ըստ OpenAI-ի: GPT-4-ը զգալիորեն ավելի լավ կլինի բազմաբնույթ առաջադրանք կատարելիս մի քանի կրակոցների պայմաններում՝ մի տեսակ Machine Learning – արդյունքներն էլ ավելի մոտեցնելով մարդկանց արդյունքներին:
GPT-3-ի կառուցումն արժե հարյուր միլիոնավոր ֆունտ ստերլինգ, սակայն կանխատեսվում է, որ GPT-4-ը զգալիորեն ավելի թանկ կարժենա, քանի որ այն հինգ հարյուր անգամ ավելի մեծ կլինի իր մասշտաբով: Սա պատկերացնելու համար,
GPT-4-ը կարող է ունենալ այնքան բնութագրեր, որքան ուղեղի սինապսները: GPT-4-ը հիմնականում կկիրառի նույն մեթոդները, ինչ GPT-3-ը, հետևաբար, ոչ թե պարադիգմային թռիչք լինելու, GPT-4-ը կընդլայնի այն, ինչ ներկայումս իրականացնում է GPT-3-ը, բայց զգալիորեն ավելի մեծ եզրակացության կարողությամբ:
GPT-3-ը թույլ էր տալիս օգտատերերին բնական լեզու մուտքագրել գործնական նպատակներով, սակայն այն դեռևս որոշակի փորձաքննության կարիք ուներ՝ լավ արդյունքներ տալու համար հուշում մշակելու համար: GPT-4-ը զգալիորեն ավելի լավ կլինի կանխատեսել օգտատերերի մտադրությունները:
Որո՞նք են լինելու GPT-4 պարամետրերը:
Չնայած արհեստական ինտելեկտի ամենասպասված նվաճումներից մեկն է, GPT-4-ի մասին ոչինչ հայտնի չէ՝ ինչպիսին կլինի այն, ինչ հատկանիշներ և ինչ ուժ կունենա:
Անցյալ տարի Ալթմանը հարց ու պատասխան արեց և մի քանի մանրամասներ բացահայտեց OpenAI-ի GPT-4-ի հավակնությունների մասին: Ըստ Ալթմանի, այն GPT-3-ից ոչ ավելի մեծ կլիներ: GPT-4-ը դժվար թե ամենաշատ օգտագործվողը լինի լեզվի մոդել. Չնայած մոդելը կլինի հսկայական՝ համեմատած նախորդ սերունդների հետ նյարդային ցանցեր, նրա չափը չի լինի նրա տարբերակիչ հատկանիշը։ GPT-3-ը և Gopher-ը ամենահավանական թեկնածուներն են (175B-280B):
Nvidia-ն և Microsoft-ի Megatron-Turing NLG-ն ռեկորդակիր էին ամենախիտ նյարդային ցանցը պարամետրերը 530B-ում` երեք անգամ ավելի, քան GPT-3-ը, մինչև վերջերս, երբ Google-ի PaLM-ն այն վերցրեց 540B: Զարմանալիորեն, մի շարք փոքր մոդելներ գերազանցեցին MT-NLG-ին:
Համաձայն իշխանություն-օրենք կապի, OpenAI-ի Ջարեդ Կապլանը և գործընկերները 2020 թվականին որոշեցին, որ երբ բյուջեի ավելացումների մշակումը հիմնականում ծախսվում է պարամետրերի քանակի ավելացման վրա, կատարողականությունը առավելագույնս բարելավվում է: Google-ը, Nvidia-ն, Microsoft-ը, OpenAI-ը, DeepMind-ը և լեզուների մոդելավորման այլ ընկերությունները հնազանդորեն հետևում էին կանոնակարգերին:
Ալթմանը նշեց, որ իրենք այլևս չեն կենտրոնանում զանգվածային մոդելների կառուցման վրա, այլ ավելի շուտ փոքր մոդելների արդյունավետությունը առավելագույնի հասցնելու վրա:
OpenAI-ի հետազոտողները մասշտաբային վարկածի վաղ կողմնակիցներն էին, բայց նրանք կարող էին հայտնաբերել, որ լրացուցիչ, նախկինում չբացահայտված ուղիները կարող են հանգեցնել բարձրակարգ մոդելների: Այս պատճառներով GPT-4-ը զգալիորեն ավելի մեծ չի լինի, քան GPT-3-ը:
OpenAI-ն ավելի մեծ ուշադրություն կդարձնի այլ ասպեկտների վրա, ինչպիսիք են տվյալները, ալգորիթմները, պարամետրացումը և հավասարեցումը, որոնք կարող են ավելի արագ զգալի օգուտներ բերել: Մենք պետք է սպասենք և տեսնենք, թե ինչ կարող է անել 100T պարամետրերով մոդելը:
Հիմնական միավորներ.
- Մոդելի չափըGPT-4-ն ավելի մեծ կլինի, քան GPT-3-ը, բայց ոչ շատ (MT-NLG 530B և PaLM 540B): Մոդելի չափսերն աննկատ կլինեն։
- ՕպտիմալությունGPT-4-ը կօգտագործի ավելի շատ ռեսուրսներ, քան GPT-3-ը: Այն կիրականացնի նոր օպտիմալության պատկերացումներ պարամետրացման (օպտիմալ հիպերպարամետրեր) և մասշտաբավորման մեթոդների վերաբերյալ (ուսուցման նշանների քանակը նույնքան կարևոր է, որքան մոդելի չափը):
- ԲազմամոդալությունGPT-4-ը կկարողանա ուղարկել և ստանալ միայն տեքստային հաղորդագրություններ (ոչ մուլտիմոդալ): OpenAI-ը փորձում է լեզվական մոդելները հասցնել իրենց սահմանների՝ նախքան նման մուլտիմոդալ մոդելների անցնելը ԴԱԼ 2, որը, ըստ նրանց կանխատեսումների, ի վերջո կգերազանցի միամոդալ համակարգերին:
- ՍփրիկությունGPT-4-ը, ինչպես իր նախորդները՝ GPT-2-ը և GPT-3-ը, կլինի խիտ մոդել (բոլոր պարամետրերը կօգտագործվեն ցանկացած տվյալ մուտքագրման մշակման համար): Հետագայում սակավությունը ավելի կարևոր կդառնա։
- ՀավասարեցումGPT-4-ը մեզ ավելի մոտ կմոտենա, քան GPT-3-ը: Այն կտեղադրի այն, ինչ սովորել է InstructGPT-ից, որը մշակվել է մարդկային ներդրմամբ: Այնուամենայնիվ, AI-ի մերձեցումը հեռու է, և ջանքերը պետք է ուշադիր գնահատվեն, այլ ոչ թե չափազանցվեն:
Եզրափակում
Արհեստական ընդհանուր հետախուզություն. Դա մեծ նպատակ է, բայց OpenAI-ի մշակողները աշխատում են դրան հասնելու համար: AGI-ի նպատակն է ստեղծել մոդել կամ «գործակալ», որը կարող է հասկանալ և կատարել ցանկացած գործունեություն, որը մարդը կարող է:
GPT-4-ը կարող է լինել այս նպատակին հասնելու հաջորդ քայլը, և այն հնչում է գիտաֆանտաստիկ ֆիլմից դուրս: Դուք կարող եք մտածել, թե որքանով է իրատեսական AGI-ին հասնելը:
Google-ի ճարտարագիտության տնօրեն Ռեյ Կուրցվեյլի խոսքերով, մենք կհասնենք այս նշաձողին մինչև 2029 թվականը: Սա նկատի ունենալով, եկեք ավելի խորը նայենք GPT-4-ին և այս մոդելի հետևանքներին, երբ մոտենում ենք AGI-ին (Արհեստական ընդհանուր հետախուզություն):
Թողնել գրառում