Содржина[Крие][Прикажи]
GPT-3, големата невронска мрежа на моментот, беше објавена во мај 2020 година од OpenAI, стартапот за вештачка интелигенција, коосновач на Илон Маск и Сем Алтман. GPT-3 е најсовремен јазичен модел со 175 милијарди параметри во споредба со 1,5 милијарди параметри во неговиот претходник GPT-2.
GPT-3 го надмина NLG Turing моделот на Microsoft (Turing Natural Language Generation), кој претходно го држеше рекордот за најголема невронска мрежа со 17 милијарди параметри.
Јазичниот модел е пофален, критикуван, па дури и под лупа; тоа, исто така, предизвика нови и интригантни употреби. И сега има извештаи дека GPT-4, следното издание на OpenAI јазичен модел, навистина ќе дојде наскоро.
Стигнавте на вистинската локација ако сакате да дознаете повеќе за GPT-4. Ќе го разгледаме GPT-4 детално во оваа статија, покривајќи ги неговите параметри, како се споредува со другите модели и многу повеќе.
Значи, што е GPT-4?
За да го разбереме опсегот на GPT-4, прво мора да го разбереме GPT-3, неговиот претходник. GPT-3 (Генеративен претходно обучен трансформатор, трета генерација) е автономна алатка за генерирање содржина.
Корисниците внесуваат податоци во a машинско учење модел, кој последователно може да произведе огромни количини на релевантно пишување како одговор, според OpenAI. GPT-4 ќе биде значително подобар во мултитаскинг во услови на неколку снимки - еден вид на машинско учење – доближување на резултатите до оние на луѓето.
GPT-3 чини стотици милиони фунти за да се изгради, но GPT-4 се предвидува дека ќе чини значително повеќе бидејќи ќе биде петстотини пати поголем во обем. За да го ставиме ова во перспектива,
GPT-4 може да има исто толку карактеристики како синапсите во мозокот. GPT-4 главно ќе ги користи истите методи како GPT-3, така што наместо да биде парадигмален скок, GPT-4 ќе се прошири на она што GPT-3 моментално го постигнува - но со значително поголема способност за заклучување.
GPT-3 им овозможи на корисниците да внесуваат природен јазик за практични цели, но сепак му беше потребна одредена експертиза за да се дизајнира известување што ќе даде добри резултати. GPT-4 ќе биде значително подобар во предвидувањето на намерите на корисниците.
Кои ќе бидат параметрите на GPT-4?
И покрај тоа што е еден од најочекуваните достигнувања на вештачката интелигенција, ништо не се знае за GPT-4: како ќе изгледа, какви карактеристики ќе има и какви моќи ќе има.
Минатата година, Алтман направи прашања и одговори и откри неколку детали за амбициите на OpenAI за GPT-4. Тоа не би било поголемо од GPT-3, според Алтман. GPT-4 веројатно нема да биде најшироко користен јазичен модел. Иако моделот ќе биде огромен во споредба со претходните генерации нервните мрежи, неговата големина нема да биде нејзина карактеристична карактеристика. GPT-3 и Gopher се најверодостојните кандидати (175B-280B).
Nvidia и Megatron-Turing NLG на Мајкрософт го држеа рекордот за најгуста нервна мрежа параметри на 530B - три пати повеќе од GPT-3 - до неодамна кога Google's PaLM го зеде на 540B. Изненадувачки, многу помали модели ги надминаа MT-NLG.
Според врската со законот за моќ, Џаред Каплан и колегите од OpenAI утврдија во 2020 година дека кога процесирањето на зголемувањата на буџетот се троши најмногу на зголемување на бројот на параметри, перформансите најмногу се подобруваат. Google, Nvidia, Microsoft, OpenAI, DeepMind и другите компании за моделирање јазици послушно ги следеа прописите.
Алтман посочи дека тие повеќе не се концентрираат на конструирање масивни модели, туку на максимизирање на перформансите на помалите модели.
Истражувачите на OpenAI беа рани поборници на хипотезата за скалирање, но тие можеби открија дека дополнителните, претходно неоткриени патеки може да доведат до супериорни модели. GPT-4 нема да биде значително поголем од GPT-3 поради овие причини.
OpenAI ќе стави поголем фокус на други аспекти, како што се податоците, алгоритмите, параметаризацијата и усогласувањето, кои имаат потенцијал побрзо да донесат значителни придобивки. Ќе треба да почекаме и да видиме што може да направи модел со 100T параметри.
Клучните точки:
- Големина на моделот: GPT-4 ќе биде поголем од GPT-3, но не многу (MT-NLG 530B и PaLM 540B). Големината на моделот ќе биде незабележителна.
- Оптималност: GPT-4 ќе користи повеќе ресурси од GPT-3. Ќе имплементира нови сознанија за оптималноста во параметриизацијата (оптимални хиперпараметри) и методите на скалирање (бројот на токени за обука е исто толку важен колку и големината на моделот).
- Мултимодалност: GPT-4 ќе може да испраќа и прима само текстуални пораки (не мултимодални). OpenAI се обидува да ги придвижи јазичните модели до нивните граници пред да премине кон мултимодални модели како ДЕЈЛ 2, што тие предвидуваат на крајот ќе ги надмине унимодалните системи.
- Спарси: GPT-4, како и неговите претходници GPT-2 и GPT-3, ќе биде густ модел (сите параметри ќе се користат за обработка на секој даден влез). Во иднина, оскудноста ќе стане поважна.
- Усогласување: GPT-4 ќе ни пријде поблиску од GPT-3. Ќе го стави она што го научи од InstructGPT, кој беше развиен со човечки придонес. Сепак, конвергенцијата на вештачката интелигенција е далеку и напорите треба внимателно да се проценат наместо да се преувеличуваат.
Заклучок
Вештачка општа интелигенција. Тоа е голема цел, но програмерите на OpenAI работат на тоа да ја постигнат. Целта на AGI е да создаде модел или „агент“ способен да разбере и да прави каква било активност што може да ја направи една личност.
GPT-4 можеби е следниот чекор во постигнувањето на оваа цел и звучи како нешто од научно-фантастичен филм. Може да се прашувате колку е реално да се постигне AGI.
Ќе ја достигнеме оваа пресвртница до 2029 година, според Реј Курцвеил, директор за инженерство на Google. Имајќи го ова на ум, ајде да го разгледаме подлабоко GPT-4 и последиците од овој модел додека се приближуваме до AGI (Вештачка општа интелигенција).
Оставете Одговор