Преглед садржаја[Сакрити][Прикажи]
ГПТ-3, велика неуронска мрежа тог тренутка, објављена је у мају 2020 ОпенАИ, АИ стартуп чији су суоснивачи Елон Муск и Сем Алтман. ГПТ-3 је најсавременији модел језика са 175 милијарди параметара у поређењу са 1,5 милијарди параметара у свом претходнику ГПТ-2.
ГПТ-3 је надмашио Мајкрософтов НЛГ Туринг модел (Туринг Натурал Лангуаге Генератион), који је претходно држао рекорд за највећу неуронску мрежу са 17 милијарди параметара.
Језички модел је хваљен, критикован, па чак и испитиван; такође је изнедрио нове и интригантне употребе. А сада постоје извештаји да је ГПТ-4, следеће издање ОпенАИ језички модел, заиста ће ускоро доћи.
Стигли сте на праву локацију ако желите да сазнате више о ГПТ-4. У овом чланку ћемо детаљно погледати ГПТ-4, покривајући његове параметре, како се упоређује са другим моделима и још много тога.
Дакле, шта је ГПТ-4?
Да бисмо разумели опсег ГПТ-4, прво морамо разумети ГПТ-3, његовог претходника. ГПТ-3 (Генеративе Пре-траинед Трансформер, трећа генерација) је аутономни алат за генерисање садржаја.
Корисници уносе податке у а Машина учење модел, који може накнадно произвести огромне количине релевантног писања као одговор, према ОпенАИ. ГПТ-4 ће бити знатно бољи у мултитаскингу у условима са неколико снимака - врста Машина учење – још више приближавајући резултате онима код људи.
Израда ГПТ-3 кошта стотине милиона фунти, али се предвиђа да ће ГПТ-4 коштати знатно више јер ће бити петсто пута већи по обиму. Да ово ставим у перспективу,
ГПТ-4 може имати онолико карактеристика колико и синапсе у мозгу. ГПТ-4 ће углавном користити исте методе као ГПТ-3, тако да уместо да буде парадигмски скок, ГПТ-4 ће проширити оно што ГПТ-3 тренутно постиже — али са знатно већом способношћу закључивања.
ГПТ-3 је омогућио корисницима да уђу у природни језик у практичне сврхе, али је и даље било потребно одређено знање да би се дизајнирао промпт који би дао добре резултате. ГПТ-4 ће бити знатно бољи у предвиђању намера корисника.
Који ће бити параметри ГПТ-4?
Упркос томе што је један од најишчекиванијих напретка АИ, ништа се не зна о ГПТ-4: како ће изгледати, које карактеристике ће имати и које ће моћи имати.
Прошле године, Алтман је урадио питања и одговоре и открио неколико детаља о ОпенАИ-јевим амбицијама за ГПТ-4. Према Алтману, не би био већи од ГПТ-3. Мало је вероватно да ће ГПТ-4 бити најчешће коришћен језички модел. Иако ће модел бити огроман у поређењу са претходним генерацијама неуронске мреже, његова величина неће бити његова препознатљива карактеристика. ГПТ-3 и Гопхер су највероватнији кандидати (175Б-280Б).
Нвидиа и Мицрософт-ов Мегатрон-Туринг НЛГ држали су рекорд за најгушћа неуронска мрежа параметри на 530Б – три пута више од ГПТ-3 – све до недавно када га је Гуглов ПаЛМ узео на 540Б. Изненађујуће, гомила мањих модела надмашила је МТ-НЛГ.
Према законској вези, Џаред Каплан из ОпенАИ-а и колеге су утврдили 2020. да када се повећања буџета за обраду троше углавном на повећање броја параметара, перформансе се највише побољшавају. Гоогле, Нвидиа, Мицрософт, ОпенАИ, ДеепМинд и друге компаније за моделирање језика послушно су поштовале прописе.
Алтман је указао да се више не концентришу на конструисање масивних модела, већ на максимизирање перформанси мањих модела.
ОпенАИ истраживачи су били рани заговорници хипотезе о скалирању, али су можда открили да додатни, претходно неоткривени путеви могу довести до супериорних модела. ГПТ-4 неће бити значајно већи од ГПТ-3 из ових разлога.
ОпенАИ ће ставити већи фокус на друге аспекте, као што су подаци, алгоритми, параметризација и усклађивање, који имају потенцијал да брже донесу значајне предности. Мораћемо да сачекамо и видимо шта модел са параметрима од 100Т може да уради.
Кључне тачке:
- Величина модела: ГПТ-4 ће бити већи од ГПТ-3, али не много (МТ-НЛГ 530Б и ПаЛМ 540Б). Величина модела ће бити неупадљива.
- Оптималност: ГПТ-4 ће користити више ресурса од ГПТ-3. Он ће имплементирати нове увиде у оптималност у параметризацију (оптимални хиперпараметри) и методе скалирања (број токена за обуку је важан колико и величина модела).
- Мултимодалност: ГПТ-4 ће моћи да шаље и прима само текстуалне поруке (не мултимодалне). ОпенАИ настоји да гурне језичке моделе до њихових граница пре преласка на мултимодалне моделе као што су ДАЛЛЕ 2, за који предвиђају да ће на крају надмашити унимодалне системе.
- Спарсити: ГПТ-4, као и његови претходници ГПТ-2 и ГПТ-3, биће густ модел (сви параметри ће се користити за обраду било ког датог уноса). У будућности ће реткост постати важнија.
- Сврставање: ГПТ-4 ће нам се приближити ближе него ГПТ-3. Ставиће оно што је научио од ИнструцтГПТ-а, који је развијен уз помоћ људи. Ипак, конвергенција АИ је далеко, а напоре треба пажљиво процењивати, а не преувеличавати.
Zakljucak
Вештачка општа интелигенција. То је велики циљ, али ОпенАИ програмери раде на томе да га остваре. Циљ АГИ је да створи модел или „агента“ способног да разуме и обави било коју активност коју особа може.
ГПТ-4 може бити следећи корак у постизању овог циља, и звучи као нешто из научнофантастичног филма. Могли бисте се запитати колико је реално постићи АГИ.
Ову прекретницу ћемо достићи до 2029. године, каже Реј Курцвајл, Гоогле-ов директор инжењеринга. Имајући ово на уму, хајде да дубље погледамо ГПТ-4 и последице овог модела док се приближавамо АГИ (вештачкој општој интелигенцији).
Ostavite komentar