Змест[Схаваць][Паказаць]
GPT-3, буйная нейронная сетка на дадзены момант, была апублікаваная ў маі 2020 г OpenAI, стартап AI, сузаснавальнікамі якога з'яўляюцца Ілон Маск і Сэм Альтман. GPT-3 - гэта перадавая мадэль мовы са 175 мільярдамі параметраў у параўнанні з 1,5 мільярдамі параметраў у папярэдніка GPT-2.
GPT-3 перасягнуў мадэль Microsoft NLG Turing (Turing Natural Language Generation), якая раней трымала рэкорд самай вялікай нейронавай сеткі з 17 мільярдамі параметраў.
Моўную мадэль хвалілі, крытыкавалі і нават старанна разглядалі; гэта таксама спарадзіла новыя і інтрыгуючыя спосабы выкарыстання. І цяпер ёсць паведамленні, што GPT-4, наступнае выданне OpenAI моўная мадэль, сапраўды хутка з'явіцца.
Вы прыйшлі на правільны сайт, калі хочаце даведацца больш пра GPT-4. Мы падрабязна разгледзім GPT-4 у гэтым артыкуле, ахопліваючы яго параметры, яго параўнанне з іншымі мадэлямі і многае іншае.
Такім чынам, што такое GPT-4?
Каб зразумець сферу прымянення GPT-4, мы павінны спачатку зразумець GPT-3, яго папярэдніка. GPT-3 (Generative Pre-trained Transformer, трэцяе пакаленне) - гэта аўтаномны інструмент генерацыі кантэнту.
Карыстальнікі ўводзяць дадзеныя ў a навучанне з дапамогай машыны мадэль, якая пасля можа ствараць велізарную колькасць адпаведнага пісьма ў адказ, згодна з OpenAI. GPT-4 будзе значна лепш выконваць шматзадачнасць ва ўмовах некалькіх стрэлаў - тып навучанне з дапамогай машыны – яшчэ больш набліжаючы вынікі да чалавечых.
Будаўніцтва GPT-3 каштуе сотні мільёнаў фунтаў стэрлінгаў, але, паводле прагнозаў, GPT-4 будзе каштаваць значна даражэй, таму што яго маштаб будзе ў пяцьсот разоў большы. Каб разгледзець гэта ў перспектыве,
GPT-4 можа мець столькі характарыстык, колькі і сінапсы ў галаўным мозгу. GPT-4 у асноўным будзе выкарыстоўваць тыя ж метады, што і GPT-3, такім чынам, замест таго, каб быць скачка парадыгмы, GPT-4 будзе пашыраць тое, што GPT-3 выконвае ў цяперашні час - але са значна большай магчымасцю вываду.
GPT-3 дазваляў карыстальнікам уводзіць натуральную мову для практычных мэтаў, але ўсё яшчэ патрабаваўся пэўны вопыт, каб распрацаваць падказку, якая дасць добрыя вынікі. GPT-4 будзе значна лепш прадказваць намеры карыстальнікаў.
Якія будуць параметры GPT-4?
Нягледзячы на тое, што GPT-4 з'яўляецца адным з самых чаканых дасягненняў штучнага інтэлекту, нічога не вядома пра GPT-XNUMX: як ён будзе выглядаць, якімі характарыстыкамі і якімі паўнамоцтвамі будзе валодаць.
У мінулым годзе Альтман зрабіў пытанні і адказы і раскрыў некалькі дэталяў аб амбіцыях OpenAI адносна GPT-4. Па словах Альтмана, ён будзе не большы за GPT-3. GPT-4 наўрад ці будзе самым распаўсюджаным моўная мадэль. Хоць мадэль будзе велізарнай у параўнанні з папярэднімі пакаленнямі нейронавыя сеткі, яго памер не будзе яго адметнай характарыстыкай. GPT-3 і Gopher - найбольш верагодныя кандыдаты (175B-280B).
Nvidia і Microsoft Megatron-Turing NLG трымалі рэкорд самая шчыльная нейронавая сетка параметры ў 530B - у тры разы больш, чым у GPT-3 - да нядаўняга часу, калі Google PaLM прыняў яго ў 540B. Дзіўна, але шэраг меншых мадэляў перасягнулі MT-NLG.
Паводле ступенчатай сувязі Джарэд Каплан і яго калегі з OpenAI вызначылі ў 2020 годзе, што калі павелічэнне бюджэту апрацоўкі траціцца ў асноўным на павелічэнне колькасці параметраў, прадукцыйнасць павышаецца найбольш. Google, Nvidia, Microsoft, OpenAI, DeepMind і іншыя кампаніі па мадэляванні мовы паслухмяна выконвалі правілы.
Альтман адзначыў, што яны больш не канцэнтруюцца на пабудове масіўных мадэляў, а хутчэй на максімізацыі прадукцыйнасці меншых мадэляў.
Даследчыкі OpenAI былі раннімі прыхільнікамі гіпотэзы аб маштабаванні, але яны, магчыма, выявілі, што дадатковыя, раней не адкрытыя шляхі могуць прывесці да лепшых мадэляў. Па гэтых прычынах GPT-4 не будзе значна большым за GPT-3.
OpenAI будзе надаваць больш увагі іншым аспектам, такім як даныя, алгарытмы, параметрізацыя і выраўноўванне, якія могуць хутчэй даць значныя перавагі. Давядзецца пачакаць і паглядзець, што можа зрабіць мадэль з параметрамі 100T.
Ключавыя моманты:
- Памер мадэлі: GPT-4 будзе больш, чым GPT-3, але ненашмат (MT-NLG 530B і PaLM 540B). Памер мадэлі будзе нічым не характэрны.
- Аптымальнасць: GPT-4 будзе выкарыстоўваць больш рэсурсаў, чым GPT-3. Ён будзе рэалізоўваць новае разуменне аптымальнасці параметрызацыі (аптымальныя гіперпараметры) і метады маштабавання (колькасць навучальных токенаў гэтак жа важная, як і памер мадэлі).
- Мультымадальнасць: GPT-4 зможа адпраўляць і атрымліваць толькі тэкставыя паведамленні (не мультымадальныя). OpenAI імкнецца падштурхнуць моўныя мадэлі да іх межаў перад пераходам да мультымадальных мадэляў, такіх як ДАЛЛЕ 2, якія, па іх прагнозах, у канчатковым выніку пераўзыдуць унімадальныя сістэмы.
- Разрэджанасць: GPT-4, як і яго папярэднікі GPT-2 і GPT-3, будзе шчыльнай мадэллю (усе параметры будуць выкарыстоўвацца для апрацоўкі любога ўводу). У будучыні разрэджанасць стане больш важнай.
- Выраўноўванне: GPT-4 падыдзе да нас больш блізка, чым GPT-3. Ён будзе выкарыстоўваць тое, што даведаўся з InstructGPT, які быў распрацаваны з удзелам чалавека. Тым не менш, канвергенцыя штучнага інтэлекту яшчэ далёкая, і намаганні трэба ўважліва ацэньваць, а не перабольшваць.
заключэнне
Штучны агульны інтэлект. Гэта вялікая мэта, але распрацоўшчыкі OpenAI працуюць над яе дасягненнем. Мэта AGI - стварыць мадэль або "агента", здольнага разумець і выконваць любую дзейнасць, якую можа чалавек.
GPT-4 можа быць наступным крокам у дасягненні гэтай мэты, і гэта гучыць як нешта з навукова-фантастычнага фільма. Вам можа быць цікава, наколькі рэальна дасягнуць AGI.
Па словах Рэя Курцвейла, інжынернага дырэктара Google, мы дасягнем гэтай вехі да 2029 года. Маючы гэта на ўвазе, давайце глыбей разгледзім GPT-4 і разгалінаванні гэтай мадэлі, калі мы набліжаемся да AGI (Агульны штучны інтэлект).
Пакінуць каментар