Содержание[Скрывать][Показывать]
GPT-3, большая нейронная сеть на данный момент, была опубликована в мае 2020 года компанией OpenAI, стартап в области искусственного интеллекта, соучредителями которого являются Илон Маск и Сэм Альтман. GPT-3 — это передовая языковая модель со 175 миллиардами параметров по сравнению с 1,5 миллиардами параметров в его предшественнике GPT-2.
GPT-3 превзошла модель Microsoft NLG Turing (Turing Natural Language Generation), которая ранее была рекордсменом для самой большой нейронной сети с 17 миллиардами параметров.
Языковую модель хвалили, критиковали и даже тщательно изучали; он также породил новые и интригующие применения. И теперь есть сообщения, что GPT-4, следующая редакция OpenAI языковая модель, действительно скоро появится.
Вы попали на правильный сайт, если хотите узнать больше о GPT-4. В этой статье мы подробно рассмотрим GPT-4, рассмотрим его параметры, сравнение с другими моделями и многое другое.
Итак, что такое GPT-4?
Чтобы понять возможности GPT-4, мы должны сначала понять GPT-3, его предшественника. GPT-3 (Generative Pre-trained Transformer, третье поколение) — это автономный инструмент для генерации контента.
Пользователи вводят данные в обучение с помощью машины Модель, которая впоследствии может создавать огромное количество релевантных текстов в ответ, согласно OpenAI. GPT-4 будет значительно лучше справляться с многозадачностью в условиях малого количества выстрелов — тип обучение с помощью машины - еще больше приближая результаты к результатам людей.
Строительство GPT-3 стоит сотни миллионов фунтов стерлингов, но, по прогнозам, GPT-4 будет стоить значительно дороже, потому что его масштаб будет в пятьсот раз больше. Чтобы представить это в перспективе,
GPT-4 может иметь столько же характеристик, сколько и синапсы в мозгу. GPT-4 в основном будет использовать те же методы, что и GPT-3, поэтому GPT-4 не будет скачком парадигмы, а расширит то, что в настоящее время выполняет GPT-3, но со значительно большей способностью вывода.
GPT-3 позволял пользователям вводить естественный язык для практических целей, но для разработки подсказки, которая давала бы хорошие результаты, по-прежнему требовался определенный опыт. GPT-4 будет значительно лучше предсказывать намерения пользователей.
Какими будут параметры GPT-4?
Несмотря на то, что это одно из самых ожидаемых достижений ИИ, о GPT-4 ничего не известно: как он будет выглядеть, какими характеристиками и какими возможностями он будет обладать.
В прошлом году Альтман ответил на вопросы и рассказал несколько подробностей об амбициях OpenAI в отношении GPT-4. По словам Альтмана, он будет не больше, чем GPT-3. GPT-4 вряд ли будет самым массовым языковая модель. Хотя модель будет огромной по сравнению с предыдущими поколениями нейронные сети, его размер не будет его отличительной чертой. Наиболее вероятными кандидатами являются GPT-3 и Gopher (175B-280B).
Nvidia и Megatron-Turing NLG от Microsoft установили рекорд самая плотная нейронная сеть параметры на уровне 530 байт — в три раза больше, чем у GPT-3 — до недавнего времени, когда PaLM от Google взял его на уровне 540 байт. Удивительно, но множество меньших моделей превзошли MT-NLG.
В соответствии со степенной зависимостью Джаред Каплан и его коллеги из OpenAI определили в 2020 году, что когда увеличение бюджета обработки тратится в основном на увеличение количества параметров, производительность повышается больше всего. Google, Nvidia, Microsoft, OpenAI, DeepMind и другие компании, занимающиеся языковым моделированием, послушно следовали правилам.
Альтман указал, что они больше не концентрируются на создании массивных моделей, а скорее на максимизации производительности меньших моделей.
Исследователи OpenAI были первыми сторонниками гипотезы масштабирования, но они, возможно, обнаружили, что дополнительные, ранее не обнаруженные пути могут привести к более совершенным моделям. По этим причинам GPT-4 не будет значительно больше, чем GPT-3.
OpenAI будет уделять больше внимания другим аспектам, таким как данные, алгоритмы, параметризация и согласование, которые могут быстрее принести значительные преимущества. Придется подождать и посмотреть, на что способна модель с параметрами 100T.
Ключевые моменты:
- Размер модели: GPT-4 будет больше, чем GPT-3, но ненамного (MT-NLG 530B и PaLM 540B). Размер модели будет ничем не примечательным.
- Оптимальность: GPT-4 будет использовать больше ресурсов, чем GPT-3. Он будет реализовывать новые идеи оптимальности в параметризации (оптимальные гиперпараметры) и методах масштабирования (количество обучающих токенов так же важно, как и размер модели).
- Мультимодальность: GPT-4 сможет отправлять и получать только текстовые сообщения (не мультимодальные). OpenAI стремится довести языковые модели до их пределов, прежде чем переходить к мультимодальным моделям, таким как ДАЛЛЕ 2, которые, по их прогнозам, в конечном итоге превзойдут одномодальные системы.
- разреженность: GPT-4, как и его предшественники GPT-2 и GPT-3, будет плотной моделью (все параметры будут использоваться для обработки любого заданного ввода). В будущем разреженность станет более важной.
- центровка: GPT-4 подойдет к нам ближе, чем GPT-3. Он будет использовать то, что узнал из InstructGPT, который был разработан с участием человека. Тем не менее, до конвергенции ИИ еще далеко, и усилия следует тщательно оценивать, а не преувеличивать.
Заключение
Искусственный общий интеллект. Это большая цель, но разработчики OpenAI работают над ее достижением. Цель ОИИ — создать модель или «агента», способного понимать и выполнять любую деятельность, которую может выполнять человек.
GPT-4 может стать следующим шагом в достижении этой цели, и это звучит как что-то из научно-фантастического фильма. Вам может быть интересно, насколько реально достичь AGI.
По словам Рэя Курцвейла, технического директора Google, мы достигнем этого рубежа к 2029 году. Имея это в виду, давайте более подробно рассмотрим GPT-4 и разветвления этой модели по мере того, как мы приближаемся к AGI (Искусственный общий интеллект).
Оставьте комментарий