Google неизменно остается в авангарде исследований ИИ, используя свои огромные ресурсы и нанимая значительное количество талантливых инженеров. Однако с точки зрения языковых моделей усилия Google опоздали.
Поскольку технический гигант Microsoft уже извлек выгоду из плодотворного партнерства с OpenAI, у Google не было другого выбора, кроме как наверстать упущенное.
На конференции Google I/O в этом году компания объявила о своем ответе на генеративную гонку вооружений ИИ: PaLM 2. Будет ли эта новая модель соответствовать производительности наряду с OpenAI GPT-4?
Что такое PaLM2?
Google описывает Палм 2 как современная языковая модель, которая улучшает существующую модель PaLM, впервые анонсированную в 2022 году. Как и другие языковые модели, PaLM 2 может выполнять различные задачи по генерации текста, например, PaLM способен решать широкий круг задач. , включая ответы на вопросы, перевод текста, генерация кода, И многое другое.
Тесты показали, что PaLM 2 уже демонстрирует значительные улучшения, превосходя модель PaLM при использовании гораздо меньшего количества параметров.
PaLM 2 — это семейство моделей
Как и другие языковые модели, проект PaLM 2 фактически представляет собой семейство моделей разного размера. Google предоставит модель PaLM 2 в четырех размерах: Gecko, Otter, Bison и Unicorn.
Разнообразие размеров позволяет легко развертывать PaLM 2 в различных вариантах использования. Например, модель Gecko достаточно легкая, чтобы вся модель могла поместиться в мобильное устройство и даже работать в автономном режиме.
Набор обучающих данных PaLM 2
Одним из наиболее важных аспектов успешной языковой модели является набор обучающих данных. Набор обучающих данных должен быть достаточно разнообразным, чтобы модель могла иметь глубокое понимание предмета, для которого она предназначена.
Для больших языковых моделей (LLM) обычно нет конкретной темы, по которой модель должна обучаться. Вместо этого LLM создаются как модели общего назначения, которые должны быть пригодны для выполнения широкого круга задач. Эти модели используют большие наборы текстовых данных, охватывающие большую часть Интернета, а также опубликованные справочные материалы, литературу и даже исходный код.
Основное различие между обучающим набором данных PaLM 2 и другими моделями заключается в включении более высокого процента данных не на английском языке. Согласно их технический отчет, расширение набора данных за счет включения текстов не на английском языке делает модель доступной для более широкого спектра языков и культур.
Модель PaLM 2 также была обучена на параллельных многоязычных данных, чтобы помочь модели получить возможность перевода с одного языка на другой. Данные включают пары текстов, где одна запись написана на английском языке, а другая представляет собой эквивалентный текст на другом языке.
В приведенной выше таблице показано языковое распределение многоязычных веб-документов, используемых для обучения PaLM 2.
Ключевые особенности PaLM 2
Вот некоторые из основных областей, в которых PaLM 2 превосходит другие языковые модели.
аргументация
Набор данных PaLM 2 включает в себя такие источники, как научные статьи и веб-контент с математическими выражениями. Это дает модели улучшенные возможности в области математики, здравого смысла и логики.
Исследователи протестировали способности модели к математическому мышлению на математических вопросах в начальной школе и старшей школе, где она показала результаты, сравнимые с математическими возможностями GPT-4.
Кодирование
Учебные данные PaLM 2 также дают ему возможность генерировать код на различных языках программирования. Команда PALM 2 создала специфичную для кодирования модель PaLM 2 под названием PaLM 2-S*, которая была обучена на многоязычном наборе данных с большим количеством кода.
Эта модель способна не только генерировать код, но и решать задачи, связанные с несколькими языками. Например, вы можете попросить PaLM 2 создать функцию сортировки Python, которая добавляет построчные комментарии на испанском языке.
Многоязычность
Поскольку модель была обучена на наборе данных, включающем более 100 языков, PaLM 2 демонстрирует способность понимать, генерировать и переводить текст на нескольких языках.
Чтобы проверить многоязычие, исследователи проверили модель на различных языковых тестах на разных языках. Результаты показывают, что PaLM 2 не только превосходит PaLM, но и получает проходной балл для каждого оцениваемого языка.
PaLM 2 также демонстрирует свои многоязычные возможности благодаря своей способности понимать идиомы на разных языках, объяснять шутки, исправлять опечатки и даже может научиться преобразовывать официальный текст в разговорный чат.
PaLM 2 поддерживает продукты Google
Google уже использует преимущества PaLM 2, интегрируя эту модель с другими продуктами.
Bard
Способность модели справляться с многоязычными задачами теперь обеспечивает работу Google. Бардовский эксперимент поскольку он расширяется до более чем 180 стран и территорий.
Бард теперь также использует возможности кодирования PaLM 2 для помощи в программировании и разработке программного обеспечения, таких как генерация кода и отладка кода.
Дуэт ИИ для Google Workspace
Google также планирует добавить функции генеративного искусственного интеллекта в свою группу приложений Google Workspace. В Gmail и Документах скоро появится функция под названием Дуэт ИИ это поможет пользователю составить свои ответы и написать с помощью подсказок.
Duet AI также позволит пользователям создавать собственные планы в Google Sheets для задач и проектов на основе подсказок пользователя.
Заключение
Google, несомненно, надеется сократить разрыв на рынке языковых инструментов ИИ с помощью своей языковой модели PaLM 2. Хотя API модели еще не опубликован, результаты их исследования показывают, что модель достаточно конкурентоспособна, чтобы соответствовать производительности GPT-4.
С существующей пользовательской базой Google у них, безусловно, есть преимущество массовой адаптации, если их ИИ будет интегрирован в их службы, такие как их поисковая система или их набор инструментов для повышения производительности.
Оставьте комментарий