Google незмінно залишається в авангарді досліджень штучного інтелекту, використовуючи свої величезні ресурси та найнявши значну кількість найкращих інженерів. Однак, з точки зору мовних моделей, зусилля Google запізнилися.
У зв’язку з тим, що технологічний гігант Microsoft вже отримав вигоду від плідного партнерства з OpenAI, у Google не було іншого вибору, окрім як надолужити згаяне.
На цьогорічній конференції Google I/O компанія оголосила про свою відповідь на генеративну гонку озброєнь штучного інтелекту: PaLM 2. Чи зрівняється ця нова модель за продуктивністю з OpenAI GPT-4?
Що таке PaLM 2?
Google описує ДОЛОНЯ 2 як найсучаснішу мовну модель, яка вдосконалює їх існуючу модель PaLM, вперше анонсовану в 2022 році. Подібно до інших мовних моделей, PaLM 2 здатна виконувати різноманітні завдання генерування тексту, наприклад PaLM здатний виконувати широкий спектр завдань , включаючи відповіді на запитання, переклад тексту, генеруючий код, І багато іншого.
Випробування показали, що PaLM 2 уже демонструє значні покращення, перевершуючи модель PaLM, використовуючи набагато меншу кількість параметрів.
PaLM 2 — це сімейство моделей
Як і інші мовні моделі, проект PaLM 2 насправді є сімейством моделей різного розміру. Google надасть модель PaLM 2 у чотирьох розмірах: Gecko, Otter, Bison і Unicorn.
Різноманітність розмірів дозволяє легко розгортати PaLM 2 у різних випадках використання. Наприклад, модель Gecko досить легка, щоб всю модель можна було помістити в мобільний пристрій і навіть працювати в автономному режимі.
Набір навчальних даних PaLM 2
Одним із найважливіших аспектів успішної мовної моделі є навчальний набір даних. Навчальний набір даних має бути достатньо різноманітним, щоб модель могла глибоко зрозуміти предмет, для якого вона розроблена.
Для великих мовних моделей (LLM) зазвичай немає конкретної теми, над якою модель має навчатися. Натомість LLM створені як моделі загального призначення, які повинні бути придатними для виконання великої кількості завдань. Ці моделі використовують великі текстові набори даних, які охоплюють велику частину Інтернету, а також опубліковані довідкові матеріали, літературу та навіть вихідний код.
Основна відмінність між навчальним набором даних PaLM 2 та іншими моделями полягає у включенні більшого відсотка неанглійських даних. Відповідно до їх технічний звіт, розширення набору даних для включення неанглійських текстів відкриває модель для більшої різноманітності мов і культур.
Модель PaLM 2 також була навчена на паралельних багатомовних даних, щоб допомогти моделі отримати можливість перекладати з однієї мови на іншу. Дані містять пари текстів, де один запис англійською мовою, а інший є еквівалентним текстом іншою мовою.
У таблиці вище показано мовний розподіл багатомовних веб-документів, які використовуються для навчання PaLM 2.
Ключові характеристики PaLM 2
Ось деякі з основних областей, у яких PaLM 2 вирізняється порівняно з іншими мовними моделями.
Обґрунтування
Набір даних PaLM 2 включає такі джерела, як наукові статті та веб-вміст із математичними виразами. Це дає моделі покращені можливості з математики, здорового глузду та логіки.
Дослідники перевірили здібності моделі до математичних міркувань на математичних запитаннях початкової та середньої школи, де вона показала результати, порівняні з математичними можливостями GPT-4.
Кодування
Навчальні дані PaLM 2 також дають йому можливість генерувати код на різних мовах програмування. Команда PALM 2 створила спеціальну для кодування модель PaLM 2 під назвою PaLM 2-S*, яка була навчена на багатомовному наборі даних, що містить багато коду.
Модель не тільки здатна генерувати код, але й справлятися із завданнями, що включають кілька мов. Наприклад, ви можете попросити PaLM 2 створити функцію сортування Python, яка додає рядкові коментарі іспанською мовою.
Багатомовність
Оскільки модель була навчена на наборі даних, який включає понад 100 мов, PaLM 2 демонструє майстерність у розумінні, створенні та перекладі тексту кількома мовами.
Щоб перевірити багатомовність, дослідники протестували модель на різних тестах на знання різних мов. Результати показують, що PaLM 2 не тільки перевершує PaLM, але й отримує прохідний бал для кожної оцінюваної мови.
PaLM 2 також демонструє свої багатомовні можливості завдяки здатності розуміти ідіоми різними мовами, пояснювати жарти, виправляти помилки друку та навіть навчитися перетворювати офіційний текст у розмовний чат.
PaLM 2 підтримує продукти Google
Google вже використовує переваги PaLM 2, інтегруючи цю модель з іншими продуктами.
Bard
Здатність цієї моделі справлятися з багатомовними завданнями тепер є потужною для Google Бардівський експеримент оскільки він поширюється на понад 180 країн і територій.
Тепер Bard також використовує можливості кодування PaLM 2 для допомоги в програмуванні та розробці програмного забезпечення, таких як створення та налагодження коду.
Duet AI для Google Workspace
Google також планує додати генеративні функції ШІ до своєї групи програм Google Workspace. Gmail і Документи незабаром включатимуть функцію під назвою Дует ШІ що допоможе користувачеві складати свої відповіді та писати за допомогою підказок.
Duet AI також дозволить користувачам створювати власні плани в Google Таблицях для завдань і проектів на основі підказок, наданих користувачем.
Висновок
Google, безумовно, сподівається закрити прогалину на ринку мовних інструментів ШІ за допомогою своєї мовної моделі PaLM 2. Хоча API моделі ще не є загальнодоступним, результати їхнього дослідження показують, що модель достатньо конкурентоспроможна, щоб відповідати продуктивності GPT-4.
З існуючою базою користувачів Google вони, безсумнівно, матимуть перевагу масштабної адаптації, якщо їхній штучний інтелект буде інтегрований у їхні сервіси, такі як пошукова система чи набір інструментів для продуктивності.
залишити коментар