Google последователно остава в челните редици на изследванията на AI, като използва огромните си ресурси и наема значителен брой инженери с най-добри таланти. Въпреки това, по отношение на езиковите модели, усилията на Google закъсняха.
Тъй като технологичният гигант Microsoft вече се възползва от ползотворно партньорство с OpenAI, Google нямаше друг избор, освен да навакса.
На тазгодишната конференция на Google I/O компанията обяви отговора си на генеративната надпревара във въоръжаването с AI: PaLM 2. Ще се мери ли този нов модел по производителност с GPT-4 на OpenAI?
Какво е PaLM 2?
Google описва ДЛАН 2 като най-съвременен езиков модел, който подобрява техния съществуващ модел PaLM, обявен за първи път през 2022 г. Подобно на други езикови модели, PaLM 2 е в състояние да изпълнява различни задачи за генериране на текст, като например PaLM е способен на широк набор от задачи , включително отговаряне на въпроси, превод на текст, генериращ код, И много повече.
Тестовете показват, че PaLM 2 вече показва значителни подобрения, превъзхождайки модела PaLM, като същевременно използва много по-малък брой параметри.
PaLM 2 е семейство от модели
Подобно на други езикови модели, проектът PaLM 2 всъщност е семейство от модели, които варират по размер. Google ще предостави модела PaLM 2 в четири размера: Gecko, Otter, Bison и Unicorn.
Разнообразието от размери улеснява внедряването на PaLM 2 в различни случаи на употреба. Например, моделът Gecko е достатъчно лек, за да може целият модел да се побере в мобилно устройство и дори да работи офлайн.
Набор от данни за обучение на PaLM 2
Един от най-важните аспекти на успешния езиков модел е набор от данни за обучение. Наборът от данни за обучение трябва да бъде достатъчно разнообразен, за да позволи на модела да има задълбочено разбиране на предмета, за който е проектиран.
За големи езикови модели (LLM) обикновено няма конкретна тема, по която моделът трябва да се обучава. Вместо това LLM са създадени като модели с общо предназначение, които трябва да са годни за изпълнение на голям брой задачи. Тези модели използват големи набори от текстови данни, които улавят голяма част от мрежата, както и публикувани референтни материали, литература и дори изходен код.
Основната разлика между набора от данни за обучение на PaLM 2 и други модели е включването на по-висок процент неанглийски данни. Според техните технически доклад, разширяването на набора от данни, за да включва неанглийски текстове, излага модела на по-голямо разнообразие от езици и култури.
Моделът PaLM 2 също беше обучен на паралелни многоезични данни, за да помогне на модела да придобие способността да превежда от един език на друг. Данните включват двойки текст, като единият запис е на английски, а другият е еквивалентен текст на друг език.
Таблицата по-горе показва езиковото разпределение на многоезичните уеб документи, използвани за обучение на PaLM 2.
Ключови характеристики на PaLM 2
Ето някои от основните области, в които PaLM 2 превъзхожда в сравнение с други езикови модели.
Обосновавам се
Наборът от данни на PaLM 2 включва източници като научни статии и уеб съдържание с математически изрази. Това дава на модела подобрени възможности в областта на математиката, здравия разум и логиката.
Изследователите тестваха способностите на модела за математически разсъждения върху математически въпроси от началното училище и гимназията, където той показва сравними резултати с математическите способности на GPT-4.
Кодиране
Данните за обучение на PaLM 2 също му дават възможността да генерира код на различни езици за програмиране. Екипът на PALM 2 създаде специфичен за кодирането PaLM 2 модел, наречен PaLM 2-S*, който беше обучен на многоезичен набор от данни, богат на кодове.
Моделът не само е в състояние да генерира код, но също така може да се справя със задачи, които включват множество езици. Например, можете да помолите PaLM 2 да създаде функция за сортиране на Python, която добавя коментари ред по ред на испански.
Многоезичност
Тъй като моделът е обучен върху набор от данни, който включва над 100 езика, PaLM 2 показва опит в разбирането, генерирането и превода на текст на множество езици.
За да тестват многоезичието, изследователите тестваха модела на различни тестове за владеене на различни езици. Резултатите показват, че PaLM 2 не само превъзхожда PaLM, но също така е постигнал положителна оценка за всеки оценяван език.
PaLM 2 също така показва своите многоезични възможности чрез способността си да разбира идиоми на различни езици, обяснява вицове, поправя печатни грешки и дори може да научи как да преобразува официалния текст в разговорен чат.
PaLM 2 захранва продуктите на Google
Google вече се възползва от напредъка на PaLM 2, като интегрира модела с други продукти.
Бард
Способността на модела да се справя с многоезични задачи сега захранва Google Бард експеримент тъй като се разширява в над 180 държави и територии.
Сега Bard също използва възможностите за кодиране на PaLM 2, за да подпомага задачите по програмиране и разработка на софтуер, като генериране на код и отстраняване на грешки в кода.
Duet AI за Google Workspace
Google също така планира да добави генеративни AI функции към своята група от приложения Google Workspace. Gmail и Документи скоро ще включват функция, наречена Дует AI което ще помогне на потребителя да състави своите отговори и да напише, като използва подкани.
Duet AI също така ще позволи на потребителите да създават персонализирани планове в Google Sheets за задачи и проекти въз основа на подкани, дадени от потребителя.
Заключение
Google със сигурност се надява да запълни празнината на пазара на езикови инструменти за изкуствен интелект с техния езиков модел PaLM 2. Въпреки че API на модела все още не е публично достъпен, резултатите от тяхното изследване показват, че моделът е достатъчно конкурентен, за да съответства на производителността на GPT-4.
Със съществуващата потребителска база на Google, те със сигурност имат предимството на масивна адаптация, ако техният AI се интегрира в техните услуги, като тяхната търсачка или техния пакет от инструменти за продуктивност.
Оставете коментар