Google нязменна застаецца ў авангардзе даследаванняў штучнага інтэлекту, выкарыстоўваючы свае велізарныя рэсурсы і наймаючы значную колькасць высакакласных інжынераў. Аднак з пункту гледжання моўных мадэляў намаганні Google спазніліся.
Паколькі тэхналагічны гігант Microsoft ужо атрымаў выгаду ад плённага партнёрства з OpenAI, у Google не было іншага выбару, акрамя як нагнаць упушчанае.
На сёлетняй канферэнцыі Google I/O кампанія абвясціла аб сваім адказе на спараджальную гонку ўзбраенняў штучнага інтэлекту: PaLM 2. Ці будзе гэтая новая мадэль параўнацца па прадукцыйнасці з GPT-4 OpenAI?
Што такое PaLM 2?
Google апісвае ДАЛОНЬ 2 у якасці сучаснай моўнай мадэлі, якая ўдасканальвае іх існуючую мадэль PaLM, упершыню анансаваную ў 2022 г. Падобна іншым моўным мадэлям, PaLM 2 можа выконваць розныя задачы генерацыі тэксту, такія як PaLM здольны выконваць шырокі спектр задач , уключаючы адказы на пытанні, пераклад тэксту, генеруючы код, І многае іншае.
Тэсты паказалі, што PaLM 2 ужо дэманструе значныя паляпшэнні, пераўзыходзячы мадэль PaLM пры выкарыстанні значна меншай колькасці параметраў.
PaLM 2 - гэта сямейства мадэляў
Як і іншыя моўныя мадэлі, праект PaLM 2 уяўляе сабой сямейства мадэляў розных памераў. Google прапануе мадэль PaLM 2 у чатырох памерах: Gecko, Otter, Bison і Unicorn.
Разнастайнасць памераў дазваляе лёгка разгарнуць PaLM 2 у розных выпадках выкарыстання. Напрыклад, мадэль Gecko досыць лёгкая, каб усю мадэль можна было змясціць у мабільную прыладу і нават працаваць у аўтаномным рэжыме.
Навучальны набор даных PaLM 2
Адным з найбольш важных аспектаў паспяховай моўнай мадэлі з'яўляецца навучальны набор даных. Навучальны набор даных павінен быць дастаткова разнастайным, каб мадэль магла глыбока зразумець прадмет, для якога яна створана.
Для вялікіх моўных мадэляў (LLM) звычайна няма канкрэтнай тэмы, па якой мадэль павінна навучацца. LLM замест гэтага пабудаваны як мадэлі агульнага прызначэння, якія павінны быць прыдатныя для выканання шырокага шэрагу задач. У гэтых мадэлях выкарыстоўваюцца вялікія тэкставыя наборы дадзеных, якія ахопліваюць вялікую частку Інтэрнэту, а таксама апублікаваныя даведачныя матэрыялы, літаратуру і нават зыходны код.
Асноўнае адрозненне паміж навучальным наборам даных PaLM 2 і іншымі мадэлямі заключаецца ва ўключэнні большага адсотка неангламоўных даных. Паводле іх тэхнічны даклад, пашырэнне набору даных для ўключэння неангламоўных тэкстаў дае мадэль больш шырокаму спектру моў і культур.
Мадэль PaLM 2 таксама прайшла навучанне на паралельных шматмоўных дадзеных, каб дапамагчы ёй атрымаць магчымасць перакладаць з адной мовы на іншую. Дадзеныя ўключаюць пары тэкстаў, дзе адзін запіс на англійскай мове, а другі з'яўляецца эквівалентным тэкстам на іншай мове.
У табліцы вышэй паказана моўнае размеркаванне шматмоўных вэб-дакументаў, якія выкарыстоўваюцца для навучання PaLM 2.
Ключавыя магчымасці PaLM 2
Вось некаторыя з асноўных абласцей, у якіх PaLM 2 вылучаецца ў параўнанні з іншымі моўнымі мадэлямі.
Развагі
Набор даных PaLM 2 уключае такія крыніцы, як навуковыя артыкулы і вэб-кантэнт з матэматычнымі выразамі. Гэта дае мадэлі палепшаныя магчымасці ў галіне матэматыкі, разважанняў здаровага сэнсу і логікі.
Даследчыкі праверылі здольнасці мадэлі да матэматычнага разважання на матэматычных пытаннях для пачатковай і сярэдняй школы, дзе яна паказвае вынікі, супастаўныя з матэматычнымі магчымасцямі GPT-4.
Кадаванне
Навучальныя даныя PaLM 2 таксама даюць яму магчымасць ствараць код на розных мовах праграмавання. Каманда PALM 2 стварыла спецыфічную для кадавання мадэль PaLM 2 пад назвай PaLM 2-S*, якая была навучана на шматмоўным наборы даных з вялікай колькасцю кодаў.
Мадэль не толькі здольная генераваць код, але і спраўляцца з задачамі, якія ўключаюць некалькі моў. Напрыклад, вы можаце папрасіць PaLM 2 стварыць функцыю сартавання Python, якая дадае каментарыі радок за радком на іспанскай мове.
Шматмоўнасць
Паколькі мадэль навучалася на наборы даных, які ўключае больш за 100 моў, PaLM 2 дэманструе ўменне разумець, генераваць і перакладаць тэкст на некалькі моў.
Каб праверыць шматмоўнасць, даследчыкі пратэставалі мадэль на розных тэстах на веданне розных моў. Вынікі паказваюць, што PaLM 2 не толькі пераўзыходзіць PaLM, але і атрымлівае прахадны бал за кожную ацэненую мову.
PaLM 2 таксама дэманструе свае шматмоўныя магчымасці дзякуючы здольнасці разумець ідыёмы на розных мовах, тлумачыць жарты, выпраўляць памылкі друку і нават можа навучыцца пераўтвараць афіцыйны тэкст у гутарковы чат.
PaLM 2 падтрымлівае прадукты Google
Google ужо выкарыстоўвае перавагі PaLM 2, інтэгруючы мадэль з іншымі прадуктамі.
Бард
Здольнасць мадэлі спраўляцца з шматмоўнымі задачамі цяпер узмацняе здольнасць Google Бардаўскі эксперымент па меры распаўсюджвання больш чым на 180 краін і тэрыторый.
Цяпер Bard таксама выкарыстоўвае магчымасці кадавання PaLM 2 для дапамогі ў праграмаванні і распрацоўцы праграмнага забеспячэння, такіх як стварэнне і адладка кода.
Duet AI для Google Workspace
Google таксама плануе дадаць генератыўныя функцыі штучнага інтэлекту ў сваю групу прыкладанняў Google Workspace. У Gmail і Дакументах неўзабаве з'явіцца функцыя пад назвай Дуэт ІІ што дапаможа карыстальніку складаць свае адказы і пісаць з дапамогай падказак.
Duet AI таксама дазволіць карыстальнікам ствараць уласныя планы ў Google Sheets для задач і праектаў на аснове падказак карыстальніка.
заключэнне
Google, безумоўна, спадзяецца ліквідаваць прабел на рынку моўных інструментаў штучнага інтэлекту з дапамогай сваёй моўнай мадэлі PaLM 2. Нягледзячы на тое, што API мадэлі пакуль недаступны, вынікі іх даследаванняў паказваюць, што мадэль дастаткова канкурэнтаздольная, каб адпавядаць прадукцыйнасці GPT-4.
З існуючай базай карыстальнікаў Google яны, несумненна, атрымаюць перавагу шырокай адаптацыі, калі іх штучны інтэлект будзе інтэграваны ў іх паслугі, такія як іх пошукавая сістэма або іх набор інструментаў для павышэння прадукцыйнасці.
Пакінуць каментар