Google өзінің орасан зор ресурстарын пайдалана отырып және көптеген талантты инженерлерді пайдалана отырып, AI зерттеулерінде үнемі алдыңғы қатарда болды. Дегенмен, тілдік модельдер тұрғысынан Google-дың күш-жігері ойынға кешігіп қалды.
Технологиялық алпауыт Microsoft OpenAI-мен жемісті серіктестіктің пайдасын көріп отырғандықтан, Google-дың қуып жетуден басқа амалы қалмады.
Биылғы Google I/O конференциясында компания генеративті AI қарулану жарысына өз жауабын жариялады: PaLM 2. Бұл жаңа модель OpenAI GPT-4-пен қатар өнімділігін бағалай ма?
PaLM 2 дегеніміз не?
Google сипаттайды ПАЛМА 2 2022 жылы алғаш рет жарияланған қолданыстағы PaLM үлгісін жетілдіретін заманауи тіл үлгісі ретінде. Басқа тілдік үлгілер сияқты, PaLM 2 түрлі мәтін жасау тапсырмаларын орындай алады, мысалы PaLM кең ауқымды тапсырмаларды орындауға қабілетті. сұрақтарға жауап беру, мәтінді аудару, кодты жасаужәне тағы басқалар.
Тесттер PaLM 2 параметрінің әлдеқайда аз санын пайдалану кезінде PaLM үлгісінен асып түсетін айтарлықтай жақсартуларды көрсететінін көрсетті.
PaLM 2 – модельдер тобы
Басқа тіл үлгілері сияқты, PaLM 2 жобасы шын мәнінде өлшемдері әртүрлі модельдер тобы болып табылады. Google PaLM 2 моделін төрт өлшемде ұсынады: Gecko, Otter, Bison және Unicorn.
Өлшемдердің әртүрлілігі әртүрлі пайдалану жағдайларында PaLM 2 қолдануды жеңілдетеді. Мысалы, Gecko үлгісі жеткілікті жеңіл, ол бүкіл модель мобильді құрылғыға сыйып, тіпті желіден тыс жұмыс істей алады.
PaLM 2 оқу деректер жинағы
Табысты тілдік модельдің маңызды аспектілерінің бірі болып табылады оқыту деректер жинағы. Жаттығу деректер жинағы модельге ол жобаланған тақырыпты терең түсінуге мүмкіндік беретіндей әртүрлі болуы керек.
Үлкен тіл үлгілері (LLM) үшін, әдетте, үлгі үйренуі керек арнайы тақырып жоқ. Оның орнына LLM-тер көптеген тапсырмаларды орындауға жарамды болуы керек жалпы мақсаттағы үлгілер ретінде жасалған. Бұл модельдер интернеттің үлкен бөлігін, сондай-ақ жарияланған анықтамалық материалды, әдебиетті және тіпті бастапқы кодты қамтитын үлкен мәтіндік деректер жиынын пайдаланады.
PaLM 2 оқу деректер жинағының басқа үлгілерден негізгі айырмашылығы ағылшынша емес деректердің жоғары пайызын қосу болып табылады. Олардың айтуынша техникалық есеп, ағылшынша емес мәтіндерді қосу үшін деректер жинағын кеңейту үлгіні тілдер мен мәдениеттердің кеңірек алуан түріне көрсетеді.
PaLM 2 моделі сонымен қатар модельге бір тілден екінші тілге аудару мүмкіндігін алуға көмектесу үшін параллельді көптілді деректерге үйретілді. Деректер бір жазба ағылшын тілінде, ал екіншісі басқа тілдегі баламалы мәтін болатын мәтін жұптарын қамтиды.
Жоғарыдағы кестеде PaLM 2 тілін үйрету үшін пайдаланылатын көптілді веб-құжаттардың тілдік таралуы көрсетілген.
PaLM 2 негізгі мүмкіндіктері
Міне, басқа тіл үлгілерімен салыстырғанда PaLM 2-нің кейбір негізгі бағыттары.
Дәлелдеу
PaLM 2 деректер жинағы ғылыми мақалалар және математикалық өрнектері бар веб-мазмұн сияқты көздерді қамтиды. Бұл модельге математикада, жалпы мағынада ойлауда және логикада жақсартылған мүмкіндіктер береді.
Зерттеушілер модельдің математикалық ойлау қабілеттерін мектептегі және орта мектептегі математика сұрақтарында сынады, онда ол GPT-4 математикалық мүмкіндіктерімен салыстырылатын нәтижелерді көрсетеді.
Кодтау
PaLM 2 оқу деректері сонымен қатар оған әртүрлі бағдарламалау тілдерінде код жасау мүмкіндігін береді. PALM 2 тобы кодтауға арналған PaLM 2-S* деп аталатын арнайы PaLM 2 үлгісін жасады, ол кодты көп тілді деректер жиынында оқытылды.
Модель кодты генерациялауға қабілетті ғана емес, сонымен қатар бірнеше тілді қамтитын тапсырмаларды орындай алады. Мысалы, PaLM 2-ден испан тілінде жол бойынша түсініктемелерді қосатын Python сұрыптау функциясын жасауды сұрауға болады.
Көптілділік
Модель 100-ден астам тілді қамтитын деректер жиынында дайындалғандықтан, PaLM 2 мәтінді бірнеше тілде түсіну, жасау және аудару шеберлігін көрсетеді.
Көптілділікті тексеру үшін зерттеушілер модельді әртүрлі тілдердегі әртүрлі тілді меңгеру сынақтарында сынады. Нәтижелер көрсеткендей, PaLM 2 тек PaLM-ден асып түсіп қана қоймай, сонымен қатар әрбір бағаланған тіл үшін өту бағасына қол жеткізді.
PaLM 2 сонымен қатар әртүрлі тілдердегі идиомаларды түсіну, әзілдерді түсіндіру, қателерді түзету және тіпті ресми мәтінді ауызекі сөйлесуге түрлендіруді үйрену қабілеті арқылы өзінің көптілді мүмкіндіктерін көрсетеді.
PaLM 2 Google өнімдеріне қуат береді
Google қазірдің өзінде үлгіні басқа өнімдермен біріктіру арқылы PaLM 2 жетістіктерін пайдаланып жатыр.
Бард
Модельдің көптілді тапсырмаларды орындау мүмкіндігі енді Google-ді қуаттайды Бард эксперименті өйткені ол 180-нен астам елдер мен аумақтарды қамтиды.
Bard енді кодты генерациялау және кодты жөндеу сияқты бағдарламалау және бағдарламалық жасақтаманы әзірлеу тапсырмаларына көмектесу үшін PaLM 2 кодтау мүмкіндіктерін пайдаланады.
Google Workspace үшін дуэт AI
Google сонымен қатар Google Workspace қолданбалар тобына генеративті AI мүмкіндіктерін қосуды жоспарлап отыр. Gmail және Docs жақын арада деп аталатын мүмкіндікті қамтиды Дуэт AI бұл пайдаланушыға өз жауаптарын әзірлеуге және сұрауларды пайдаланып жазуға көмектеседі.
Сондай-ақ Duet AI пайдаланушыларға Google Sheets қолданбасында пайдаланушы берген нұсқаулар негізінде тапсырмалар мен жобалар үшін реттелетін жоспарлар жасауға мүмкіндік береді.
қорытынды
Google өзінің PaLM 2 тіл үлгісімен AI тіл құралдары нарығындағы алшақтықты жабуға үміттенеді. Модельдің API әлі жалпыға қолжетімді болмағанымен, олардың зерттеулерінің нәтижелері модельдің GPT-4 өнімділігіне сәйкес келетіндей бәсекеге қабілетті екенін көрсетеді.
Google-дың бар пайдаланушы базасымен, егер олардың AI іздеу жүйесі немесе өнімділік құралдарының жиынтығы сияқты қызметтеріне біріктірілсе, олардың жаппай бейімделу артықшылығы бар.
пікір қалдыру