Google on järjepidevalt püsinud tehisintellekti uurimise esirinnas, kasutades ära oma tohutuid ressursse ja palkades suure hulga tipptalendi insenere. Kuid keelemudelite osas jäid Google'i jõupingutused mängu hiljaks.
Kuna tehnoloogiagigant Microsoft sai juba kasu viljakast partnerlusest OpenAI-ga, ei jäänud Google'il muud üle, kui järele jõuda.
Tänavusel Google I/O konverentsil teatas ettevõte oma vastusest generatiivsele tehisintellekti võidurelvastumisele: PaLM 2. Kas selle uue mudeli jõudlus on OpenAI GPT-4 kõrval?
Mis on PaLM 2?
Google kirjeldab PEALM 2 tipptasemel keelemudelina, mis täiustab nende olemasolevat PaLM-i mudelit, mis kuulutati esmakordselt välja 2022. aastal. Sarnaselt teistele keelemudelitele on PaLM 2 võimeline täitma mitmesuguseid teksti genereerimise ülesandeid, näiteks PaLM on võimeline täitma mitmesuguseid ülesandeid , sealhulgas küsimustele vastamine, teksti tõlkimine, koodi genereerimineJa palju muud.
Testid on näidanud, et PaLM 2 näitab juba olulisi täiustusi, edestades PaLM mudelit, kasutades palju väiksemat arvu parameetreid.
PaLM 2 on mudelite perekond
Sarnaselt teistele keelemudelitele on ka PaLM 2 projekt tegelikult erineva suurusega mudelite perekond. Google pakub PaLM 2 mudelit neljas suuruses: Gecko, Otter, Bison ja Unicorn.
Suuruste mitmekesisus muudab PaLM 2 juurutamise erinevatel kasutusjuhtudel lihtsaks. Näiteks Gecko mudel on piisavalt kerge, et kogu mudel mahub mobiilseadmesse ja töötab isegi võrguühenduseta.
PaLM 2 koolitusandmestik
Eduka keelemudeli üks olulisemaid aspekte on koolituse andmestik. Koolituse andmestik peab olema piisavalt mitmekesine, et mudel saaks sügavalt aru teemast, mille jaoks see on loodud.
Suurte keelemudelite (LLM) puhul pole tavaliselt konkreetset teemat, mida mudel peaks treenima. LLM-id on selle asemel loodud üldotstarbelisteks mudeliteks, mis peavad sobima paljude ülesannete täitmiseks. Need mudelid kasutavad suuri tekstiandmekogumeid, mis hõivavad suure osa veebist ning avaldatud võrdlusmaterjali, kirjandust ja isegi lähtekoodi.
Peamine erinevus PaLM 2 treeningandmete kogumi ja teiste mudelite vahel on mitteingliskeelsete andmete suurem protsent. Nende sõnul tehniline aruanne, laiendades andmestikku mitte-ingliskeelsete tekstide lisamiseks, paljastab mudeli laiemas valikus keeli ja kultuure.
PaLM 2 mudelit koolitati ka paralleelsete mitmekeelsete andmetega, et aidata mudelil omandada võime tõlkida ühest keelest teise. Andmed sisaldavad tekstipaare, kus üks kirje on inglise keeles ja teine on samaväärne tekst teises keeles.
Ülaltoodud tabel näitab PaLM 2 koolitamiseks kasutatud mitmekeelsete veebidokumentide keelelist jaotust.
PaLM 2 põhifunktsioonid
Siin on mõned peamised valdkonnad, millega PaLM 2 teiste keelemudelitega võrreldes silma paistab.
Põhjendus
PaLM 2 andmestik sisaldab selliseid allikaid nagu teadusartiklid ja matemaatiliste avaldistega veebisisu. See annab mudelile paremad võimalused matemaatikas, terve mõistuse arutluskäigus ja loogikas.
Teadlased testisid mudeli matemaatilisi arutlusvõimeid põhikooli ja keskkooli matemaatikaküsimustes, kus see näitab võrreldavaid tulemusi GPT-4 matemaatikavõimega.
Kodeerimine
PaLM 2 treeningandmed annavad sellele ka võimaluse genereerida koodi erinevates programmeerimiskeeltes. PALM 2 meeskond lõi kodeerimisspetsiifilise PaLM 2 mudeli nimega PaLM 2-S*, mida koolitati koodirohke mitmekeelse andmekogumiga.
Mudel ei ole mitte ainult võimeline koodi genereerima, vaid suudab hakkama saada ka mitut keelt hõlmavate ülesannetega. Näiteks võite paluda PaLM 2-l luua Pythoni sortimisfunktsiooni, mis lisab ridade kaupa hispaaniakeelseid kommentaare.
Mitmekeelsus
Kuna mudelit õpetati rohkem kui 100 keelt sisaldavale andmekogumile, näitab PaLM 2 oskust teksti mõistmisel, genereerimisel ja tõlkimisel mitmes keeles.
Mitmekeelsuse testimiseks katsetasid teadlased mudelit erinevate keeleoskustestidega erinevates keeltes. Tulemused näitavad, et mitte ainult ei ületa PaLM 2 PaLM-i, vaid saavutas ka iga hinnatud keele puhul läbiva hinde.
PaLM 2 näitab oma mitmekeelsust ka võimega mõista eri keelte idioome, selgitada nalju, parandada kirjavigu ja isegi õppida ametlikku teksti kõnekeelseks vestluseks teisendama.
PaLM 2 toetab Google'i tooteid
Google kasutab juba PaLM 2 edusamme, integreerides mudeli teiste toodetega.
bard
Mudeli võime tegeleda mitmekeelsete ülesannetega on nüüd Google'i jõuallikaks Bardi eksperiment kuna see laieneb enam kui 180 riiki ja territooriumile.
Bard kasutab nüüd ka PaLM 2 kodeerimisvõimalusi, et aidata programmeerimisel ja tarkvaraarendustoimingutel, nagu koodi genereerimine ja koodide silumine.
Duet AI Google Workspace'i jaoks
Google kavatseb lisada oma Google Workspace'i rakenduste rühma ka generatiivseid AI-funktsioone. Gmail ja Dokumendid sisaldavad peagi funktsiooni nimega Duett AI mis aitavad kasutajal vastuseid koostada ja viipade abil kirjutada.
Duet AI võimaldab kasutajatel luua ka Google'i arvutustabelites ülesannete ja projektide jaoks kohandatud plaane, mis põhinevad kasutaja antud viipadel.
Järeldus
Google loodab kindlasti oma PaLM 2 keelemudeliga kaotada lõhe AI keeletööriistade turul. Kuigi mudeli API pole veel avalikult saadaval, näitavad nende uuringute tulemused, et mudel on piisavalt konkurentsivõimeline, et see sobiks GPT-4 jõudlusega.
Google'i olemasoleva kasutajabaasi puhul on neil kindlasti tohutu kohandumise eelis, kui nende tehisintellekt integreeritakse nende teenustesse, nagu otsingumootor või tootlikkuse tööriistade komplekt.
Jäta vastus