Google pastāvīgi ir bijis AI pētniecības priekšgalā, piesaistot savus milzīgos resursus un nodarbinot ievērojamu skaitu talantīgu inženieru. Tomēr attiecībā uz valodu modeļiem Google centieni kavējās.
Tā kā tehnoloģiju gigants Microsoft jau ir guvis labumu no auglīgas partnerības ar OpenAI, Google neatlika nekas cits kā panākt.
Šī gada Google I/O konferencē uzņēmums paziņoja par savu atbildi uz ģeneratīvo AI bruņošanās sacensību: PaLM 2. Vai šī jaunā modeļa veiktspēja būs līdzās OpenAI GPT-4?
Kas ir PaLM 2?
Google apraksta PLAMA 2 kā vismodernākais valodas modelis, kas uzlabo esošo PaLM modeli, kas pirmo reizi tika paziņots 2022. gadā. Līdzīgi kā citi valodu modeļi, arī PaLM 2 spēj veikt dažādus teksta ģenerēšanas uzdevumus, piemēram, PaLM spēj veikt plašu uzdevumu klāstu. , ieskaitot atbildes uz jautājumiem, teksta tulkošanu, ģenerējot kodu, Un daudz vairāk.
Testi ir parādījuši, ka PaLM 2 jau uzrāda ievērojamus uzlabojumus, pārspējot PaLM modeli, vienlaikus izmantojot daudz mazāku parametru skaitu.
PaLM 2 ir modeļu saime
Tāpat kā citi valodu modeļi, arī projekts PaLM 2 patiesībā ir dažādu izmēru modeļu saime. Google nodrošinās PaLM 2 modeli četros izmēros: Gecko, Otter, Bison un Unicorn.
Izmēru dažādība ļauj viegli izvietot PaLM 2 dažādos lietošanas gadījumos. Piemēram, Gecko modelis ir pietiekami viegls, lai visu modeli varētu ievietot mobilajā ierīcē un pat darboties bezsaistē.
PaLM 2 apmācības datu kopa
Viens no svarīgākajiem veiksmīga valodas modeļa aspektiem ir apmācības datu kopa. Apmācības datu kopai jābūt pietiekami daudzveidīgai, lai modelis varētu dziļi izprast priekšmetu, kuram tas ir paredzēts.
Lieliem valodu modeļiem (LLM) modelim parasti nav konkrētas tēmas, par kuru būtu jāmācās. Tā vietā LLM tiek veidoti kā vispārēja lietojuma modeļi, kuriem jābūt piemērotiem daudzu uzdevumu veikšanai. Šajos modeļos tiek izmantotas lielas teksta datu kopas, kas tver lielu tīmekļa daļu, kā arī publicēto atsauces materiālu, literatūru un pat pirmkodu.
Galvenā atšķirība starp PaLM 2 apmācības datu kopu un citiem modeļiem ir lielāka procentuālā daļa no datiem, kas nav angļu valodā. Saskaņā ar viņu tehniskais ziņojums, paplašinot datu kopu, iekļaujot tekstus, kas nav angļu valodā, modelis tiek pakļauts plašākam valodu un kultūru klāstam.
PaLM 2 modelis tika apmācīts arī paralēli daudzvalodu datiem, lai palīdzētu modelim iegūt spēju tulkot no vienas valodas uz citu. Dati ietver teksta pārus, kur viens ieraksts ir angļu valodā, bet otrs ir līdzvērtīgs teksts citā valodā.
Iepriekš redzamajā tabulā parādīts daudzvalodu tīmekļa dokumentu sadalījums valodās, ko izmanto, lai apmācītu PaLM 2.
PaLM 2 galvenās funkcijas
Šeit ir dažas no galvenajām jomām, kurās PaLM 2 izceļas salīdzinājumā ar citiem valodu modeļiem.
Pamatojums
PaLM 2 datu kopā ir tādi avoti kā zinātniskie raksti un tīmekļa saturs ar matemātiskām izteiksmēm. Tādējādi modelis uzlabo matemātikas, veselā saprāta spriešanas un loģikas iespējas.
Pētnieki pārbaudīja modeļa matemātiskās spriešanas spējas uz pamatskolas un vidusskolas matemātikas jautājumiem, kur tas parāda salīdzināmus rezultātus ar GPT-4 matemātikas iespējām.
Kodēšana
PaLM 2 apmācības dati arī dod iespēju ģenerēt kodu dažādās programmēšanas valodās. PALM 2 komanda izveidoja kodēšanai raksturīgu PaLM 2 modeli ar nosaukumu PaLM 2-S*, kas tika apmācīts daudzvalodu datu kopai, kurā ir daudz kodu.
Modelis ne tikai spēj ģenerēt kodu, bet arī spēj apstrādāt uzdevumus, kas ietver vairākas valodas. Piemēram, varat lūgt PaLM 2 izveidot Python šķirošanas funkciju, kas pievieno komentārus pa rindiņām spāņu valodā.
Daudzvalodība
Tā kā modelis tika apmācīts, izmantojot datu kopu, kas ietver vairāk nekā 100 valodas, PaLM 2 parāda prasmes saprast, ģenerēt un tulkot tekstu vairākās valodās.
Lai pārbaudītu daudzvalodību, pētnieki pārbaudīja modeli dažādos valodu prasmes testos dažādās valodās. Rezultāti liecina, ka PaLM 2 ne tikai pārspēj PaLM, bet arī sasniedza sekmīgu atzīmi katrā novērtētajā valodā.
PaLM 2 arī parāda savas daudzvalodu iespējas ar spēju saprast idiomas dažādās valodās, skaidrojot jokus, labojot drukas kļūdas un var pat iemācīties pārvērst formālu tekstu sarunvalodas tērzēšanai.
PaLM 2 nodrošina Google produktu darbību
Google jau izmanto PaLM 2 sasniegumus, integrējot modeli ar citiem produktiem.
Dziesminieks
Modeļa spēja veikt daudzvalodu uzdevumus tagad nodrošina Google Barda eksperiments jo tas izplešas vairāk nekā 180 valstīs un teritorijās.
Bard tagad arī izmanto PaLM 2 kodēšanas iespējas, lai palīdzētu programmēšanas un programmatūras izstrādes uzdevumos, piemēram, koda ģenerēšanā un koda atkļūdošanā.
Duet AI pakalpojumam Google Workspace
Google arī plāno pievienot ģeneratīvas AI funkcijas savai Google Workspace lietojumprogrammu grupai. Drīzumā Gmail un Dokumenti iekļaus funkciju ar nosaukumu Duets AI kas palīdzēs lietotājam sagatavot atbildes un rakstīt, izmantojot uzvednes.
Duet AI arī ļaus lietotājiem Google izklājlapās izveidot pielāgotus plānus uzdevumiem un projektiem, pamatojoties uz lietotāja sniegtiem norādījumiem.
Secinājumi
Google noteikti cer novērst plaisu AI valodas rīku tirgū ar savu PaLM 2 valodas modeli. Lai gan modeļa API vēl nav publiski pieejams, viņu pētījumu rezultāti liecina, ka modelis ir pietiekami konkurētspējīgs, lai atbilstu GPT-4 veiktspējai.
Izmantojot Google esošo lietotāju bāzi, viņiem noteikti ir lielas pielāgošanās priekšrocības, ja viņu AI tiek integrēts viņu pakalpojumos, piemēram, meklētājprogrammā vai produktivitātes rīku komplektā.
Atstāj atbildi