Google je dosljedno ostao na čelu istraživanja umjetne inteligencije, koristeći svoje goleme resurse i zapošljavajući znatan broj vrhunskih inženjera. Međutim, u pogledu jezičnih modela, Googleovi napori su zakasnili.
Budući da je tehnološki div Microsoft već imao koristi od plodonosnog partnerstva s OpenAI-jem, Google nije imao izbora nego sustići ga.
Na ovogodišnjoj Google I/O konferenciji, tvrtka je objavila svoj odgovor na generativnu utrku u naoružanju umjetne inteligencije: PaLM 2. Hoće li se ovaj novi model mjeriti u performansama s OpenAI-jevim GPT-4?
Što je PaLM 2?
Google opisuje DLAN 2 kao najsuvremeniji jezični model koji poboljšava njihov postojeći model PaLM koji je prvi put najavljen 2022. Slično drugim jezičnim modelima, PaLM 2 može obavljati različite zadatke generiranja teksta, kao što je PaLM sposoban za širok raspon zadataka , uključujući odgovaranje na pitanja, prevođenje teksta, generiranje koda, I još mnogo toga.
Testovi su pokazali da PaLM 2 već pokazuje značajna poboljšanja, nadmašujući PaLM model uz korištenje mnogo manjeg broja parametara.
PaLM 2 je obitelj modela
Kao i drugi jezični modeli, PaLM 2 projekt je zapravo obitelj modela koji variraju u veličini. Google će ponuditi model PaLM 2 u četiri veličine: Gecko, Otter, Bison i Unicorn.
Raznolikost veličina olakšava implementaciju PaLM 2 u različitim slučajevima upotrebe. Na primjer, model Gecko dovoljno je lagan da cijeli model može stati u mobilni uređaj, pa čak i raditi izvan mreže.
PaLM 2 skup podataka za obuku
Jedan od najvažnijih aspekata uspješnog jezičnog modela je baza podataka treninga. Skup podataka za obuku mora biti dovoljno raznolik da omogući modelu duboko razumijevanje predmeta za koji je dizajniran.
Za velike jezične modele (LLM) obično ne postoji određena tema o kojoj se model mora učiti. LLM-ovi su umjesto toga izgrađeni kao modeli opće namjene koji moraju biti prikladni za obavljanje velikog broja zadataka. Ovi modeli koriste velike tekstualne skupove podataka koji obuhvaćaju veliki dio weba, kao i objavljeni referentni materijal, literaturu, pa čak i izvorni kod.
Glavna razlika između PaLM 2 skupa podataka za obuku i drugih modela je uključivanje većeg postotka podataka koji nisu na engleskom jeziku. Prema njihovom tehnička Prijava, proširenje skupa podataka na tekstove koji nisu na engleskom izlaže model većem broju jezika i kultura.
Model PaLM 2 također je obučen na paralelnim višejezičnim podacima kako bi model stekao mogućnost prevođenja s jednog jezika na drugi. Podaci uključuju parove teksta gdje je jedan unos na engleskom, a drugi je ekvivalentni tekst na drugom jeziku.
Gornja tablica prikazuje jezičnu distribuciju višejezičnih web dokumenata korištenih za obuku PaLM 2.
Ključne značajke PaLM 2
Ovdje su neka od glavnih područja u kojima se PaLM 2 ističe u usporedbi s drugim jezičnim modelima.
Rasuđivanje
Skup podataka PaLM 2 uključuje izvore kao što su znanstveni radovi i web sadržaj s matematičkim izrazima. To modelu daje poboljšane mogućnosti u matematici, zdravorazumskom zaključivanju i logici.
Istraživači su testirali sposobnosti modela za matematičko zaključivanje na matematičkim pitanjima u osnovnoj i srednjoj školi gdje je pokazao usporedive rezultate s matematičkim sposobnostima GPT-4.
Kodiranje
Podaci o obuci PaLM 2 također mu daju mogućnost generiranja koda u različitim programskim jezicima. Tim PALM 2 stvorio je PaLM 2 model specifičan za kodiranje pod nazivom PaLM 2-S* koji je bio obučen na višejezičnom skupu podataka koji je bogat kodovima.
Ne samo da je model sposoban za generiranje koda, već je također u stanju nositi se sa zadacima koji uključuju više jezika. Na primjer, možete zatražiti od PaLM 2 da stvori Python funkciju sortiranja koja dodaje komentare red po red na španjolskom.
Višejezičnost
Budući da je model uvježban na skupu podataka koji uključuje više od 100 jezika, PaLM 2 pokazuje stručnost u razumijevanju, generiranju i prevođenju teksta na više jezika.
Kako bi testirali višejezičnost, istraživači su testirali model na različitim testovima jezične sposobnosti na različitim jezicima. Rezultati pokazuju da ne samo da PaLM 2 nadmašuje PaLM, već je također postigao prolaznu ocjenu za svaki ocjenjivani jezik.
PaLM 2 također pokazuje svoje višejezične mogućnosti svojom sposobnošću razumijevanja idioma na različitim jezicima, objašnjavanja šala, ispravljanja pogrešaka pri upisu, a može čak i naučiti kako pretvoriti formalni tekst u kolokvijalni chat.
PaLM 2 pokreće Google proizvode
Google već iskorištava napredak PaLM 2 integracijom modela s drugim proizvodima.
Bard
Sposobnost modela da se nosi s višejezičnim zadacima sada pokreće Google Bard eksperiment jer se širi na više od 180 zemalja i teritorija.
Bard sada također koristi mogućnosti kodiranja PaLM 2 za pomoć u zadacima programiranja i razvoja softvera kao što je generiranje koda i otklanjanje pogrešaka u kodu.
Duet AI za Google Workspace
Google također planira dodati generativne AI značajke svojoj Google Workspace grupi aplikacija. Gmail i Dokumenti uskoro će sadržavati značajku tzv Duet AI koji će korisniku pomoći u skici odgovora i pisanju pomoću upita.
Duet AI također će omogućiti korisnicima stvaranje prilagođenih planova u Google tablicama za zadatke i projekte na temelju upita korisnika.
Zaključak
Google se sigurno nada da će zatvoriti prazninu na tržištu AI jezičnih alata sa svojim PaLM 2 jezičnim modelom. Iako API modela još nije javno dostupan, rezultati njihovog istraživanja pokazuju da je model dovoljno konkurentan da odgovara izvedbi GPT-4.
S Googleovom postojećom bazom korisnika, oni sigurno imaju prednost masovne prilagodbe ako se njihova umjetna inteligencija integrira u njihove usluge kao što je njihova tražilica ili njihov paket alata za produktivnost.
Ostavi odgovor