Google je dosljedno ostao na čelu istraživanja AI, koristeći svoje ogromne resurse i zapošljavajući značajan broj vrhunskih inženjera. Međutim, u pogledu jezičkih modela, Googleovi napori su zakasnili u igri.
Budući da tehnološki gigant Microsoft već ima koristi od plodnog partnerstva sa OpenAI-om, Google nije imao izbora nego da sustigne korak.
Na ovogodišnjoj Google I/O konferenciji, kompanija je objavila svoj odgovor na generativnu AI trku u naoružanju: PaLM 2. Hoće li se ovaj novi model mjeriti u performansama uz OpenAI GPT-4?
Šta je PaLM 2?
Google opisuje DLAN 2 kao najsavremeniji jezički model koji poboljšava njihov postojeći PaLM model koji je prvi put najavljen 2022. Slično drugim jezičkim modelima, PaLM 2 je u stanju da obavlja različite zadatke generisanja teksta kao što je PaLM sposoban za širok spektar zadataka , uključujući odgovaranje na pitanja, prevođenje teksta, generisanje koda, i mnogo više.
Testovi su pokazali da PaLM 2 već pokazuje značajna poboljšanja, nadmašujući PaLM model dok koristi mnogo manji broj parametara.
PaLM 2 je porodica modela
Kao i drugi jezički modeli, PaLM 2 projekat je zapravo porodica modela različitih veličina. Google će ponuditi PaLM 2 model u četiri veličine: Gecko, Otter, Bison i Unicorn.
Raznolikost veličina olakšava postavljanje PaLM 2 u različitim slučajevima upotrebe. Na primjer, Gecko model je dovoljno lagan da cijeli model može stati u mobilni uređaj, pa čak i raditi van mreže.
PaLM 2's Training Dataset
Jedan od najvažnijih aspekata uspješnog jezičkog modela je skup podataka za obuku. Skup podataka za obuku mora biti dovoljno raznolik da omogući modelu da duboko razumije predmet za koji je dizajniran.
Za velike jezičke modele (LLM) obično ne postoji posebna tema o kojoj model mora trenirati. Umjesto toga, LLM-ovi su napravljeni da budu modeli opće namjene koji moraju biti prikladni za obavljanje velikog broja zadataka. Ovi modeli koriste velike tekstualne skupove podataka koji obuhvataju veliki dio weba, kao i objavljeni referentni materijal, literaturu, pa čak i izvorni kod.
Glavna razlika između PaLM 2 skupa podataka za obuku i drugih modela je uključivanje većeg procenta podataka koji nisu na engleskom. Prema njihovim tehnički izvještaj, proširenje skupa podataka na tekstove koji nisu na engleskom izlaže model širem spektru jezika i kultura.
PaLM 2 model je također obučen na paralelnim višejezičnim podacima kako bi pomogao modelu da stekne sposobnost prevođenja s jednog jezika na drugi. Podaci uključuju parove teksta gdje je jedan unos na engleskom, a drugi je ekvivalentan tekst na drugom jeziku.
Gornja tabela prikazuje distribuciju jezika višejezičnih web dokumenata koji se koriste za obuku PaLM 2.
Ključne karakteristike PaLM 2
Evo nekih od glavnih oblasti u kojima se PaLM 2 ističe u poređenju sa drugim jezičkim modelima.
Obrazloženje
PaLM 2 skup podataka uključuje izvore kao što su naučni radovi i web sadržaj sa matematičkim izrazima. Ovo modelu daje poboljšane sposobnosti u matematici, zdravom razumu i logici.
Istraživači su testirali sposobnosti matematičkog zaključivanja modela na matematičkim pitanjima u osnovnoj i srednjoj školi gdje pokazuje rezultate uporedive sa matematičkim sposobnostima GPT-4.
Kodiranje
Podaci o obuci PaLM 2 takođe mu daju mogućnost da generiše kod u različitim programskim jezicima. Tim PALM 2 kreirao je model PaLM 2 specifičan za kodiranje pod nazivom PaLM 2-S* koji je bio obučen na višejezičnom skupu podataka s teškim kodom.
Ne samo da je model sposoban za generiranje koda, već je također u stanju nositi se sa zadacima koji uključuju više jezika. Na primjer, možete zamoliti PaLM 2 da kreira Python funkciju sortiranja koja dodaje komentare red po red na španskom.
Višejezičnost
Budući da je model obučen na skupu podataka koji uključuje preko 100 jezika, PaLM 2 pokazuje stručnost u razumijevanju, generiranju i prevođenju teksta na više jezika.
Kako bi testirali višejezičnost, istraživači su testirali model na različitim testovima poznavanja jezika na različitim jezicima. Rezultati pokazuju da ne samo da PaLM 2 nadmašuje PaLM već je postigao i prolaznu ocjenu za svaki evaluirani jezik.
PaLM 2 takođe pokazuje svoje višejezične sposobnosti svojom sposobnošću da razume idiome na različitim jezicima, objašnjava viceve, ispravlja greške u kucanju, pa čak može da nauči kako da konvertuje formalni tekst u kolokvijalni razgovor.
PaLM 2 pokreće Google proizvode
Google već koristi prednosti PaLM 2 napretka integracijom modela sa drugim proizvodima.
bard
Sposobnost modela da se nosi sa višejezičnim zadacima sada pokreće Googleovu Bard eksperiment jer se širi na preko 180 zemalja i teritorija.
Bard sada takođe koristi mogućnosti kodiranja PaLM 2 da pomogne u programiranju i zadacima razvoja softvera kao što su generisanje koda i otklanjanje grešaka koda.
Duet AI za Google Workspace
Google također planira dodati generativne AI funkcije u svoju Google Workspace grupu aplikacija. Gmail i Dokumenti će uskoro uključiti funkciju pod nazivom Duet AI koji će pomoći korisniku da nacrte svoje odgovore i piše koristeći upite.
Duet AI će također omogućiti korisnicima da kreiraju prilagođene planove u Google Sheets-u za zadatke i projekte na osnovu upita korisnika.
zaključak
Google se sigurno nada da će zatvoriti jaz na tržištu AI jezičkih alata sa svojim PaLM 2 jezičkim modelom. Iako API modela još nije javno dostupan, rezultati njihovog istraživanja pokazuju da je model dovoljno konkurentan da bi mogao da parira performansama GPT-4.
Uz Googleovu postojeću korisničku bazu, oni svakako imaju prednost masovne adaptacije ako se njihova umjetna inteligencija integrira u njihove usluge kao što je njihov pretraživač ili njihov skup alata za produktivnost.
Ostavite odgovor