Patuloy na nanatili ang Google sa unahan ng pananaliksik sa AI, na ginagamit ang malawak nitong mapagkukunan at gumagamit ng malaking bilang ng mga nangungunang inhinyero. Gayunpaman, sa mga tuntunin ng mga modelo ng wika, ang mga pagsisikap ng Google ay huli sa laro.
Dahil nakikinabang na ang tech giant na Microsoft mula sa isang mabungang pakikipagsosyo sa OpenAI, walang pagpipilian ang Google kundi humabol.
Sa Google I/O conference ngayong taon, inihayag ng kumpanya ang sagot nito sa generative AI arms race: PaLM 2. Masusukat ba ang bagong modelong ito sa performance kasama ng OpenAI's GPT-4?
Ano ang PaLM 2?
Inilalarawan ng Google PALAD 2 bilang isang makabagong modelo ng wika na nagpapahusay sa kanilang kasalukuyang modelo ng PaLM na unang inanunsyo noong 2022. Katulad ng iba pang mga modelo ng wika, ang PaLM 2 ay nakakagawa ng iba't ibang mga gawain sa pagbuo ng teksto tulad ng PaLM ay may kakayahang magsagawa ng malawak na hanay ng mga gawain , kabilang ang pagsagot sa mga tanong, pagsasalin ng teksto, pagbuo ng code, At higit pa.
Ipinakita ng mga pagsubok na ang PaLM 2 ay nagpapakita na ng mga makabuluhang pagpapabuti, na higit na mahusay sa modelo ng PaLM habang gumagamit ng mas mababang bilang ng mga parameter.
Ang PaLM 2 ay isang Pamilya ng mga Modelo
Tulad ng ibang mga modelo ng wika, ang proyekto ng PaLM 2 ay talagang isang pamilya ng mga modelo na may sukat. Ibibigay ng Google ang modelong PaLM 2 sa apat na laki: Tuko, Otter, Bison, at Unicorn.
Pinapadali ng iba't ibang laki ang pag-deploy ng PaLM 2 sa iba't ibang sitwasyon ng paggamit. Halimbawa, ang modelo ng Gecko ay sapat na magaan na ang buong modelo ay maaaring magkasya sa isang mobile device at kahit na tumakbo offline.
Dataset ng Pagsasanay ng PaLM 2
Isa sa pinakamahalagang aspeto ng isang matagumpay na modelo ng wika ay ang dataset ng pagsasanay. Ang set ng pagsasanay ay dapat sapat na magkakaibang upang bigyang-daan ang modelo na magkaroon ng malalim na pag-unawa sa paksa kung saan ito idinisenyo.
Para sa mga malalaking modelo ng wika (LLM), karaniwang walang partikular na paksa na dapat sanayin ang modelo. Ang mga LLM ay sa halip ay itinayo upang maging pangkalahatang layunin na mga modelo na dapat na akma upang magsagawa ng malawak na bilang ng mga gawain. Gumagamit ang mga modelong ito ng malalaking tekstuwal na dataset na kumukuha ng malaking bahagi ng web pati na rin ang na-publish na reference na materyal, literatura, at maging ang source code.
Ang pangunahing pagkakaiba sa pagitan ng dataset ng pagsasanay ng PaLM 2 at iba pang mga modelo ay ang pagsasama ng mas mataas na porsyento ng data na hindi Ingles. Ayon sa kanilang teknikal na ulat, ang pagpapalawak ng dataset upang magsama ng mga tekstong hindi Ingles ay naglalantad sa modelo sa mas malawak na iba't ibang mga wika at kultura.
Ang modelo ng PaLM 2 ay sinanay din sa parallel multilingual na data upang matulungan ang modelo na magkaroon ng kakayahang magsalin mula sa isang wika patungo sa isa pa. Kasama sa data ang mga pares ng text kung saan ang isang entry ay nasa English at ang isa ay katumbas na text sa ibang wika.
Ipinapakita ng talahanayan sa itaas ang pamamahagi ng wika ng mga multilinggwal na dokumento sa web na ginagamit upang sanayin ang PaLM 2.
Mga Pangunahing Tampok ng PaLM 2
Narito ang ilan sa mga pangunahing lugar kung saan nangunguna ang PaLM 2 kumpara sa ibang mga modelo ng wika.
pangangatwiran
Kasama sa dataset ng PaLM 2 ang mga mapagkukunan gaya ng mga siyentipikong papel at nilalaman sa web na may mga mathematical na expression. Nagbibigay ito sa modelo ng mga pinahusay na kakayahan sa matematika, pangangatwiran ng sentido komun, at lohika.
Sinubukan ng mga mananaliksik ang mga kakayahan sa pangangatwiran sa matematika ng modelo sa mga tanong sa matematika sa grade school at high school kung saan nagpapakita ito ng mga maihahambing na resulta sa mga kakayahan sa matematika ng GPT-4.
coding
Ang data ng pagsasanay ng PaLM 2 ay nagbibigay din dito ng kakayahang makabuo ng code sa iba't ibang mga programming language. Ang PALM 2 team ay lumikha ng isang coding-specific na modelo ng PaLM 2 na tinatawag na PaLM 2-S* na sinanay sa isang code-heavy multilingual dataset.
Hindi lamang ang modelo ay may kakayahang bumuo ng code, ngunit ito rin ay may kakayahang pangasiwaan ang mga gawain na kinasasangkutan ng maraming wika. Halimbawa, maaari mong hilingin sa PaLM 2 na gumawa ng Python sorting function na nagdaragdag ng mga linya-by-line na komento sa Spanish.
Multilinguality
Dahil ang modelo ay sinanay sa isang dataset na kinabibilangan ng mahigit 100 wika, ang PaLM 2 ay nagpapakita ng kahusayan sa pag-unawa, pagbuo, at pagsasalin ng text sa maraming wika.
Upang subukan ang multilinggwalidad, sinubukan ng mga mananaliksik ang modelo sa iba't ibang pagsusulit sa kasanayan sa wika sa iba't ibang wika. Ang mga resulta ay nagpapakita na ang PaLM 2 ay hindi lamang nangunguna sa PaLM ngunit nakakamit din ng isang passing grade para sa bawat nasuri na wika.
Ipinapakita rin ng PaLM 2 ang mga kakayahan nitong multilinggwal sa pamamagitan ng kakayahang umunawa ng mga idyoma sa iba't ibang wika, pagpapaliwanag ng mga biro, pag-aayos ng mga typo, at maaari pang matutunan kung paano i-convert ang pormal na teksto sa colloquial na chat.
Pinapalakas ng PaLM 2 ang Mga Produkto ng Google
Sinasamantala na ng Google ang mga pagsulong ng PaLM 2 sa pamamagitan ng pagsasama ng modelo sa iba pang mga produkto.
Bard
Ang kakayahan ng modelo na pangasiwaan ang mga multilinggwal na gawain ay pinapagana na ngayon ang Google Eksperimento ni Bard habang lumalawak ito sa mahigit 180 bansa at teritoryo.
Ginagamit na rin ngayon ni Bard ang mga kakayahan sa coding ng PaLM 2 para tumulong sa mga gawain sa programming at software development gaya ng pagbuo ng code at pag-debug ng code.
Duet AI para sa Google Workspace
Nagpaplano rin ang Google na magdagdag ng mga generative na feature ng AI sa pangkat ng mga application nito sa Google Workspace. Malapit nang magsama ang Gmail at Docs ng feature na tinatawag Duet AI na makakatulong sa user na mag-draft ng kanilang mga tugon at pagsulat gamit ang mga prompt.
Papayagan din ng Duet AI ang mga user na gumawa ng mga custom na plano sa Google Sheets para sa mga gawain at proyekto batay sa mga prompt na ibinigay ng user.
Konklusyon
Tiyak na umaasa ang Google na isara ang puwang sa merkado ng mga tool sa wika ng AI sa kanilang modelo ng wikang PaLM 2. Bagama't hindi pa available sa publiko ang API ng modelo, ipinapakita ng mga resulta mula sa kanilang pananaliksik na sapat na mapagkumpitensya ang modelo upang tumugma sa pagganap ng GPT-4.
Sa umiiral nang user base ng Google, tiyak na mayroon silang bentahe ng malawakang adaption kung ang kanilang AI ay maisasama sa kanilang mga serbisyo tulad ng kanilang search engine o kanilang hanay ng mga tool sa pagiging produktibo.
Mag-iwan ng Sagot