Google hè sempre stata in prima linea in a ricerca di l'IA, sfruttendu e so vaste risorse è impiegendu un numeru sustanziale di ingegneri di talentu. Tuttavia, in quantu à i mudelli di lingua, i sforzi di Google eranu tardi à u ghjocu.
Cù u giant tecnulugicu Microsoft chì hà digià benefiziu di una cullaburazione fruttuosa cù OpenAI, Google ùn avia altra scelta ma di ricuperà.
À a cunferenza di Google I / O di questu annu, a cumpagnia annuncia a so risposta à a razza generativa di l'armi AI: PaLM 2. Stu novu mudellu si metterà in u rendiment à fiancu à u GPT-4 di OpenAI?
Cosa hè PaLM 2?
Google descrive PALM 2 cum'è un mudellu di lingua di punta chì migliurà u so mudellu PaLM esistente annunziatu per a prima volta in 2022. Simile à altri mudelli di lingua, PaLM 2 hè capaci di eseguisce diversi travaglii di generazione di testu cum'è PaLM hè capaci di una larga gamma di funzioni. , cumpresi risponde à e dumande, traduzzione di testu, generà codice, è assai più.
I testi anu dimustratu chì u PaLM 2 mostra digià miglioramenti significativi, superendu u mudellu PaLM mentre utilizanu un numeru assai più bassu di parametri.
PaLM 2 hè una famiglia di mudelli
Cum'è l'altri mudelli di lingua, u prughjettu PaLM 2 hè in realtà una famiglia di mudelli chì varienu in grandezza. Google furnisce u mudellu PaLM 2 in quattru dimensioni: Gecko, Otter, Bison, è Unicorn.
A varietà di dimensioni facilita l'implementazione di PaLM 2 in diversi casi d'usu. Per esempiu, u mudellu Gecko hè abbastanza ligeru chì u mudellu tutale pò mette in un dispositivu mobile è ancu eseguitu offline.
Set di dati di furmazione di PaLM 2
Unu di l'aspettu più impurtante di un mudellu di lingua successu hè u dataset di furmazione. U dataset di furmazione deve esse abbastanza diversu per permette à u mudellu di avè una cunniscenza prufonda di u sughjettu per quale hè pensatu.
Per i grandi mudelli di lingua (LLMs), ùn ci hè tipicamente un tema specificu chì u mudellu deve furmà. I LLM sò invece custruiti per esse mudelli di scopu generale chì devenu esse adattati per realizà una larga quantità di attività. Questi mudelli utilizanu grande datasets di testu chì catturanu una grande parte di u web è ancu materiale di riferimentu publicatu, letteratura, è ancu codice fonte.
A diferenza principale trà u dataset di furmazione di PaLM 2 è altri mudelli hè l'inclusione di un percentinu più altu di dati non inglesi. Sicondu i so report tecnicu, espansione u dataset per include testi non-inglesi espone u mudellu à una varietà più larga di lingue è culture.
U mudellu PaLM 2 hè statu ancu furmatu nantu à dati multilingua paralleli per aiutà u mudellu acquistà a capacità di traduce da una lingua à l'altru. I dati includenu coppie di testu induve una voce hè in inglese è l'altru hè un testu equivalente in una altra lingua.
A tavula sopra mostra a distribuzione linguistica di i ducumenti web multilingue utilizati per furmà PaLM 2.
Caratteristiche principali di PaLM 2
Eccu alcuni di i principali spazii chì PaLM 2 eccelle in paragunatu à altri mudelli di lingua.
U ragiunamentu
U dataset di PaLM 2 include fonti cum'è documenti scientifichi è cuntenutu web cù espressioni matematiche. Questu dà u mudellu di capacità migliorate in matematica, ragiunamentu di sensu cumunu è logica.
I ricercatori anu pruvatu l'abilità di ragiunamentu matematicu di u mudellu nantu à e dumande di matematica di a scola primaria è di u liceu induve mostra risultati paragunabili à e capacità matematiche di GPT-4.
Codificazione
I dati di furmazione di PaLM 2 li dà ancu a capacità di generà codice in una varietà di linguaggi di prugrammazione. A squadra PALM 2 hà criatu un mudellu PaLM 2 specificu di codificazione chjamatu PaLM 2-S * chì hè statu furmatu nantu à un dataset multilingue pesante di codice.
U mudellu ùn hè micca solu capace di generazione di codice, ma hè ancu capaci di gestisce i travaglii chì implicanu parechje lingue. Per esempiu, pudete dumandà à PaLM 2 per creà una funzione di sorte Python chì aghjunghje cumenti linea per linea in spagnolu.
Multilingue
Siccomu u mudellu hè statu furmatu nantu à un inseme di dati chì include più di 100 lingue, PaLM 2 mostra a cumpetenza in capiscenu, generà è traduce testu in parechje lingue.
Per pruvà a multilinguismo, i circadori anu pruvatu u mudellu nantu à diversi testi di cumpetenza linguistica in diverse lingue. I risultati mostranu chì micca solu PaLM 2 supera PaLM, ma ancu ottene una nota di passaghju per ogni lingua evaluata.
PaLM 2 mostra ancu e so capacità multilingue per a so capacità di capisce l'idiomi in diverse lingue, spieghendu scherzi, corregge i sbagli di battitura, è pò ancu amparà cumu cunvertisce u testu formale in chat colloquial.
PaLM 2 Powers Google Products
Google hà digià apprufittatu di l'avanzamenti di PaLM 2 integrendu u mudellu cù altri prudutti.
Bard
L'abilità di u mudellu di gestisce i travaglii multilingue hè issa putenza di Google esperimentu di Bard cum'è si espande à più di 180 paesi è territorii.
Bard usa avà ancu e capacità di codificazione di PaLM 2 per aiutà à i travaglii di prugrammazione è di sviluppu di software cum'è generazione di codice è debugging di codice.
Duet AI per Google Workspace
Google hà ancu pianificatu di aghjunghje funzioni AI generative à u so gruppu di applicazioni Google Workspace. Gmail è Docs includeranu prestu una funzione chjamata Duetto AI chì aiuterà l'utilizatore à scrive e so risposte è scrive cù prompts.
Duet AI permetterà ancu à l'utilizatori di creà piani persunalizati in Google Sheets per i travaglii è i prughjetti basati nantu à i suggerimenti dati da l'utilizatore.
cunchiusioni
Google hè di sicuru sperendu à chjude a lacuna in u mercatu di strumenti di lingua AI cù u so mudellu di lingua PaLM 2. Mentre chì l'API di u mudellu ùn hè ancu dispunibule publicamente, i risultati di a so ricerca mostranu chì u mudellu hè abbastanza cumpetitivu per currisponde à u rendiment di GPT-4.
Cù a basa d'utilizatori esistenti di Google, anu certamente u vantaghju di l'adattazione massiva se a so AI hè integrata in i so servizii cum'è u so mutore di ricerca o a so suite di strumenti di produtividade.
Lascia un Audiolibro