Google è rimasta costantemente in prima linea nella ricerca sull'IA, sfruttando le sue vaste risorse e impiegando un numero considerevole di ingegneri di grande talento. Tuttavia, in termini di modelli linguistici, gli sforzi di Google sono arrivati tardi.
Con il gigante tecnologico Microsoft che già beneficiava di una fruttuosa partnership con OpenAI, Google non aveva altra scelta che mettersi al passo.
Alla conferenza I/O di Google di quest'anno, l'azienda ha annunciato la sua risposta alla corsa agli armamenti dell'IA generativa: PaLM 2. Questo nuovo modello sarà all'altezza delle prestazioni rispetto a GPT-4 di OpenAI?
Cos'è PaLM 2?
Google descrive PALMA 2 come modello linguistico all'avanguardia che migliora il modello PaLM esistente annunciato per la prima volta nel 2022. Similmente ad altri modelli linguistici, PaLM 2 è in grado di eseguire varie attività di generazione di testo come PaLM è in grado di eseguire un'ampia gamma di attività , tra cui rispondere a domande, tradurre testi, codice di generazione, E molto altro ancora.
I test hanno dimostrato che il PaLM 2 mostra già miglioramenti significativi, superando il modello PaLM pur utilizzando un numero di parametri molto inferiore.
PaLM 2 è una famiglia di modelli
Come altri modelli linguistici, il progetto PaLM 2 è in realtà una famiglia di modelli di dimensioni variabili. Google fornirà il modello PaLM 2 in quattro dimensioni: Gecko, Otter, Bison e Unicorn.
La varietà di dimensioni semplifica l'implementazione di PaLM 2 in vari casi d'uso. Ad esempio, il modello Gecko è abbastanza leggero da poter essere inserito nell'intero modello in un dispositivo mobile e persino eseguito offline.
Set di dati sull'addestramento di PaLM 2
Uno degli aspetti più importanti di un modello linguistico di successo è il set di dati di addestramento. Il set di dati di addestramento deve essere sufficientemente diversificato da consentire al modello di comprendere a fondo l'oggetto per cui è progettato.
Per i modelli di linguaggi di grandi dimensioni (LLM), in genere non esiste un argomento specifico su cui il modello deve addestrarsi. Gli LLM sono invece costruiti per essere modelli generici che devono essere adatti a svolgere un ampio numero di compiti. Questi modelli utilizzano set di dati testuali di grandi dimensioni che catturano un'ampia porzione del Web, nonché materiale di riferimento pubblicato, letteratura e persino codice sorgente.
La principale differenza tra il set di dati di addestramento di PaLM 2 e altri modelli è l'inclusione di una percentuale più elevata di dati non in lingua inglese. Secondo il loro relazione tecnica, l'espansione del set di dati per includere testi non in inglese espone il modello a una più ampia varietà di lingue e culture.
Il modello PaLM 2 è stato anche addestrato su dati multilingue paralleli per aiutare il modello ad acquisire la capacità di tradurre da una lingua all'altra. I dati includono coppie di testo in cui una voce è in inglese e l'altra è un testo equivalente in un'altra lingua.
La tabella sopra mostra la distribuzione linguistica dei documenti web multilingue utilizzati per addestrare PaLM 2.
Caratteristiche principali di PaLM 2
Ecco alcune delle aree principali in cui PaLM 2 eccelle rispetto ad altri modelli linguistici.
Ragionamento
Il set di dati di PaLM 2 include fonti come articoli scientifici e contenuti web con espressioni matematiche. Ciò conferisce al modello migliori capacità in matematica, ragionamento basato sul buon senso e logica.
I ricercatori hanno testato le capacità di ragionamento matematico del modello su domande di matematica delle scuole elementari e superiori in cui mostra risultati comparabili alle capacità matematiche di GPT-4.
codifica
I dati di addestramento di PaLM 2 gli danno anche la possibilità di generare codice in una varietà di linguaggi di programmazione. Il team PALM 2 ha creato un modello PaLM 2 specifico per la codifica chiamato PaLM 2-S* che è stato addestrato su un set di dati multilingue ricco di codice.
Il modello non solo è in grado di generare codice, ma è anche in grado di gestire attività che coinvolgono più lingue. Ad esempio, puoi chiedere a PaLM 2 di creare una funzione di ordinamento Python che aggiunga commenti riga per riga in spagnolo.
multilinguismo
Poiché il modello è stato addestrato su un set di dati che include oltre 100 lingue, PaLM 2 mostra competenza nella comprensione, generazione e traduzione di testo in più lingue.
Per testare il multilinguismo, i ricercatori hanno testato il modello su vari test di competenza linguistica in diverse lingue. I risultati mostrano che non solo PaLM 2 supera PaLM, ma ha anche ottenuto un voto positivo per ogni lingua valutata.
PaLM 2 mostra anche le sue capacità multilingue grazie alla sua capacità di comprendere idiomi in diverse lingue, spiegare barzellette, correggere errori di battitura e può persino imparare a convertire il testo formale in chat colloquiale.
PaLM 2 potenzia i prodotti Google
Google sta già sfruttando i progressi di PaLM 2 integrando il modello con altri prodotti.
Vate
La capacità del modello di gestire attività multilingue è ora alla base di Google Esperimento del Bardo mentre si espande in oltre 180 paesi e territori.
Bard ora utilizza anche le capacità di codifica di PaLM 2 per assistere nelle attività di programmazione e sviluppo software come la generazione del codice e il debug del codice.
Duet AI per Google Workspace
Google sta inoltre pianificando di aggiungere funzionalità di intelligenza artificiale generativa al suo gruppo di applicazioni Google Workspace. Gmail e Docs includeranno presto una funzione chiamata Duetto AI che aiuterà l'utente a redigere le proprie risposte e scrivere utilizzando i prompt.
Duet AI consentirà inoltre agli utenti di creare piani personalizzati in Fogli Google per attività e progetti in base alle richieste fornite dall'utente.
Conclusione
Google spera sicuramente di colmare il divario nel mercato degli strumenti linguistici AI con il suo modello linguistico PaLM 2. Sebbene l'API del modello non sia ancora disponibile al pubblico, i risultati della loro ricerca mostrano che il modello è abbastanza competitivo da eguagliare le prestazioni di GPT-4.
Con la base di utenti esistente di Google, hanno sicuramente il vantaggio di un adattamento massiccio se la loro intelligenza artificiale viene integrata nei loro servizi come il loro motore di ricerca o la loro suite di strumenti di produttività.
Lascia un Commento