Google s'ha mantingut constantment a l'avantguarda de la investigació d'IA, aprofitant els seus grans recursos i emprant un nombre substancial d'enginyers de talent. Tanmateix, pel que fa als models lingüístics, els esforços de Google van arribar tard al joc.
Amb el gegant tecnològic Microsoft que ja es beneficia d'una associació fructífera amb OpenAI, Google no va tenir més remei que posar-se al dia.
A la conferència de Google I/O d'enguany, la companyia va anunciar la seva resposta a la carrera d'armes generativa d'IA: PaLM 2. Aquest nou model mesurarà el rendiment al costat del GPT-4 d'OpenAI?
Què és PaLM 2?
Google descriu PALM 2 com a model de llenguatge d'última generació que millora el seu model PaLM existent anunciat per primera vegada el 2022. De manera similar a altres models de llenguatge, PaLM 2 és capaç de realitzar diverses tasques de generació de text, com ara PaLM és capaç de fer una àmplia gamma de tasques. , incloent respondre preguntes, traduir text, generant codi, I molt més.
Les proves han demostrat que el PaLM 2 ja mostra millores significatives, superant el model PaLM mentre utilitza un nombre molt menor de paràmetres.
PaLM 2 és una família de models
Com altres models de llenguatge, el projecte PaLM 2 és en realitat una família de models que varien en grandària. Google oferirà el model PaLM 2 en quatre mides: Gecko, Otter, Bison i Unicorn.
La varietat de mides facilita el desplegament de PaLM 2 en diversos casos d'ús. Per exemple, el model Gecko és prou lleuger perquè tot el model pugui cabre en un dispositiu mòbil i fins i tot funcionar fora de línia.
Conjunt de dades d'entrenament de PaLM 2
Un dels aspectes més importants d'un model lingüístic reeixit és el conjunt de dades de formació. El conjunt de dades de formació ha de ser prou divers com per permetre que el model tingui una comprensió profunda de la matèria per a la qual està dissenyat.
Per als grans models de llenguatge (LLM), normalment no hi ha cap tema específic sobre el qual s'hagi de formar el model. Els LLM estan dissenyats per ser models de propòsit general que han de ser aptes per dur a terme un gran nombre de tasques. Aquests models utilitzen grans conjunts de dades textuals que capturen una gran part del web, així com material de referència publicat, literatura i fins i tot codi font.
La principal diferència entre el conjunt de dades d'entrenament de PaLM 2 i altres models és la inclusió d'un percentatge més elevat de dades no angleses. Segons els seus informe tècnic, l'ampliació del conjunt de dades per incloure textos no anglesos exposa el model a una varietat més àmplia d'idiomes i cultures.
El model PaLM 2 també es va entrenar en dades multilingües paral·leles per ajudar el model a obtenir la capacitat de traduir d'un idioma a un altre. Les dades inclouen parells de text on una entrada està en anglès i l'altra és un text equivalent en un altre idioma.
La taula anterior mostra la distribució lingüística dels documents web multilingües utilitzats per entrenar PaLM 2.
Característiques clau de PaLM 2
Aquestes són algunes de les principals àrees en què destaca PaLM 2 en comparació amb altres models lingüístics.
Raonament
El conjunt de dades de PaLM 2 inclou fonts com ara articles científics i contingut web amb expressions matemàtiques. Això proporciona al model capacitats millorades en matemàtiques, raonament de sentit comú i lògica.
Els investigadors van provar les habilitats de raonament matemàtic del model en preguntes de matemàtiques de primària i secundària on mostra resultats comparables a les capacitats matemàtiques de GPT-4.
Codificació
Les dades d'entrenament de PaLM 2 també li donen la possibilitat de generar codi en una varietat de llenguatges de programació. L'equip de PALM 2 va crear un model PaLM 2 específic per a la codificació anomenat PaLM 2-S* que es va entrenar en un conjunt de dades multilingüe amb molt de codi.
El model no només és capaç de generar codi, sinó que també és capaç de gestionar tasques que impliquen diversos idiomes. Per exemple, podeu demanar a PaLM 2 que creï una funció d'ordenació de Python que afegeixi comentaris línia per línia en espanyol.
Multilingüisme
Com que el model es va entrenar en un conjunt de dades que inclou més de 100 idiomes, PaLM 2 mostra competència per entendre, generar i traduir text en diversos idiomes.
Per provar el multilingüisme, els investigadors van provar el model en diverses proves de competència lingüística en diferents idiomes. Els resultats mostren que el PaLM 2 no només supera el PaLM, sinó que també va obtenir una nota d'aprovació per a cada idioma avaluat.
PaLM 2 també mostra les seves capacitats multilingües per la seva capacitat d'entendre modismes en diferents idiomes, explicar acudits, corregir errors d'ortografia i fins i tot pot aprendre a convertir text formal en xat col·loquial.
PaLM 2 impulsa els productes de Google
Google ja està aprofitant els avenços de PaLM 2 integrant el model amb altres productes.
Bard
La capacitat del model per gestionar tasques multilingües ara impulsa Google Experiment Bard a mesura que s'expandeix a més de 180 països i territoris.
Ara Bard també utilitza les capacitats de codificació de PaLM 2 per ajudar en tasques de programació i desenvolupament de programari, com ara la generació de codi i la depuració de codi.
Duet AI per a Google Workspace
Google també té previst afegir funcions d'IA generativa al seu grup d'aplicacions Google Workspace. Gmail i Docs inclouran aviat una funció anomenada Duet AI que ajudarà l'usuari a redactar les seves respostes i escriure mitjançant indicacions.
Duet AI també permetrà als usuaris crear plans personalitzats a Fulls de càlcul de Google per a tasques i projectes basats en les indicacions donades per l'usuari.
Conclusió
Google segurament espera tancar la bretxa al mercat d'eines de llenguatge d'IA amb el seu model d'idioma PaLM 2. Tot i que l'API del model encara no està disponible públicament, els resultats de la seva investigació mostren que el model és prou competitiu per igualar el rendiment de GPT-4.
Amb la base d'usuaris existent de Google, sens dubte tenen l'avantatge d'una adaptació massiva si la seva IA s'integra als seus serveis, com ara el seu motor de cerca o el seu conjunt d'eines de productivitat.
Deixa un comentari