Google a rămas constant în fruntea cercetării AI, valorificând resursele sale vaste și angajând un număr substanțial de ingineri de top. Cu toate acestea, în ceea ce privește modelele lingvistice, eforturile Google au întârziat jocul.
Cu gigantul tehnologic Microsoft beneficiind deja de un parteneriat fructuos cu OpenAI, Google nu a avut de ales decât să ajungă din urmă.
La conferința Google I/O din acest an, compania și-a anunțat răspunsul la cursa generativă a înarmărilor AI: PaLM 2. Va măsura performanța acestui nou model alături de GPT-4 de la OpenAI?
Ce este PaLM 2?
Google descrie PALM 2 ca model de limbaj de ultimă generație, care îmbunătățește modelul lor PaLM existent, anunțat pentru prima dată în 2022. Similar cu alte modele de limbaj, PaLM 2 este capabil să realizeze diverse sarcini de generare de text, cum ar fi PaLM este capabil de o gamă largă de sarcini. , inclusiv răspunsul la întrebări, traducerea textului, generarea codului, Și mult mai mult.
Testele au arătat că PaLM 2 prezintă deja îmbunătățiri semnificative, depășind modelul PaLM în timp ce utilizează un număr mult mai mic de parametri.
PaLM 2 este o familie de modele
Ca și alte modele lingvistice, proiectul PaLM 2 este de fapt o familie de modele care variază în dimensiune. Google va oferi modelul PaLM 2 în patru dimensiuni: Gecko, Otter, Bison și Unicorn.
Varietatea dimensiunilor facilitează implementarea PaLM 2 în diferite cazuri de utilizare. De exemplu, modelul Gecko este suficient de ușor pentru ca întregul model să se potrivească într-un dispozitiv mobil și chiar să ruleze offline.
Setul de date de antrenament al PaLM 2
Unul dintre cele mai importante aspecte ale unui model lingvistic de succes este set de date de antrenament. Setul de date de instruire trebuie să fie suficient de divers pentru a permite modelului să aibă o înțelegere profundă a subiectului pentru care este proiectat.
Pentru modelele lingvistice mari (LLM), nu există de obicei un subiect specific asupra căruia modelul trebuie să se antreneze. LLM-urile sunt în schimb construite pentru a fi modele de uz general care trebuie să fie potrivite pentru a îndeplini un număr mare de sarcini. Aceste modele folosesc seturi de date textuale mari care captează o mare parte a webului, precum și materiale de referință publicate, literatură și chiar cod sursă.
Principala diferență între setul de date de antrenament al lui PaLM 2 și alte modele este includerea unui procent mai mare de date non-engleze. Potrivit lor Raportul tehnic, extinderea setului de date pentru a include texte non-engleze expune modelul la o varietate mai mare de limbi și culturi.
Modelul PaLM 2 a fost, de asemenea, instruit pe date multilingve paralele pentru a ajuta modelul să câștige capacitatea de a traduce dintr-o limbă în alta. Datele includ perechi de text în care o intrare este în engleză, iar cealaltă este un text echivalent într-o altă limbă.
Tabelul de mai sus arată distribuția lingvistică a documentelor web multilingve utilizate pentru antrenamentul PaLM 2.
Caracteristici cheie ale PaLM 2
Iată câteva dintre principalele domenii în care PaLM 2 excelează în comparație cu alte modele de limbaj.
Raţionament
Setul de date al PaLM 2 include surse precum lucrări științifice și conținut web cu expresii matematice. Acest lucru oferă modelului capacități îmbunătățite în matematică, raționament de bun simț și logică.
Cercetătorii au testat abilitățile de raționament matematic ale modelului pe întrebări de matematică din școala generală și din liceu, unde arată rezultate comparabile cu capacitățile matematice ale GPT-4.
Codificare
Datele de antrenament ale lui PaLM 2 îi oferă, de asemenea, capacitatea de a genera cod într-o varietate de limbaje de programare. Echipa PALM 2 a creat un model PaLM 2 specific pentru codificare, numit PaLM 2-S*, care a fost antrenat pe un set de date multilingv cu mult cod.
Nu numai că modelul este capabil să genereze cod, dar este și capabil să se ocupe de sarcini care implică mai multe limbi. De exemplu, puteți cere lui PaLM 2 să creeze o funcție de sortare Python care adaugă comentarii rând cu linie în spaniolă.
Multilingvitate
Deoarece modelul a fost antrenat pe un set de date care include peste 100 de limbi, PaLM 2 arată competență în înțelegerea, generarea și traducerea textului în mai multe limbi.
Pentru a testa multilingvitatea, cercetătorii au testat modelul pe diverse teste de competență lingvistică în diferite limbi. Rezultatele arată că nu numai că PaLM 2 depășește PaLM, dar a obținut și o notă de trecere pentru fiecare limbă evaluată.
PaLM 2 își arată, de asemenea, capacitățile sale multilingve prin capacitatea sa de a înțelege idiomuri în diferite limbi, explicând glume, reparând greșeli de tipar și poate chiar să învețe cum să convertești textul formal în chat-ul colocvial.
PaLM 2 alimentează produsele Google
Google profită deja de progresele PaLM 2 prin integrarea modelului cu alte produse.
Bard
Capacitatea modelului de a gestiona sarcini multilingve este acum la putere pe Google Experimentul Bard pe măsură ce se extinde în peste 180 de țări și teritorii.
Bard folosește acum și capabilitățile de codare ale lui PaLM 2 pentru a ajuta la programarea și activitățile de dezvoltare software, cum ar fi generarea de cod și depanarea codului.
Duet AI pentru Google Workspace
De asemenea, Google intenționează să adauge funcții AI generative grupului său de aplicații Google Workspace. Gmail și Docs vor include în curând o funcție numită Duet AI care va ajuta utilizatorul să își redacteze răspunsurile și să scrie folosind prompturi.
Duet AI va permite utilizatorilor să creeze planuri personalizate în Foi de calcul Google pentru sarcini și proiecte pe baza solicitărilor date de utilizator.
Concluzie
Google speră cu siguranță să reducă decalajul de pe piața instrumentelor de limbaj AI cu modelul lor de limbaj PaLM 2. Deși API-ul modelului nu este încă disponibil public, rezultatele cercetării lor arată că modelul este suficient de competitiv pentru a se potrivi cu performanța GPT-4.
Cu baza de utilizatori Google existentă, aceștia au cu siguranță avantajul adaptării masive dacă AI-ul lor devine integrat în serviciile lor, cum ar fi motorul de căutare sau suita lor de instrumente de productivitate.
Lasă un comentariu