Google on jatkuvasti pysynyt tekoälytutkimuksen kärjessä hyödyntäen valtavia resurssejaan ja työllistäen huomattavan määrän huippukykyisiä insinöörejä. Kielimallien osalta Googlen ponnistelut olivat kuitenkin myöhässä.
Teknologiajätti Microsoft on jo hyötynyt hedelmällisestä kumppanuudesta OpenAI:n kanssa, joten Googlella ei ollut muuta vaihtoehtoa kuin kuroa kiinni.
Tämän vuoden Google I/O -konferenssissa yritys julkisti vastauksensa generatiiviseen tekoälyn asekilpailuun: PaLM 2. Mittaako tämä uusi malli suorituskyvyssä OpenAI:n GPT-4:n rinnalla?
Mikä on PaLM 2?
Google kuvailee PALM 2 huippuluokan kielimallina, joka parantaa heidän olemassa olevaa PaLM-malliaan, joka julkistettiin ensimmäisen kerran vuonna 2022. Muiden kielimallien tapaan PaLM 2 pystyy suorittamaan erilaisia tekstin luontitehtäviä, kuten PaLM pystyy monenlaisiin tehtäviin , mukaan lukien kysymyksiin vastaaminen, tekstin kääntäminen, koodin luominen, ja paljon enemmän.
Testit ovat osoittaneet, että PaLM 2:ssa on jo merkittäviä parannuksia, jotka ylittävät PaLM-mallin, mutta käyttävät paljon pienempää määrää parametreja.
PaLM 2 on malliperhe
Kuten muutkin kielimallit, PaLM 2 -projekti on itse asiassa malliperhe, jonka koko vaihtelee. Google toimittaa PaLM 2 -mallin neljässä koossa: Gecko, Otter, Bison ja Unicorn.
Eri kokojen ansiosta PaLM 2 on helppo ottaa käyttöön erilaisissa käyttötilanteissa. Esimerkiksi Gecko-malli on tarpeeksi kevyt, jotta koko malli mahtuu mobiililaitteeseen ja toimii jopa offline-tilassa.
PaLM 2:n koulutustietojoukko
Yksi onnistuneen kielimallin tärkeimmistä puolista on koulutustiedot. Koulutustietojoukon on oltava riittävän monipuolinen, jotta mallilla on syvä ymmärrys aiheesta, johon se on suunniteltu.
Suurille kielimalleille (LLM) ei yleensä ole erityistä aihetta, josta mallin on harjoitettava. LLM:t on sen sijaan rakennettu yleiskäyttöisiksi malleiksi, joiden on sovelluttava useiden tehtävien suorittamiseen. Nämä mallit käyttävät suuria tekstitietojoukkoja, jotka kaappaavat suuren osan verkosta sekä julkaistua viitemateriaalia, kirjallisuutta ja jopa lähdekoodia.
Suurin ero PaLM 2:n harjoitustietojoukon ja muiden mallien välillä on suurempi prosenttiosuus ei-englanninkielistä dataa. Heidän mukaansa tekninen raportti, tietojoukon laajentaminen sisältämään ei-englanninkieliset tekstit paljastaa mallin useammille kielille ja kulttuureille.
PaLM 2 -mallia koulutettiin myös rinnakkaiseen monikieliseen dataan, jotta malli saisi kyvyn kääntää kielestä toiseen. Tiedot sisältävät tekstipareja, joista toinen on englanninkielinen ja toinen vastaava teksti toisella kielellä.
Yllä oleva taulukko näyttää PaLM 2:n kouluttamiseen käytettyjen monikielisten verkkodokumenttien kielijakauman.
PaLM 2:n tärkeimmät ominaisuudet
Tässä on joitain pääalueita, joilla PaLM 2 loistaa muihin kielimalleihin verrattuna.
perustelut
PaLM 2:n tietoaineisto sisältää lähteitä, kuten tieteellisiä artikkeleita ja verkkosisältöä matemaattisilla lausekkeilla. Tämä antaa mallille paremmat kyvyt matematiikassa, tervejärkisessä päättelyssä ja logiikassa.
Tutkijat testasivat mallin matemaattisia päättelykykyjä peruskoulun ja lukion matemaattisissa kysymyksissä, joissa se näyttää vertailukelpoisia tuloksia GPT-4:n matemaattisten kykyjen kanssa.
Koodaus
PaLM 2:n harjoitustiedot antavat sille myös mahdollisuuden luoda koodia useilla ohjelmointikielillä. PALM 2 -tiimi loi koodauskohtaisen PaLM 2 -mallin nimeltä PaLM 2-S*, joka oli koulutettu monikieliselle tietojoukolle.
Malli ei ainoastaan pysty luomaan koodia, vaan se pystyy myös käsittelemään tehtäviä, joihin liittyy useita kieliä. Voit esimerkiksi pyytää PaLM 2:ta luomaan Python-lajittelutoiminnon, joka lisää rivi riviltä kommentteja espanjaksi.
Monikielisyys
Koska malli on koulutettu tietojoukolle, joka sisältää yli 100 kieltä, PaLM 2 osoittaa kykyä ymmärtää, luoda ja kääntää tekstiä useilla kielillä.
Monikielisyyden testaamiseksi tutkijat testasivat mallia erilaisilla kielitaitotesteillä eri kielillä. Tulokset osoittavat, että PaLM 2 ei ainoastaan suorita PaLM:a, vaan saavutti myös hyväksytyn arvosanan jokaisesta arvioidusta kielestä.
PaLM 2 osoittaa monikielisyytensä myös kyvyllään ymmärtää eri kielten sanoja, selittää vitsejä, korjata kirjoitusvirheitä ja jopa oppia muuttamaan muodollisen tekstin puhekieleksi.
PaLM 2 tehostaa Googlen tuotteita
Google hyödyntää jo PaLM 2:n edistysaskeleita integroimalla mallin muihin tuotteisiin.
Bardi
Mallin kyky käsitellä monikielisiä tehtäviä on nyt Googlen tehonlähde Bardin kokeilu kun se laajenee yli 180 maahan ja alueelle.
Bard käyttää nyt myös PaLM 2:n koodausominaisuuksia ohjelmointi- ja ohjelmistokehitystehtävissä, kuten koodin luomisessa ja koodin virheenkorjauksessa.
Duet AI Google Workspacelle
Google suunnittelee myös luovien tekoälyominaisuuksien lisäämistä Google Workspace -sovellusryhmään. Gmail ja Docs sisältävät pian ominaisuuden nimeltä Duetti AI joka auttaa käyttäjää laatimaan vastauksensa ja kirjoittamaan kehotteiden avulla.
Duet AI antaa käyttäjien myös luoda mukautettuja suunnitelmia Google Sheetsissä tehtäville ja projekteille käyttäjän antamien kehotteiden perusteella.
Yhteenveto
Google toivoo varmasti sulkevansa AI-kielityökalujen markkinoiden aukon PaLM 2 -kielimallillaan. Vaikka mallin API ei ole vielä julkisesti saatavilla, heidän tutkimuksensa tulokset osoittavat, että malli on tarpeeksi kilpailukykyinen vastaamaan GPT-4:n suorituskykyä.
Googlen nykyisen käyttäjäkunnan ansiosta heillä on varmasti suuri sopeutumisetu, jos heidän tekoälynsä integroituu heidän palveluihinsa, kuten hakukoneeseensa tai tuottavuustyökaluihinsa.
Jätä vastaus