„Google“ nuolat išliko AI tyrimų priešakyje, naudodama didžiulius išteklius ir įdarbindama daug talentingų inžinierių. Tačiau kalbant apie kalbos modelius, „Google“ pastangos vėlavo.
Technologijų milžinei „Microsoft“ jau pasinaudojus vaisinga partneryste su „OpenAI“, „Google“ neliko nieko kito, kaip pasivyti.
Šių metų „Google I/O“ konferencijoje bendrovė paskelbė savo atsakymą į generatyviąsias AI ginklavimosi varžybas: PaLM 2. Ar šis naujas modelis pasieks našumą kartu su OpenAI GPT-4?
Kas yra PaLM 2?
„Google“ aprašo 2 palmė kaip moderniausias kalbos modelis, patobulinantis esamą PaLM modelį, pirmą kartą paskelbtą 2022 m. Kaip ir kiti kalbų modeliai, PaLM 2 gali atlikti įvairias teksto generavimo užduotis, pvz., PaLM gali atlikti daugybę užduočių. , įskaitant atsakymą į klausimus, teksto vertimą, generuojant kodą, Ir daug daugiau.
Testai parodė, kad PaLM 2 jau rodo reikšmingus patobulinimus, pralenkdamas PaLM modelį, o naudojant daug mažesnį parametrų skaičių.
PaLM 2 yra modelių šeima
Kaip ir kitų kalbų modeliai, PaLM 2 projektas iš tikrųjų yra įvairaus dydžio modelių šeima. „Google“ pateiks keturių dydžių „PaLM 2“ modelį: „Gecko“, „Otter“, „Bison“ ir „Unicorn“.
Dydžių įvairovė leidžia lengvai įdiegti PaLM 2 įvairiais atvejais. Pavyzdžiui, „Gecko“ modelis yra pakankamai lengvas, todėl visas modelis gali tilpti į mobilųjį įrenginį ir netgi veikti neprisijungus.
„PaLM 2“ mokymo duomenų rinkinys
Vienas iš svarbiausių sėkmingo kalbos modelio aspektų yra mokymo duomenų rinkinys. Mokymo duomenų rinkinys turi būti pakankamai įvairus, kad modelis galėtų giliai suprasti dalyką, kuriam jis skirtas.
Didelių kalbų modeliams (LLM) paprastai nėra konkrečios temos, kuria modelis turi mokytis. Vietoj to, LLM yra sukurti kaip bendrosios paskirties modeliai, kurie turi būti tinkami atlikti daugybę užduočių. Šie modeliai naudoja didelius tekstinius duomenų rinkinius, kurie fiksuoja didelę žiniatinklio dalį, taip pat paskelbtą informacinę medžiagą, literatūrą ir net šaltinio kodą.
Pagrindinis skirtumas tarp PaLM 2 mokymo duomenų rinkinio ir kitų modelių yra didesnis procentas ne anglų kalbos duomenų. Pasak jų techninė ataskaita, išplėtus duomenų rinkinį įtraukiant tekstus ne anglų kalba, modelis pateikiamas įvairesnėms kalboms ir kultūroms.
PaLM 2 modelis taip pat buvo apmokytas lygiagrečiai daugiakalbiais duomenimis, kad modelis įgytų galimybę versti iš vienos kalbos į kitą. Duomenys apima teksto poras, kurių vienas įrašas yra anglų kalba, o kitas yra lygiavertis tekstas kita kalba.
Aukščiau esančioje lentelėje parodytas daugiakalbių žiniatinklio dokumentų, naudojamų mokant PaLM 2, kalbų pasiskirstymas.
Pagrindinės „PaLM 2“ savybės
Štai keletas pagrindinių sričių, kuriose PaLM 2 išsiskiria, palyginti su kitų kalbų modeliais.
Priežastys
„PaLM 2“ duomenų rinkinys apima tokius šaltinius kaip moksliniai straipsniai ir žiniatinklio turinys su matematinėmis išraiškomis. Tai suteikia modeliui geresnių matematikos, sveiko proto samprotavimų ir logikos galimybių.
Tyrėjai išbandė modelio matematinio mąstymo gebėjimus nagrinėdami vidurinės mokyklos ir vidurinės mokyklos matematikos klausimus, kai rezultatai buvo palyginami su GPT-4 matematinėmis galimybėmis.
Kodavimas
PaLM 2 mokymo duomenys taip pat suteikia galimybę generuoti kodą įvairiomis programavimo kalbomis. PALM 2 komanda sukūrė specifinį kodavimą PaLM 2 modelį, pavadintą PaLM 2-S*, kuris buvo apmokytas naudojant daug kodų daugiakalbį duomenų rinkinį.
Modelis ne tik gali generuoti kodą, bet ir atlikti užduotis, susijusias su keliomis kalbomis. Pavyzdžiui, galite paprašyti PaLM 2 sukurti Python rūšiavimo funkciją, kuri prideda eilutę po eilutės komentarus ispanų kalba.
Daugiakalbiškumas
Kadangi modelis buvo parengtas naudojant duomenų rinkinį, kuriame yra daugiau nei 100 kalbų, PaLM 2 rodo gebėjimą suprasti, generuoti ir versti tekstą keliomis kalbomis.
Norėdami patikrinti daugiakalbiškumą, mokslininkai išbandė modelį įvairiais kalbų mokėjimo testais skirtingomis kalbomis. Rezultatai rodo, kad „PaLM 2“ ne tik pralenkia PaLM, bet ir pasiekė teigiamą įvertinimą už kiekvieną vertinamą kalbą.
„PaLM 2“ taip pat parodo savo daugiakalbystės galimybes, nes gali suprasti idiomas įvairiomis kalbomis, aiškinti anekdotus, taisyti rašybos klaidas ir netgi išmokti paversti oficialų tekstą į šnekamąjį pokalbį.
„PaLM 2“ teikia „Google“ produktus
„Google“ jau naudojasi „PaLM 2“ pažanga, integruodama modelį su kitais produktais.
Bardai
Modelio gebėjimas atlikti daugiakalbes užduotis dabar veikia „Google“. Bardo eksperimentas plečiasi daugiau nei 180 šalių ir teritorijų.
Bardas dabar taip pat naudoja „PaLM 2“ kodavimo galimybes, kad padėtų programavimui ir programinės įrangos kūrimo užduotims, tokioms kaip kodo generavimas ir kodo derinimas.
„Duet AI“, skirta „Google Workspace“.
„Google“ taip pat planuoja pridėti generatyviųjų AI funkcijų į „Google Workspace“ programų grupę. „Gmail“ ir „Dokumentai“ netrukus turės funkciją, vadinamą Duetas AI kurie padės vartotojui parengti atsakymus ir rašyti naudojant raginimus.
„Duet AI“ taip pat leis vartotojams „Google“ skaičiuoklėse kurti pasirinktinius užduočių ir projektų planus pagal vartotojo pateiktus raginimus.
Išvada
„Google“ neabejotinai tikisi užpildyti spragą AI kalbos įrankių rinkoje su savo „PaLM 2“ kalbos modeliu. Nors modelio API dar nėra viešai prieinama, jų tyrimų rezultatai rodo, kad modelis yra pakankamai konkurencingas, kad atitiktų GPT-4 našumą.
Turėdami esamą „Google“ vartotojų bazę, jie neabejotinai turi masinio prisitaikymo pranašumą, jei jų dirbtinis intelektas bus integruotas į jų paslaugas, pvz., paieškos variklį ar produktyvumo įrankių rinkinį.
Palikti atsakymą