A Google folyamatosan az AI-kutatás élvonalában maradt, kihasználva hatalmas erőforrásait, és jelentős számú tehetséges mérnököt alkalmaz. A nyelvi modellek tekintetében azonban a Google erőfeszítései késtek.
Mivel a technológiai óriás, a Microsoft már profitált az OpenAI-val kötött gyümölcsöző partnerségből, a Google-nek nem maradt más választása, mint felzárkózni.
Az idei Google I/O konferencián a vállalat bejelentette a generatív mesterséges intelligencia fegyverkezési versenyére adott válaszát: a PaLM 2-t. Az OpenAI GPT-4 mellett ez az új modell is megméri a teljesítményét?
Mi az a PaLM 2?
A Google leírja TENYÉR 2 a legkorszerűbb nyelvi modell, amely javítja a 2022-ben először bejelentett meglévő PaLM-modelljüket. Más nyelvi modellekhez hasonlóan a PaLM 2 is képes különféle szöveggenerálási feladatok elvégzésére, például a PaLM a feladatok széles skálájára képes , beleértve a kérdések megválaszolását, a szöveg fordítását, kód generálása, És még sok más.
A tesztek kimutatták, hogy a PaLM 2 már jelentős fejlesztéseket mutat, felülmúlja a PaLM modellt, miközben sokkal kevesebb paramétert használ.
A PaLM 2 egy modellcsalád
A többi nyelvi modellhez hasonlóan a PaLM 2 projekt is valójában egy olyan modellcsalád, amelyek mérete változó. A Google négy méretben kínálja a PaLM 2 modellt: Gecko, Otter, Bison és Unicorn.
A különböző méretek megkönnyítik a PaLM 2 telepítését különféle felhasználási esetekben. Például a Gecko modell elég könnyű ahhoz, hogy az egész modell elférjen egy mobileszközön, és akár offline is működjön.
A PaLM 2 képzési adatkészlete
A sikeres nyelvi modell egyik legfontosabb szempontja a képzési adatkészlet. A betanítási adatkészletnek elég változatosnak kell lennie ahhoz, hogy a modell mélyen megértse azt a témát, amelyre tervezték.
A nagy nyelvi modellek (LLM) esetében jellemzően nincs konkrét téma a modellnek. Az LLM-ek ehelyett általános célú modellekké épülnek, amelyeknek alkalmasnak kell lenniük számos feladat elvégzésére. Ezek a modellek nagy szöveges adatkészleteket használnak, amelyek rögzítik a web nagy részét, valamint közzétett referenciaanyagokat, szakirodalmat és még forráskódot is.
A fő különbség a PaLM 2 oktatási adatkészlete és más modellek között az, hogy nagyobb százalékban tartalmazzák a nem angol nyelvű adatokat. Szerintük technikai jelentés, ha az adatkészletet nem angol nyelvű szövegekre is kiterjeszti, a modellt a nyelvek és kultúrák szélesebb választéka elé tárja.
A PaLM 2 modellt párhuzamos többnyelvű adatokra is betanították, hogy segítsenek a modellnek elnyerni az egyik nyelvről a másikra való fordítás képességét. Az adatok olyan szövegpárokat tartalmaznak, ahol az egyik bejegyzés angol nyelvű, a másik pedig egy másik nyelvű, egyenértékű szöveg.
A fenti táblázat a PaLM 2 betanításához használt többnyelvű webdokumentumok nyelvi megoszlását mutatja.
PaLM 2 Főbb jellemzők
Íme néhány főbb terület, amelyekben a PaLM 2 kiváló a többi nyelvi modellhez képest.
Érvelés
A PaLM 2 adatkészlete olyan forrásokat tartalmaz, mint a tudományos közlemények és a matematikai kifejezéseket tartalmazó webtartalom. Ez javítja a modell képességeit a matematikában, a józan ész érvelésében és a logikában.
A kutatók a modell matematikai érvelési képességeit általános iskolai és középiskolai matematikai kérdéseken tesztelték, ahol a GPT-4 matematikai képességeivel összehasonlítható eredményeket mutat.
Kódolás
A PaLM 2 betanítási adatai azt is lehetővé teszik, hogy kódot generáljon különféle programozási nyelveken. A PALM 2 csapata elkészítette a PaLM 2-S* nevű, kódolásra jellemző PaLM 2 modellt, amelyet egy nagy kódot tartalmazó többnyelvű adatkészletre tanítottak.
A modell nemcsak kódgenerálásra képes, hanem több nyelvet érintő feladatok kezelésére is. Például megkérheti a PaLM 2-t, hogy hozzon létre egy Python rendezési függvényt, amely soronkénti megjegyzéseket ad hozzá spanyolul.
Többnyelvűség
Mivel a modellt egy több mint 100 nyelvet tartalmazó adatkészletre képezték ki, a PaLM 2 jártasságot mutat a szöveg megértésében, létrehozásában és több nyelven történő fordításában.
A többnyelvűség tesztelésére a kutatók a modellt különféle nyelvismereti teszteken tesztelték különböző nyelveken. Az eredmények azt mutatják, hogy a PaLM 2 nemcsak jobb teljesítményt nyújt a PaLM-ban, hanem minden értékelt nyelv esetében is megfelelő osztályzatot ért el.
A PaLM 2 többnyelvű képességeit is mutatja, hogy képes megérteni a különböző nyelvek idiómáit, elmagyarázza a vicceket, kijavítja a helyesírási hibákat, és még azt is meg tudja tanulni, hogyan lehet formális szöveget köznyelvi chatté alakítani.
A PaLM 2 támogatja a Google-termékeket
A Google már kihasználja a PaLM 2 vívmányait, mivel a modellt más termékekkel is integrálja.
Dalnok
A modell azon képessége, hogy többnyelvű feladatokat tud kezelni, immár a Google-ét erősíti Bárd kísérlet mivel több mint 180 országra és területre terjeszkedik.
A Bard most a PaLM 2 kódolási képességeit is használja, hogy segítse a programozási és szoftverfejlesztési feladatokat, például a kódgenerálást és a kódhibakeresést.
Duet AI a Google Workspace-hez
A Google azt is tervezi, hogy generatív mesterséges intelligencia funkciókat ad a Google Workspace alkalmazáscsoportjához. A Gmail és a Dokumentumok hamarosan tartalmazni fogják az ún Duett AI amely segít a felhasználónak a válaszok megfogalmazásában és a felszólítások használatával történő írásban.
A Duet AI azt is lehetővé teszi a felhasználók számára, hogy egyéni terveket hozzanak létre a Google Táblázatokban a feladatokhoz és projektekhez a felhasználó utasításai alapján.
Következtetés
A Google minden bizonnyal abban reménykedik, hogy a PaLM 2 nyelvi modelljével be tudja zárni a szakadékot az AI nyelvi eszközök piacán. Bár a modell API-ja még nem elérhető nyilvánosan, kutatásaik eredményei azt mutatják, hogy a modell elég versenyképes ahhoz, hogy megfeleljen a GPT-4 teljesítményének.
A Google meglévő felhasználói bázisával minden bizonnyal megvan az az előnye, hogy hatalmas alkalmazkodást biztosítanak, ha mesterséges intelligenciájukat integrálják szolgáltatásaikba, például keresőmotorjukba vagy termelékenységi eszköztárukba.
Hagy egy Válaszol