Google neustále zostáva v popredí výskumu AI, využíva svoje rozsiahle zdroje a zamestnáva značný počet špičkových inžinierov. Pokiaľ však ide o jazykové modely, snahy Googlu prišli neskoro.
Keďže technologický gigant Microsoft už ťaží z plodného partnerstva s OpenAI, Google nemal inú možnosť, ako ho dobehnúť.
Na tohtoročnej konferencii Google I/O spoločnosť oznámila svoju odpoveď na generatívne preteky v zbrojení AI: PaLM 2. Porovná sa tento nový model vo výkone s GPT-4 od OpenAI?
Čo je PaLM 2?
Google opisuje DLAŇ 2 ako najmodernejší jazykový model, ktorý vylepšuje ich existujúci model PaLM prvýkrát ohlásený v roku 2022. Podobne ako iné jazykové modely je PaLM 2 schopný vykonávať rôzne úlohy generovania textu, ako napríklad PaLM je schopný širokého spektra úloh vrátane odpovedí na otázky, prekladu textu, generovanie kódu, A omnoho viac.
Testy ukázali, že PaLM 2 už vykazuje výrazné vylepšenia, prekonáva PaLM model pri použití oveľa menšieho počtu parametrov.
PaLM 2 je rodina modelov
Podobne ako iné jazykové modely, aj projekt PaLM 2 je vlastne rodina modelov, ktoré sa líšia veľkosťou. Google poskytne model PaLM 2 v štyroch veľkostiach: Gecko, Otter, Bison a Unicorn.
Rozmanitosť veľkostí uľahčuje nasadenie PaLM 2 v rôznych prípadoch použitia. Napríklad model Gecko je dostatočne ľahký na to, aby sa celý model zmestil do mobilného zariadenia a dokonca aj offline.
Školiaci súbor údajov PaLM 2
Jedným z najdôležitejších aspektov úspešného jazykového modelu je tréningový súbor údajov. Tréningový súbor údajov musí byť dostatočne rôznorodý, aby umožnil modelu hlbšie pochopiť predmet, pre ktorý je určený.
V prípade veľkých jazykových modelov (LLM) zvyčajne neexistuje žiadna špecifická téma, na ktorej sa musí model trénovať. LLM sú namiesto toho postavené ako modely na všeobecné použitie, ktoré musia byť vhodné na vykonávanie širokého množstva úloh. Tieto modely využívajú veľké textové súbory údajov, ktoré zachytávajú veľkú časť webu, ako aj publikovaný referenčný materiál, literatúru a dokonca aj zdrojový kód.
Hlavným rozdielom medzi tréningovým dátovým súborom PaLM 2 a inými modelmi je zahrnutie vyššieho percenta neanglických dát. Podľa ich Technickú správu, rozšírenie súboru údajov o neanglické texty vystavuje model širšej škále jazykov a kultúr.
Model PaLM 2 bol tiež trénovaný na paralelných viacjazyčných údajoch, aby model získal schopnosť prekladať z jedného jazyka do druhého. Údaje zahŕňajú dvojice textov, pričom jeden záznam je v angličtine a druhý je ekvivalentný text v inom jazyku.
Vyššie uvedená tabuľka zobrazuje jazykovú distribúciu viacjazyčných webových dokumentov používaných na trénovanie PaLM 2.
Kľúčové vlastnosti PaLM 2
Tu sú niektoré z hlavných oblastí, v ktorých PaLM 2 vyniká v porovnaní s inými jazykovými modelmi.
uvažovanie
Súbor údajov PaLM 2 obsahuje zdroje, ako sú vedecké práce a webový obsah s matematickými výrazmi. To dáva modelu vylepšené schopnosti v matematike, uvažovaní zdravým rozumom a logike.
Výskumníci testovali schopnosti modelu matematického uvažovania na matematických otázkach na základnej škole a strednej škole, kde vykazovali porovnateľné výsledky s matematickými schopnosťami GPT-4.
Kódovanie
Tréningové dáta PaLM 2 mu tiež dávajú schopnosť generovať kód v rôznych programovacích jazykoch. Tím PALM 2 vytvoril model PaLM 2 špecifický pre kódovanie s názvom PaLM 2-S*, ktorý bol trénovaný na viacjazyčnom súbore údajov s množstvom kódu.
Model je nielen schopný generovať kód, ale je tiež schopný zvládnuť úlohy, ktoré zahŕňajú viacero jazykov. Môžete napríklad požiadať PaLM 2, aby vytvoril triediacu funkciu Pythonu, ktorá pridáva komentáre po riadkoch v španielčine.
Viacjazyčnosť
Keďže model bol trénovaný na súbore údajov, ktorý zahŕňa viac ako 100 jazykov, PaLM 2 ukazuje odbornosť v porozumení, generovaní a preklade textu vo viacerých jazykoch.
Na testovanie viacjazyčnosti výskumníci testovali model na rôznych jazykových testoch v rôznych jazykoch. Výsledky ukazujú, že PaLM 2 nielenže prevyšuje PaLM, ale tiež dosiahol známku „prospel“ za každý hodnotený jazyk.
PaLM 2 tiež ukazuje svoje viacjazyčné schopnosti svojou schopnosťou porozumieť idiómom v rôznych jazykoch, vysvetľovať vtipy, opravovať preklepy a dokonca sa môže naučiť, ako previesť formálny text na hovorový chat.
PaLM 2 poháňa produkty Google
Google už využíva pokroky PaLM 2 integráciou modelu s inými produktmi.
Bard
Schopnosť modelu zvládnuť viacjazyčné úlohy teraz poháňa Google Bard experiment expanduje do viac ako 180 krajín a území.
Bard teraz tiež využíva možnosti kódovania PaLM 2 na pomoc pri programovaní a úlohách vývoja softvéru, ako je generovanie kódu a ladenie kódu.
Duet AI pre Google Workspace
Google tiež plánuje pridať generatívne funkcie AI do svojej skupiny aplikácií Google Workspace. Gmail a Dokumenty budú čoskoro obsahovať funkciu tzv Duet AI čo pomôže používateľovi navrhnúť svoje odpovede a písať pomocou výziev.
Duet AI tiež umožní používateľom vytvárať vlastné plány v Tabuľkách Google pre úlohy a projekty na základe výziev zadaných používateľom.
záver
Google určite dúfa, že zaplní medzeru na trhu jazykových nástrojov AI pomocou jazykového modelu PaLM 2. Zatiaľ čo API modelu ešte nie je verejne dostupné, výsledky ich výskumu ukazujú, že model je dostatočne konkurencieschopný, aby zodpovedal výkonu GPT-4.
S existujúcou používateľskou základňou Google majú určite výhodu masívneho prispôsobenia, ak sa ich AI integruje do ich služieb, ako je ich vyhľadávač alebo sada nástrojov na zvýšenie produktivity.
Nechaj odpoveď