Google neustále zůstává v popředí výzkumu AI, využívá své rozsáhlé zdroje a zaměstnává značný počet špičkových inženýrů. Pokud jde o jazykové modely, snahy Googlu se však zpozdily.
Vzhledem k tomu, že technologický gigant Microsoft již těží z plodného partnerství s OpenAI, neměl Google jinou možnost než dohnat zameškané.
Na letošní konferenci Google I/O společnost oznámila svou odpověď na generativní závody ve zbrojení s umělou inteligencí: PaLM 2. Poměří se tento nový model ve výkonu vedle GPT-4 od OpenAI?
Co je PaLM 2?
Google popisuje DLAŇ 2 jako nejmodernější jazykový model, který vylepšuje jejich stávající model PaLM poprvé oznámený v roce 2022. Podobně jako jiné jazykové modely je PaLM 2 schopen provádět různé úlohy generování textu, jako je PaLM je schopen široké škály úloh včetně odpovídání na otázky, překladu textu, generování kódu, A mnohem více.
Testy ukázaly, že PaLM 2 již vykazuje výrazná zlepšení, překonává model PaLM při použití mnohem nižšího počtu parametrů.
PaLM 2 je rodina modelů
Stejně jako jiné jazykové modely je projekt PaLM 2 ve skutečnosti rodinou modelů, které se liší velikostí. Google poskytne model PaLM 2 ve čtyřech velikostech: Gecko, Otter, Bison a Unicorn.
Rozmanitost velikostí usnadňuje nasazení PaLM 2 v různých případech použití. Například model Gecko je dostatečně lehký, aby se celý model vešel do mobilního zařízení a dokonce běžel offline.
Školicí datová sada PaLM 2
Jedním z nejdůležitějších aspektů úspěšného jazykového modelu je tréninková datová sada. Tréninkový datový soubor musí být dostatečně rozmanitý, aby umožnil modelu hluboce porozumět předmětu, pro který je navržen.
U velkých jazykových modelů (LLM) obvykle neexistuje žádné konkrétní téma, na kterém by se model měl školit. LLM jsou místo toho vytvořeny jako univerzální modely, které musí být vhodné pro provádění širokého počtu úkolů. Tyto modely používají velké textové datové sady, které zachycují velkou část webu, stejně jako publikovaný referenční materiál, literaturu a dokonce i zdrojový kód.
Hlavním rozdílem mezi trénovací datovou sadou PaLM 2 a jinými modely je zahrnutí vyššího procenta neanglických dat. Podle jejich technická zpráva, rozšíření datové sady tak, aby zahrnovala neanglické texty, vystavuje model širší škále jazyků a kultur.
Model PaLM 2 byl také trénován na paralelních vícejazyčných datech, aby pomohl modelu získat schopnost překládat z jednoho jazyka do druhého. Data zahrnují dvojice textů, kde jeden záznam je v angličtině a druhý je ekvivalentní text v jiném jazyce.
Výše uvedená tabulka ukazuje jazykovou distribuci vícejazyčných webových dokumentů používaných k výuce PaLM 2.
Klíčové vlastnosti PaLM 2
Zde jsou některé z hlavních oblastí, ve kterých PaLM 2 vyniká ve srovnání s jinými jazykovými modely.
Uvažování
Datová sada PaLM 2 zahrnuje zdroje, jako jsou vědecké práce a webový obsah s matematickými výrazy. To dává modelu vylepšené schopnosti v matematice, logickém uvažování a logice.
Výzkumníci testovali schopnosti matematického uvažování modelu na matematických otázkách pro základní školy a střední školy, kde vykazovaly srovnatelné výsledky s matematickými schopnostmi GPT-4.
Kódování
Tréninková data PaLM 2 také umožňují generovat kód v různých programovacích jazycích. Tým PALM 2 vytvořil kódově specifický model PaLM 2 nazvaný PaLM 2-S*, který byl trénován na vícejazyčné datové sadě s velkým množstvím kódu.
Nejen, že je model schopen generovat kód, ale je také schopen zvládnout úkoly, které zahrnují více jazyků. Můžete například požádat PaLM 2, aby vytvořil třídicí funkci v Pythonu, která přidává komentáře ve španělštině řádek po řádku.
Vícejazyčnost
Vzhledem k tomu, že model byl trénován na datové sadě, která zahrnuje více než 100 jazyků, PaLM 2 ukazuje odbornost v porozumění, generování a překladu textu ve více jazycích.
Aby vědci otestovali mnohojazyčnost, testovali model na různých testech jazykové způsobilosti v různých jazycích. Výsledky ukazují, že PaLM 2 nejenže předčí PaLM, ale také dosáhl známky pro úspěšnost za každý hodnocený jazyk.
PaLM 2 také ukazuje své vícejazyčné schopnosti svou schopností porozumět idiomům v různých jazycích, vysvětlovat vtipy, opravovat překlepy a dokonce se může naučit, jak převést formální text na hovorový chat.
PaLM 2 pohání produkty Google
Google již využívá pokroků PaLM 2 integrací modelu s dalšími produkty.
Bard
Schopnost modelu zvládat vícejazyčné úkoly nyní pohání Google Bardův experiment expanduje do více než 180 zemí a území.
Bard nyní také využívá schopnosti kódování PaLM 2 k pomoci při programování a úlohách vývoje softwaru, jako je generování kódu a ladění kódu.
Duet AI pro Google Workspace
Google také plánuje přidat generativní funkce umělé inteligence do své skupiny aplikací Google Workspace. Gmail a Dokumenty budou brzy obsahovat funkci s názvem Duet AI které uživateli pomohou navrhnout jejich odpovědi a psaní pomocí výzev.
Duet AI také umožní uživatelům vytvářet vlastní plány v Tabulkách Google pro úkoly a projekty na základě výzev zadaných uživatelem.
Proč investovat do čističky vzduchu?
Google jistě doufá, že zacelí mezeru na trhu jazykových nástrojů AI pomocí jazykového modelu PaLM 2. Zatímco API modelu ještě není veřejně dostupné, výsledky jejich výzkumu ukazují, že model je dostatečně konkurenceschopný, aby odpovídal výkonu GPT-4.
Se stávající uživatelskou základnou Google mají určitě výhodu masivní adaptace, pokud se jejich AI integruje do jejich služeb, jako je jejich vyhledávač nebo sada nástrojů pro produktivitu.
Napsat komentář