Google is altijd toonaangevend gebleven op het gebied van AI-onderzoek, door gebruik te maken van zijn enorme middelen en een aanzienlijk aantal toptalent-ingenieurs in dienst te hebben. Wat de taalmodellen betreft, kwamen de inspanningen van Google echter laat op gang.
Nu technologiegigant Microsoft al profiteerde van een vruchtbare samenwerking met OpenAI, had Google geen andere keuze dan een inhaalslag te maken.
Tijdens de Google I/O-conferentie van dit jaar kondigde het bedrijf zijn antwoord op de generatieve AI-wapenwedloop aan: PaLM 2. Zal dit nieuwe model zich qua prestaties meten met OpenAI's GPT-4?
Wat is PALM 2?
Google beschrijft PALM 2 als een geavanceerd taalmodel dat een verbetering is ten opzichte van hun bestaande PaLM-model dat voor het eerst werd aangekondigd in 2022. Net als andere taalmodellen kan PaLM 2 verschillende taken voor het genereren van tekst uitvoeren, zoals PaLM in staat is tot een breed scala aan taken , inclusief het beantwoorden van vragen, het vertalen van tekst, code genererenEn nog veel meer.
Tests hebben aangetoond dat de PaLM 2 al significante verbeteringen laat zien, beter presteert dan het PaLM-model terwijl er een veel lager aantal parameters wordt gebruikt.
PaLM 2 is een familie van modellen
Net als andere taalmodellen is het PaLM 2-project eigenlijk een familie van modellen die in grootte variëren. Google levert het PaLM 2-model in vier maten: Gecko, Otter, Bison en Unicorn.
De verscheidenheid aan formaten maakt het eenvoudig om PaLM 2 in verschillende gebruikssituaties in te zetten. Het Gecko-model is bijvoorbeeld licht genoeg om het hele model in een mobiel apparaat te passen en zelfs offline te gebruiken.
Trainingsdataset van PaLM 2
Een van de belangrijkste aspecten van een succesvol taalmodel is de trainingsgegevensset. De trainingsdataset moet divers genoeg zijn om het model een diep begrip te geven van het onderwerp waarvoor het is ontworpen.
Voor grote taalmodellen (LLM's) is er doorgaans geen specifiek onderwerp waarop het model moet trainen. LLM's zijn in plaats daarvan gebouwd als modellen voor algemene doeleinden die geschikt moeten zijn om een groot aantal taken uit te voeren. Deze modellen gebruiken grote tekstuele datasets die een groot deel van het web vastleggen, evenals gepubliceerd referentiemateriaal, literatuur en zelfs broncode.
Het belangrijkste verschil tussen de trainingsgegevensset van PaLM 2 en andere modellen is de opname van een hoger percentage niet-Engelse gegevens. Volgens hun technisch rapport, stelt het uitbreiden van de dataset met niet-Engelse teksten het model bloot aan een grotere verscheidenheid aan talen en culturen.
Het PaLM 2-model is ook getraind op parallelle meertalige gegevens om het model te helpen bij het vertalen van de ene taal naar de andere. De gegevens bevatten tekstparen waarbij het ene item in het Engels is en het andere een equivalente tekst in een andere taal is.
De bovenstaande tabel toont de taalverdeling van de meertalige webdocumenten die worden gebruikt om PaLM 2 te trainen.
PaLM 2 belangrijkste kenmerken
Hier zijn enkele van de belangrijkste gebieden waarin PaLM 2 uitblinkt in vergelijking met andere taalmodellen.
Redenering
De dataset van PaLM 2 bevat bronnen zoals wetenschappelijke artikelen en webinhoud met wiskundige uitdrukkingen. Dit geeft het model verbeterde capaciteiten in wiskunde, redeneren met gezond verstand en logica.
Onderzoekers testten het wiskundig redeneervermogen van het model op wiskundevragen op de basisschool en middelbare school, waar het vergelijkbare resultaten laat zien als de wiskundige mogelijkheden van GPT-4.
codering
De trainingsgegevens van PaLM 2 geven het ook de mogelijkheid om code te genereren in verschillende programmeertalen. Het PALM 2-team creëerde een coderingsspecifiek PaLM 2-model, PaLM 2-S* genaamd, dat werd getraind op een coderijke meertalige dataset.
Het model is niet alleen in staat om code te genereren, maar het is ook in staat om taken uit te voeren waarbij meerdere talen betrokken zijn. U kunt PaLM 2 bijvoorbeeld vragen een Python-sorteerfunctie te maken die regel voor regel commentaar in het Spaans toevoegt.
meertaligheid
Aangezien het model is getraind op een dataset die meer dan 100 talen omvat, toont PaLM 2 vaardigheid in het begrijpen, genereren en vertalen van tekst in meerdere talen.
Om meertaligheid te testen, testten de onderzoekers het model op verschillende taalvaardigheidstoetsen in verschillende talen. De resultaten laten zien dat PaLM 2 niet alleen beter presteert dan PaLM, maar ook een voldoende heeft behaald voor elke geëvalueerde taal.
PaLM 2 toont ook zijn meertalige capaciteiten door zijn vermogen om idioom in verschillende talen te begrijpen, grappen uit te leggen, typefouten te corrigeren en zelfs te leren hoe formele tekst kan worden omgezet in spreektaal.
PaLM 2 maakt Google-producten mogelijk
Google maakt al gebruik van de vorderingen van PaLM 2 door het model te integreren met andere producten.
Bard
Het vermogen van het model om meertalige taken uit te voeren, is nu de motor van Google Bard-experiment terwijl het zich uitbreidt naar meer dan 180 landen en gebieden.
Bard gebruikt nu ook de codeermogelijkheden van PaLM 2 om te helpen bij programmeer- en softwareontwikkelingstaken, zoals het genereren van codes en het debuggen van codes.
Duet-AI voor Google Workspace
Google is ook van plan om generatieve AI-functies toe te voegen aan zijn Google Workspace-applicatiegroep. Gmail en Documenten bevatten binnenkort een functie genaamd Duet-AI dat zal de gebruiker helpen bij het opstellen van hun antwoorden en schrijven met behulp van prompts.
Met Duet AI kunnen gebruikers ook aangepaste plannen maken in Google Spreadsheets voor taken en projecten op basis van aanwijzingen van de gebruiker.
Conclusie
Google hoopt zeker het gat in de markt van AI-taaltools te dichten met hun PaLM 2-taalmodel. Hoewel de API van het model nog niet openbaar beschikbaar is, tonen de resultaten van hun onderzoek aan dat het model concurrerend genoeg is om de prestaties van GPT-4 te evenaren.
Met het bestaande gebruikersbestand van Google hebben ze zeker het voordeel van massale aanpassing als hun AI wordt geïntegreerd in hun diensten, zoals hun zoekmachine of hun reeks productiviteitstools.
Laat een reactie achter