Google konsekwentnie pozostaje liderem badań nad sztuczną inteligencją, wykorzystując swoje ogromne zasoby i zatrudniając znaczną liczbę najbardziej utalentowanych inżynierów. Jednak jeśli chodzi o modele językowe, wysiłki Google były spóźnione.
Ponieważ gigant technologiczny Microsoft już korzystał z owocnej współpracy z OpenAI, Google nie miał innego wyjścia, jak tylko nadrobić zaległości.
Na tegorocznej konferencji Google I/O firma ogłosiła swoją odpowiedź na generatywny wyścig zbrojeń AI: PaLM 2. Czy ten nowy model dorówna wydajnością GPT-4 OpenAI?
Co to jest PaLM2?
Google opisuje PAL 2 jako najnowocześniejszy model językowy, który ulepsza ich istniejący model PaLM ogłoszony po raz pierwszy w 2022 r. Podobnie jak inne modele językowe, PaLM 2 jest w stanie wykonywać różne zadania generowania tekstu, takie jak PaLM jest zdolny do szerokiego zakresu zadań , w tym odpowiadanie na pytania, tłumaczenie tekstu, generowanie kodu, I wiele więcej.
Testy wykazały, że PaLM 2 już wykazuje znaczną poprawę, przewyższając model PaLM przy użyciu znacznie mniejszej liczby parametrów.
PaLM 2 to rodzina modeli
Podobnie jak inne modele językowe, projekt PaLM 2 jest właściwie rodziną modeli o różnej wielkości. Google dostarczy model PaLM 2 w czterech rozmiarach: Gecko, Otter, Bison i Unicorn.
Różnorodność rozmiarów ułatwia wdrażanie PaLM 2 w różnych przypadkach użycia. Na przykład model Gecko jest na tyle lekki, że cały model mieści się w urządzeniu mobilnym, a nawet działa w trybie offline.
Zestaw danych treningowych PaLM 2
Jednym z najważniejszych aspektów udanego modelu językowego jest zbiór danych treningowych. Zestaw danych szkoleniowych musi być wystarczająco zróżnicowany, aby model mógł dogłębnie zrozumieć temat, dla którego został zaprojektowany.
W przypadku dużych modeli językowych (LLM) zwykle nie ma określonego tematu, na którym model musi się uczyć. LLM są zamiast tego budowane jako modele ogólnego przeznaczenia, które muszą nadawać się do wykonywania szerokiej liczby zadań. Modele te wykorzystują duże zestawy danych tekstowych, które przechwytują dużą część sieci, a także opublikowane materiały referencyjne, literaturę, a nawet kod źródłowy.
Główną różnicą między zestawem danych szkoleniowych PaLM 2 a innymi modelami jest włączenie wyższego odsetka danych w języku innym niż angielski. Zgodnie z ich raport techniczny, rozszerzenie zbioru danych o teksty w języku innym niż angielski udostępnia model szerszej gamie języków i kultur.
Model PaLM 2 został również przeszkolony na równoległych danych wielojęzycznych, aby pomóc modelowi uzyskać możliwość tłumaczenia z jednego języka na inny. Dane obejmują pary tekstów, z których jeden wpis jest w języku angielskim, a drugi jest równoważnym tekstem w innym języku.
Powyższa tabela przedstawia rozmieszczenie językowe wielojęzycznych dokumentów internetowych używanych do szkolenia PaLM 2.
Kluczowe funkcje PaLM 2
Oto niektóre z głównych obszarów, w których PaLM 2 wyróżnia się w porównaniu z innymi modelami językowymi.
Rozumowanie
Zbiór danych PaLM 2 obejmuje źródła, takie jak artykuły naukowe i treści internetowe z wyrażeniami matematycznymi. Daje to modelowi lepsze możliwości w zakresie matematyki, rozumowania zdroworozsądkowego i logiki.
Badacze przetestowali zdolności rozumowania matematycznego modelu na pytaniach matematycznych w szkole podstawowej i średniej, gdzie wyniki były porównywalne z możliwościami matematycznymi GPT-4.
Kodowanie
Dane szkoleniowe PaLM 2 dają również możliwość generowania kodu w różnych językach programowania. Zespół PALM 2 stworzył specyficzny dla kodowania model PaLM 2 o nazwie PaLM 2-S*, który został przeszkolony na wielojęzycznym zbiorze danych z dużą ilością kodu.
Model jest nie tylko zdolny do generowania kodu, ale także do obsługi zadań obejmujących wiele języków. Na przykład możesz poprosić PaLM 2 o utworzenie funkcji sortowania w Pythonie, która dodaje komentarze wiersz po wierszu w języku hiszpańskim.
Wielojęzyczność
Ponieważ model został przeszkolony na zbiorze danych obejmującym ponad 100 języków, PaLM 2 wykazuje biegłość w rozumieniu, generowaniu i tłumaczeniu tekstu na wiele języków.
Aby przetestować wielojęzyczność, naukowcy przetestowali model na różnych testach biegłości językowej w różnych językach. Wyniki pokazują, że PaLM 2 nie tylko przewyższa PaLM, ale także uzyskał ocenę pozytywną dla każdego ocenianego języka.
PaLM 2 pokazuje również swoje wielojęzyczne możliwości poprzez zdolność rozumienia idiomów w różnych językach, wyjaśniania dowcipów, poprawiania literówek, a nawet może nauczyć się konwertować formalny tekst na potoczny czat.
PaLM 2 napędza produkty Google
Google już korzysta z postępów PaLM 2, integrując model z innymi produktami.
Bard
Zdolność tego modelu do obsługi wielojęzycznych zadań jest teraz wykorzystywana przez Google Eksperyment Barda ponieważ rozszerza się na ponad 180 krajów i terytoriów.
Bard wykorzystuje teraz również możliwości kodowania PaLM 2 do pomocy w programowaniu i zadaniach związanych z rozwojem oprogramowania, takich jak generowanie kodu i debugowanie kodu.
Duet AI dla Google Workspace
Google planuje również dodać funkcje generatywnej sztucznej inteligencji do swojej grupy aplikacji Google Workspace. Gmail i Dokumenty wkrótce będą zawierać funkcję o nazwie Duet SI które pomogą użytkownikowi przygotować odpowiedzi i pisać za pomocą monitów.
Duet AI pozwoli również użytkownikom tworzyć niestandardowe plany w Arkuszach Google dla zadań i projektów na podstawie podpowiedzi podanych przez użytkownika.
Wnioski
Google z pewnością ma nadzieję wypełnić lukę na rynku narzędzi językowych AI za pomocą swojego modelu językowego PaLM 2. Chociaż API modelu nie jest jeszcze publicznie dostępne, wyniki ich badań pokazują, że model jest wystarczająco konkurencyjny, aby dorównać wydajności GPT-4.
Z istniejącą bazą użytkowników Google, z pewnością mają przewagę w postaci masowej adaptacji, jeśli ich sztuczna inteligencja zostanie zintegrowana z ich usługami, takimi jak wyszukiwarka lub pakiet narzędzi zwiększających produktywność.
Dodaj komentarz