O Google permaneceu consistentemente na vanguarda da pesquisa de IA, aproveitando seus vastos recursos e empregando um número substancial de engenheiros de alto talento. No entanto, em termos de modelos de linguagem, os esforços do Google chegaram atrasados.
Com a gigante da tecnologia Microsoft já se beneficiando de uma parceria frutífera com a OpenAI, o Google não teve escolha a não ser alcançá-la.
Na conferência Google I/O deste ano, a empresa anunciou sua resposta à corrida armamentista de IA generativa: PaLM 2. Esse novo modelo terá desempenho equivalente ao GPT-4 da OpenAI?
O que é PaLM 2?
Google descreve PaLM2 como um modelo de linguagem de última geração que aprimora seu modelo PaLM existente anunciado pela primeira vez em 2022. Semelhante a outros modelos de linguagem, o PaLM 2 é capaz de executar várias tarefas de geração de texto, como o PaLM é capaz de uma ampla gama de tarefas , incluindo responder perguntas, traduzir textos, gerando código, E muito mais.
Os testes mostraram que o PaLM 2 já mostra melhorias significativas, superando o modelo PaLM enquanto usa um número muito menor de parâmetros.
PaLM 2 é uma Família de Modelos
Como outros modelos de linguagem, o projeto PaLM 2 é na verdade uma família de modelos que variam em tamanho. O Google fornecerá o modelo PaLM 2 em quatro tamanhos: Gecko, Otter, Bison e Unicorn.
A variedade de tamanhos facilita a implantação do PaLM 2 em vários casos de uso. Por exemplo, o modelo Gecko é leve o suficiente para que todo o modelo possa caber em um dispositivo móvel e até mesmo rodar offline.
Conjunto de dados de treinamento do PaLM 2
Um dos aspectos mais importantes de um modelo de linguagem bem-sucedido é a conjunto de dados de treinamento. O conjunto de dados de treinamento deve ser diversificado o suficiente para permitir que o modelo tenha uma compreensão profunda do assunto para o qual foi projetado.
Para modelos de linguagem grandes (LLMs), geralmente não há nenhum tópico específico no qual o modelo deva treinar. Em vez disso, os LLMs são construídos para serem modelos de uso geral que devem ser adequados para executar um grande número de tarefas. Esses modelos usam grandes conjuntos de dados textuais que capturam uma grande parte da web, bem como material de referência publicado, literatura e até mesmo código-fonte.
A principal diferença entre o conjunto de dados de treinamento do PaLM 2 e outros modelos é a inclusão de uma porcentagem maior de dados em idiomas diferentes do inglês. De acordo com eles relatório técnico, expandir o conjunto de dados para incluir textos em outros idiomas expõe o modelo a uma variedade maior de idiomas e culturas.
O modelo PaLM 2 também foi treinado em dados multilíngues paralelos para ajudar o modelo a obter a capacidade de traduzir de um idioma para outro. Os dados incluem pares de texto em que uma entrada está em inglês e a outra é um texto equivalente em outro idioma.
A tabela acima mostra a distribuição de idiomas dos documentos da Web multilíngues usados para treinar o PaLM 2.
Principais recursos do PaLM 2
Aqui estão algumas das principais áreas em que o PaLM 2 se destaca em comparação com outros modelos de linguagem.
Raciocínio
O conjunto de dados do PaLM 2 inclui fontes como artigos científicos e conteúdo da web com expressões matemáticas. Isso dá ao modelo recursos aprimorados em matemática, raciocínio de bom senso e lógica.
Os pesquisadores testaram as habilidades de raciocínio matemático do modelo em questões de matemática do ensino fundamental e médio, onde mostra resultados comparáveis aos recursos matemáticos do GPT-4.
Codificação
Os dados de treinamento do PaLM 2 também oferecem a capacidade de gerar código em várias linguagens de programação. A equipe do PALM 2 criou um modelo de PaLM 2 específico para codificação chamado PaLM 2-S*, que foi treinado em um conjunto de dados multilíngue com muitos códigos.
O modelo não apenas é capaz de gerar código, mas também é capaz de lidar com tarefas que envolvem vários idiomas. Por exemplo, você pode pedir ao PaLM 2 para criar uma função de classificação Python que adicione comentários linha por linha em espanhol.
Multilinguidade
Como o modelo foi treinado em um conjunto de dados que inclui mais de 100 idiomas, o PaLM 2 mostra proficiência na compreensão, geração e tradução de texto em vários idiomas.
Para testar a multilinguagem, os pesquisadores testaram o modelo em vários testes de proficiência em diferentes idiomas. Os resultados mostram que o PaLM 2 não apenas supera o PaLM, mas também obteve uma nota de aprovação para todos os idiomas avaliados.
O PaLM 2 também mostra seus recursos multilíngues por sua capacidade de entender expressões idiomáticas em diferentes idiomas, explicar piadas, corrigir erros de digitação e pode até aprender a converter texto formal em bate-papo coloquial.
PaLM 2 capacita os produtos do Google
O Google já está aproveitando os avanços do PaLM 2 integrando o modelo com outros produtos.
Bardo
A capacidade do modelo de lidar com tarefas multilíngues agora capacita o Google experimento de bardo à medida que se expande para mais de 180 países e territórios.
A Bard agora também está usando os recursos de codificação do PaLM 2 para auxiliar nas tarefas de programação e desenvolvimento de software, como geração e depuração de código.
Duet AI para o Google Workspace
O Google também planeja adicionar recursos generativos de IA ao seu grupo de aplicativos do Google Workspace. Gmail e Docs em breve incluirão um recurso chamado dueto AI que ajudará o usuário a redigir suas respostas e escrever usando prompts.
O Duet AI também permitirá que os usuários criem planos personalizados no Planilhas Google para tarefas e projetos com base nas solicitações fornecidas pelo usuário.
Conclusão
O Google certamente espera fechar a lacuna no mercado de ferramentas de linguagem AI com seu modelo de linguagem PaLM 2. Embora a API do modelo ainda não esteja disponível publicamente, os resultados de sua pesquisa mostram que o modelo é competitivo o suficiente para igualar o desempenho do GPT-4.
Com a base de usuários existente do Google, eles certamente têm a vantagem de uma adaptação massiva se sua IA for integrada a seus serviços, como seu mecanismo de busca ou seu conjunto de ferramentas de produtividade.
Deixe um comentário