Google은 지속적으로 AI 연구의 최전선에 서서 방대한 리소스를 활용하고 상당수의 최고 인재를 고용했습니다. 그러나 언어 모델 측면에서 Google의 노력은 게임에 늦었습니다.
기술 대기업인 Microsoft가 이미 OpenAI와의 유익한 파트너십을 통해 이익을 얻고 있는 상황에서 Google은 따라잡을 수 밖에 없었습니다.
올해 Google I/O 컨퍼런스에서 이 회사는 생성 AI 군비 경쟁에 대한 해답인 PaLM 2를 발표했습니다. 이 새로운 모델이 OpenAI의 GPT-4와 함께 성능을 측정할까요?
PaLM 2 란 무엇입니까?
구글은 설명 손바닥 2 2022년에 처음 발표된 기존 PaLM 모델을 개선한 최첨단 언어 모델입니다. 다른 언어 모델과 마찬가지로 PaLM 2는 다양한 텍스트 생성 작업을 수행할 수 있습니다. PaLM은 광범위한 작업이 가능합니다. , 질문에 답하기, 텍스트 번역, 코드 생성, 그리고 훨씬 더.
테스트 결과 PaLM 2는 훨씬 더 적은 수의 매개변수를 사용하면서 PaLM 모델보다 성능이 훨씬 향상된 것으로 나타났습니다.
PaLM 2는 모델 제품군입니다.
다른 언어 모델과 마찬가지로 PaLM 2 프로젝트는 실제로 다양한 크기의 모델 제품군입니다. Google은 Gecko, Otter, Bison 및 Unicorn의 네 가지 크기로 PaLM 2 모델을 제공합니다.
크기가 다양하여 다양한 사용 사례에서 PaLM 2를 쉽게 배포할 수 있습니다. 예를 들어 Gecko 모델은 전체 모델이 모바일 장치에 맞고 오프라인에서도 실행될 수 있을 정도로 가볍습니다.
PaLM 2의 훈련 데이터 세트
성공적인 언어 모델의 가장 중요한 측면 중 하나는 훈련 데이터 세트. 교육 데이터 세트는 모델이 설계된 주제를 깊이 이해할 수 있도록 충분히 다양해야 합니다.
대규모 언어 모델(LLM)의 경우 일반적으로 모델이 훈련해야 하는 특정 주제가 없습니다. 대신 LLM은 다양한 작업을 수행하는 데 적합해야 하는 범용 모델로 구축됩니다. 이러한 모델은 게시된 참조 자료, 문헌 및 소스 코드뿐만 아니라 웹의 많은 부분을 캡처하는 대규모 텍스트 데이터 세트를 사용합니다.
PaLM 2의 교육 데이터 세트와 다른 모델의 주요 차이점은 더 높은 비율의 비영어 데이터를 포함한다는 것입니다. 그들의 말에 따르면 기술 보고서, 비영어 텍스트를 포함하도록 데이터 세트를 확장하면 모델이 더 다양한 언어와 문화에 노출됩니다.
PaLM 2 모델은 또한 모델이 한 언어에서 다른 언어로 번역할 수 있는 능력을 얻도록 돕기 위해 병렬 다국어 데이터에 대해 훈련되었습니다. 데이터에는 한 항목이 영어로 되어 있고 다른 항목이 다른 언어로 된 동등한 텍스트인 텍스트 쌍이 포함됩니다.
위의 표는 PaLM 2 교육에 사용된 다국어 웹 문서의 언어 분포를 보여줍니다.
PaLM 2 주요 기능
다음은 PaLM 2가 다른 언어 모델과 비교할 때 뛰어난 몇 가지 주요 영역입니다.
추리
PaLM 2의 데이터 세트에는 과학 논문 및 수학적 표현이 포함된 웹 콘텐츠와 같은 소스가 포함되어 있습니다. 이를 통해 모델은 수학, 상식 추론 및 논리에서 향상된 기능을 제공합니다.
연구원들은 GPT-4의 수학 능력과 비슷한 결과를 보여주는 초등학교 및 고등학교 수학 문제에 대한 모델의 수학적 추론 능력을 테스트했습니다.
코딩
PaLM 2의 훈련 데이터는 또한 다양한 프로그래밍 언어로 코드를 생성할 수 있는 기능을 제공합니다. PALM 2 팀은 코드가 많은 다국어 데이터 세트에서 훈련된 PaLM 2-S*라는 코딩별 PaLM 2 모델을 만들었습니다.
이 모델은 코드 생성이 가능할 뿐만 아니라 여러 언어가 관련된 작업도 처리할 수 있습니다. 예를 들어 PaLM 2에게 스페인어로 한 줄씩 주석을 추가하는 Python 정렬 함수를 생성하도록 요청할 수 있습니다.
다국어
이 모델은 100개 이상의 언어가 포함된 데이터 세트에서 훈련되었기 때문에 PaLM 2는 여러 언어에 걸쳐 텍스트를 이해하고 생성하고 번역하는 능력을 보여줍니다.
다중 언어를 테스트하기 위해 연구자들은 다양한 언어로 다양한 언어 능력 테스트에서 모델을 테스트했습니다. 결과는 PaLM 2가 PaLM을 능가할 뿐만 아니라 평가된 모든 언어에 대해 통과 등급을 달성했음을 보여줍니다.
PaLM 2는 또한 다양한 언어의 관용구를 이해하고, 농담을 설명하고, 오타를 수정하고, 공식 텍스트를 구어체 채팅으로 변환하는 방법을 배울 수 있는 기능으로 다국어 기능을 보여줍니다.
Google 제품을 지원하는 PaLM 2
Google은 이미 모델을 다른 제품과 통합하여 PaLM 2의 발전을 활용하고 있습니다.
음유 시인
다국어 작업을 처리하는 모델의 능력은 이제 Google의 바드 실험 180개 이상의 국가 및 영토로 확장됩니다.
Bard는 현재 PaLM 2의 코딩 기능을 사용하여 코드 생성 및 코드 디버깅과 같은 프로그래밍 및 소프트웨어 개발 작업을 지원하고 있습니다.
Google Workspace용 Duet AI
Google은 또한 Google Workspace 애플리케이션 그룹에 생성 AI 기능을 추가할 계획입니다. Gmail 및 문서도구에는 곧 다음과 같은 기능이 포함됩니다. 듀엣 AI 사용자가 답장 초안을 작성하고 프롬프트를 사용하여 작성하는 데 도움이 됩니다.
Duet AI는 또한 사용자가 사용자가 제공한 프롬프트를 기반으로 작업 및 프로젝트에 대해 Google 스프레드시트에서 사용자 지정 계획을 만들 수 있도록 합니다.
결론
Google은 PaLM 2 언어 모델로 AI 언어 도구 시장의 격차를 좁히기를 바라고 있습니다. 모델의 API는 아직 공개되지 않았지만 연구 결과에 따르면 모델은 GPT-4의 성능에 필적할 만큼 경쟁력이 있는 것으로 나타났습니다.
Google의 기존 사용자 기반을 통해 AI가 검색 엔진이나 생산성 도구 제품군과 같은 서비스에 통합되면 엄청난 적응의 이점이 있습니다.
댓글을 남겨주세요.