Google luôn dẫn đầu trong lĩnh vực nghiên cứu AI, tận dụng các nguồn tài nguyên khổng lồ của mình và tuyển dụng một số lượng đáng kể các kỹ sư tài năng hàng đầu. Tuy nhiên, về mặt mô hình ngôn ngữ, những nỗ lực của Google đã bị trễ trong trò chơi.
Với việc gã khổng lồ công nghệ Microsoft đã được hưởng lợi từ mối quan hệ hợp tác hiệu quả với OpenAI, Google không còn lựa chọn nào khác ngoài việc bắt kịp.
Tại hội nghị Google I/O năm nay, công ty đã công bố câu trả lời của mình cho cuộc chạy đua vũ trang AI: PaLM 2. Liệu mô hình mới này có đo lường được hiệu suất cùng với GPT-4 của OpenAI không?
PaLM2 là gì?
Google mô tả PALM 2 là mô hình ngôn ngữ tiên tiến cải tiến trên mô hình PaLM hiện tại của họ được công bố lần đầu tiên vào năm 2022. Tương tự như các mô hình ngôn ngữ khác, PaLM 2 có thể thực hiện nhiều tác vụ tạo văn bản khác nhau chẳng hạn như PaLM có khả năng thực hiện nhiều loại tác vụ , bao gồm trả lời câu hỏi, dịch văn bản, tạo mã, Và nhiều hơn nữa.
Các thử nghiệm đã chỉ ra rằng PaLM 2 đã cho thấy những cải tiến đáng kể, vượt trội so với mô hình PaLM trong khi sử dụng số lượng tham số thấp hơn nhiều.
PaLM 2 là một dòng mô hình
Giống như các mô hình ngôn ngữ khác, dự án PaLM 2 thực sự là một nhóm các mô hình có kích thước khác nhau. Google sẽ cung cấp mô hình PaLM 2 với bốn kích cỡ: Tắc kè, Rái cá, Bison và Kỳ lân.
Sự đa dạng về kích cỡ giúp dễ dàng triển khai PaLM 2 trong các trường hợp sử dụng khác nhau. Ví dụ: mô hình Gecko đủ nhẹ để toàn bộ mô hình có thể nằm gọn trong một thiết bị di động và thậm chí chạy ngoại tuyến.
Tập dữ liệu huấn luyện của PaLM 2
Một trong những khía cạnh quan trọng nhất của một mô hình ngôn ngữ thành công là tập dữ liệu đào tạo. Tập dữ liệu huấn luyện phải đủ đa dạng để cho phép mô hình hiểu sâu về chủ đề mà nó được thiết kế.
Đối với các mô hình ngôn ngữ lớn (LLM), thường không có chủ đề cụ thể mà mô hình phải đào tạo. Thay vào đó, các LLM được xây dựng để trở thành các mô hình có mục đích chung phải phù hợp để thực hiện nhiều nhiệm vụ. Các mô hình này sử dụng các bộ dữ liệu văn bản lớn nắm bắt phần lớn web cũng như tài liệu tham khảo, tài liệu đã xuất bản và thậm chí cả mã nguồn.
Sự khác biệt chính giữa bộ dữ liệu đào tạo của PaLM 2 và các mô hình khác là bao gồm tỷ lệ dữ liệu không phải tiếng Anh cao hơn. Theo họ tường trình kỹ thuật, việc mở rộng tập dữ liệu để bao gồm các văn bản không phải tiếng Anh sẽ đưa mô hình đến nhiều ngôn ngữ và nền văn hóa khác nhau.
Mô hình PaLM 2 cũng được đào tạo trên dữ liệu đa ngôn ngữ song song để giúp mô hình có khả năng dịch từ ngôn ngữ này sang ngôn ngữ khác. Dữ liệu bao gồm các cặp văn bản trong đó một mục bằng tiếng Anh và mục kia là văn bản tương đương bằng ngôn ngữ khác.
Bảng trên cho thấy sự phân bố ngôn ngữ của các tài liệu web đa ngôn ngữ được sử dụng để đào tạo PaLM 2.
Các tính năng chính của PaLM 2
Dưới đây là một số lĩnh vực chính mà PaLM 2 vượt trội so với các mô hình ngôn ngữ khác.
lý luận
Bộ dữ liệu của PaLM 2 bao gồm các nguồn như bài báo khoa học và nội dung web với các biểu thức toán học. Điều này mang lại cho mô hình các khả năng được cải thiện về toán học, lý luận thông thường và logic.
Các nhà nghiên cứu đã kiểm tra khả năng suy luận toán học của mô hình đối với các câu hỏi toán ở trường cấp 4 và cấp XNUMX, trong đó mô hình cho kết quả tương đương với khả năng toán học của GPT-XNUMX.
Lập trình
Dữ liệu đào tạo của PaLM 2 cũng mang lại cho nó khả năng tạo mã bằng nhiều ngôn ngữ lập trình. Nhóm PALM 2 đã tạo ra một mô hình PaLM 2 dành riêng cho mã hóa có tên là PaLM 2-S*, được đào tạo trên bộ dữ liệu đa ngôn ngữ nặng về mã.
Mô hình không chỉ có khả năng tạo mã mà còn có thể xử lý các tác vụ liên quan đến nhiều ngôn ngữ. Ví dụ: bạn có thể yêu cầu PaLM 2 tạo hàm sắp xếp Python để thêm nhận xét từng dòng bằng tiếng Tây Ban Nha.
Đa ngôn ngữ
Do mô hình được đào tạo trên tập dữ liệu bao gồm hơn 100 ngôn ngữ nên PaLM 2 cho thấy khả năng hiểu, tạo và dịch văn bản qua nhiều ngôn ngữ thành thạo.
Để kiểm tra khả năng đa ngôn ngữ, các nhà nghiên cứu đã thử nghiệm mô hình trên nhiều bài kiểm tra trình độ thông thạo ngôn ngữ bằng các ngôn ngữ khác nhau. Kết quả cho thấy PaLM 2 không chỉ vượt trội so với PaLM mà còn đạt điểm đạt cho mọi ngôn ngữ được đánh giá.
PaLM 2 cũng cho thấy khả năng đa ngôn ngữ của mình bằng khả năng hiểu các thành ngữ trong các ngôn ngữ khác nhau, giải thích các câu chuyện cười, sửa lỗi chính tả và thậm chí có thể học cách chuyển đổi văn bản chính thức sang trò chuyện thông tục.
PaLM 2 hỗ trợ các sản phẩm của Google
Google đã tận dụng những tiến bộ của PaLM 2 bằng cách tích hợp mô hình này với các sản phẩm khác.
Thi nhân
Khả năng xử lý các tác vụ đa ngôn ngữ của mô hình hiện đang cung cấp năng lượng cho Google thí nghiệm bard khi nó mở rộng đến hơn 180 quốc gia và vùng lãnh thổ.
Bard hiện cũng đang sử dụng khả năng viết mã của PaLM 2 để hỗ trợ lập trình và các nhiệm vụ phát triển phần mềm như tạo mã và gỡ lỗi mã.
Duet AI cho Google Workspace
Google cũng đang lên kế hoạch bổ sung các tính năng AI tổng quát vào nhóm ứng dụng Google Workspace của mình. Gmail và Documents sẽ sớm bao gồm một tính năng gọi là AI song ca điều đó sẽ giúp người dùng soạn thảo câu trả lời và viết bằng lời nhắc.
Duet AI cũng sẽ cho phép người dùng tạo các kế hoạch tùy chỉnh trong Google Trang tính cho các tác vụ và dự án dựa trên lời nhắc do người dùng đưa ra.
Kết luận
Google chắc chắn đang hy vọng thu hẹp khoảng cách trên thị trường công cụ ngôn ngữ AI với mô hình ngôn ngữ PaLM 2 của họ. Mặc dù API của mô hình chưa được công bố rộng rãi nhưng kết quả từ nghiên cứu của họ cho thấy rằng mô hình này đủ sức cạnh tranh để phù hợp với hiệu suất của GPT-4.
Với cơ sở người dùng hiện có của Google, họ chắc chắn có lợi thế về khả năng thích ứng lớn nếu AI của họ được tích hợp vào các dịch vụ của họ, chẳng hạn như công cụ tìm kiếm hoặc bộ công cụ năng suất của họ.
Bình luận