谷歌一直處於人工智能研究的前沿,利用其龐大的資源並聘請了大量頂尖人才工程師。 然而,在語言模型方面,谷歌的努力卻遲到了。
科技巨頭微軟已經從與 OpenAI 的富有成果的合作夥伴關係中受益,谷歌別無選擇,只能迎頭趕上。
在今年的 Google I/O 大會上,該公司宣布了其對生成式 AI 軍備競賽的回答:PaLM 2。這種新模型的性能能否與 OpenAI 的 GPT-4 相提並論?
什麼是 PaLM 2?
谷歌描述 掌上電腦2 作為最先進的語言模型,它改進了 2022 年首次發布的現有 PaLM 模型。與其他語言模型類似,PaLM 2 能夠執行各種文本生成任務,例如 PaLM 能夠執行多種任務,包括回答問題、翻譯文字、 生成代碼,等等。
測試表明,PaLM 2 已經顯示出顯著的改進,在使用更少數量的參數的同時優於 PaLM 模型。
PaLM 2 是一系列型號
與其他語言模型一樣,PaLM 2 項目實際上是一個規模不等的模型家族。 谷歌將提供四種尺寸的 PaLM 2 模型:Gecko、Otter、Bison 和 Unicorn。
各種尺寸使得在各種用例中部署 PaLM 2 變得容易。 例如,Gecko 模型足夠輕巧,整個模型可以裝入移動設備中,甚至可以離線運行。
PaLM 2 的訓練數據集
成功的語言模型最重要的方面之一是 訓練數據集. 訓練數據集必須足夠多樣化,以使模型能夠深入了解其設計的主題。
對於大型語言模型 (LLM),通常沒有模型必須訓練的特定主題。 LLM 被構建為通用模型,必須適合執行大量任務。 這些模型使用大型文本數據集捕獲大部分網絡以及已發布的參考資料、文獻甚至源代碼。
PaLM 2 的訓練數據集與其他模型的主要區別在於包含了更高比例的非英語數據。 根據他們的 技術報告,將數據集擴展到包括非英語文本,使模型暴露於更廣泛的語言和文化。
PaLM 2 模型還接受了並行多語言數據的訓練,以幫助模型獲得從一種語言翻譯成另一種語言的能力。 數據包括文本對,其中一個條目是英文的,另一個是另一種語言的等效文本。
上表顯示了用於訓練 PaLM 2 的多語言網絡文檔的語言分佈。
PaLM 2 主要特點
與其他語言模型相比,以下是 PaLM 2 擅長的一些主要領域。
推理
PaLM 2 的數據集包括科學論文和帶有數學表達式的網絡內容等來源。 這提高了模型在數學、常識推理和邏輯方面的能力。
研究人員測試了該模型在小學和高中數學問題上的數學推理能力,其結果與 GPT-4 的數學能力相當。
電腦程式
PaLM 2 的訓練數據還使其能夠生成各種編程語言的代碼。 PALM 2 團隊創建了一個名為 PaLM 2-S* 的特定編碼 PaLM 2 模型,該模型在代碼密集型多語言數據集上進行了訓練。
該模型不僅能夠生成代碼,而且能夠處理涉及多種語言的任務。 例如,您可以要求 PaLM 2 創建一個 Python 排序函數,用西班牙語添加逐行註釋。
多語種
由於該模型是在包含 100 多種語言的數據集上訓練的,因此 PaLM 2 在理解、生成和翻譯多種語言的文本方面表現出熟練程度。
為了測試多語言能力,研究人員在不同語言的各種語言能力測試中測試了該模型。 結果表明,PaLM 2 不僅優於 PaLM,而且在所有評估語言中均達到及格分數。
PaLM 2 還展示了其多語言能力,它能夠理解不同語言的成語、解釋笑話、糾正拼寫錯誤,甚至可以學習如何將正式文本轉換為口語聊天。
PaLM 2 為 Google 產品提供支持
谷歌已經通過將該模型與其他產品集成來利用 PaLM 2 的進步。
詩人
該模型處理多語言任務的能力現在正在為谷歌的 吟遊詩人實驗 隨著它擴展到 180 多個國家和地區。
Bard 現在還使用 PaLM 2 的編碼功能來協助編程和軟件開發任務,例如代碼生成和代碼調試。
適用於 Google Workspace 的 Duet AI
谷歌還計劃在其 Google Workspace 應用程序組中添加生成人工智能功能。 Gmail 和 Docs 很快將包含一項名為 雙人AI 這將幫助用戶使用提示起草他們的回復和寫作。
Duet AI 還將允許用戶根據用戶給出的提示在 Google 表格中為任務和項目創建自定義計劃。
結論
谷歌當然希望通過他們的 PaLM 2 語言模型來縮小 AI 語言工具市場的差距。 雖然該模型的 API 尚未公開,但他們的研究結果表明該模型具有足夠的競爭力,可以與 GPT-4 的性能相媲美。
憑藉谷歌現有的用戶群,如果他們的 AI 被集成到他們的服務中,例如他們的搜索引擎或他們的生產力工具套件,他們肯定具有大規模適應的優勢。
發表評論