谷歌一直处于人工智能研究的前沿,利用其庞大的资源并聘请了大量顶尖人才工程师。 然而,在语言模型方面,谷歌的努力却迟到了。
科技巨头微软已经从与 OpenAI 的富有成果的合作伙伴关系中受益,谷歌别无选择,只能迎头赶上。
在今年的 Google I/O 大会上,该公司宣布了其对生成式 AI 军备竞赛的回答:PaLM 2。这种新模型的性能能否与 OpenAI 的 GPT-4 相提并论?
什么是 PaLM 2?
谷歌描述 掌上电脑2 作为最先进的语言模型,它改进了 2022 年首次发布的现有 PaLM 模型。与其他语言模型类似,PaLM 2 能够执行各种文本生成任务,例如 PaLM 能够执行多种任务,包括回答问题、翻译文字、 生成代码,等等。
测试表明,PaLM 2 已经显示出显着的改进,在使用更少数量的参数的同时优于 PaLM 模型。
PaLM 2 是一系列型号
与其他语言模型一样,PaLM 2 项目实际上是一个规模不等的模型家族。 谷歌将提供四种尺寸的 PaLM 2 模型:Gecko、Otter、Bison 和 Unicorn。
各种尺寸使得在各种用例中部署 PaLM 2 变得容易。 例如,Gecko 模型足够轻巧,整个模型可以装入移动设备中,甚至可以离线运行。
PaLM 2 的训练数据集
成功的语言模型最重要的方面之一是 训练数据集. 训练数据集必须足够多样化,以使模型能够深入了解其设计的主题。
对于大型语言模型 (LLM),通常没有模型必须训练的特定主题。 LLM 被构建为通用模型,必须适合执行大量任务。 这些模型使用大型文本数据集捕获大部分网络以及已发布的参考资料、文献甚至源代码。
PaLM 2 的训练数据集与其他模型的主要区别在于包含了更高比例的非英语数据。 根据他们的 技术报告,将数据集扩展到包括非英语文本,使模型暴露于更广泛的语言和文化。
PaLM 2 模型还接受了并行多语言数据的训练,以帮助模型获得从一种语言翻译成另一种语言的能力。 数据包括文本对,其中一个条目是英文的,另一个是另一种语言的等效文本。
上表显示了用于训练 PaLM 2 的多语言网络文档的语言分布。
PaLM 2 主要特点
与其他语言模型相比,以下是 PaLM 2 擅长的一些主要领域。
推理
PaLM 2 的数据集包括科学论文和带有数学表达式的网络内容等来源。 这提高了模型在数学、常识推理和逻辑方面的能力。
研究人员测试了该模型在小学和高中数学问题上的数学推理能力,其结果与 GPT-4 的数学能力相当。
编码
PaLM 2 的训练数据还使其能够生成各种编程语言的代码。 PALM 2 团队创建了一个名为 PaLM 2-S* 的特定编码 PaLM 2 模型,该模型在代码密集型多语言数据集上进行了训练。
该模型不仅能够生成代码,而且能够处理涉及多种语言的任务。 例如,您可以要求 PaLM 2 创建一个 Python 排序函数,用西班牙语添加逐行注释。
多语言
由于该模型是在包含 100 多种语言的数据集上训练的,因此 PaLM 2 在理解、生成和翻译多种语言的文本方面表现出熟练程度。
为了测试多语言能力,研究人员在不同语言的各种语言能力测试中测试了该模型。 结果表明,PaLM 2 不仅优于 PaLM,而且在所有评估语言中均达到及格分数。
PaLM 2 还展示了其多语言能力,它能够理解不同语言的成语、解释笑话、纠正拼写错误,甚至可以学习如何将正式文本转换为口语聊天。
PaLM 2 为 Google 产品提供支持
谷歌已经通过将该模型与其他产品集成来利用 PaLM 2 的进步。
诗人
该模型处理多语言任务的能力现在正在为谷歌的 吟游诗人实验 随着它扩展到 180 多个国家和地区。
Bard 现在还使用 PaLM 2 的编码功能来协助编程和软件开发任务,例如代码生成和代码调试。
适用于 Google Workspace 的 Duet AI
谷歌还计划在其 Google Workspace 应用程序组中添加生成人工智能功能。 Gmail 和 Docs 很快将包含一项名为 双人AI 这将帮助用户使用提示起草他们的回复和写作。
Duet AI 还将允许用户根据用户给出的提示在 Google 表格中为任务和项目创建自定义计划。
结论
谷歌当然希望通过他们的 PaLM 2 语言模型来缩小 AI 语言工具市场的差距。 虽然该模型的 API 尚未公开,但他们的研究结果表明该模型具有足够的竞争力,可以与 GPT-4 的性能相媲美。
凭借谷歌现有的用户群,如果他们的 AI 被集成到他们的服务中,例如他们的搜索引擎或他们的生产力工具套件,他们肯定具有大规模适应的优势。
发表评论