人工智能 正在改变我们计划和生成内容的方式。 它还影响着人们发现素材的方式,从他们在 Google 上搜索的内容到他们在 Netflix 上疯狂观看的内容。
更重要的是,对于内容营销人员来说,它使团队能够通过自动化某些类型的内容生成和分析当前材料来改进您提供的内容并更好地匹配客户意图。
人工智能中有几个移动的部分, 机器学习 过程。 你有没有问过智能助手(比如 Siri 或 Alexa)一个问题?
回答很可能是“是”,这表明您已经在一定程度上熟悉自然语言处理 (NLP)。
阿兰·图灵 是每个技术人员都听说过的名字。 著名的图灵测试由著名的数学家和计算机科学家艾伦·图灵于 1950 年首次设计。
他在工作中声称 计算机与智能 如果一台机器可以与一个人交谈并欺骗他认为他正在和一个人聊天,那么它就是人工智能。
这是 NLP 技术的基础。 一个高效的 NLP 系统将能够掌握查询及其上下文,对其进行分析,选择最佳行动方案,并以用户能够理解的语言进行回答。
完成数据任务的全球标准包括人工智能和机器学习技术。 但是,人类语言呢?
自然语言生成(NLG)、自然语言理解(NLU)和自然语言处理(NLP)等领域近年来都受到了广泛关注。
但由于三者的职责不同,因此避免混淆至关重要。 许多人认为他们完全理解了这些想法。
由于自然语言已经存在于名称中,所以人们所做的就是处理、理解和产生它。 不过,考虑到我们经常遇到这些可互换使用的短语,我们认为再深入一点可能会有所帮助。
因此,让我们首先仔细看看它们中的每一个。
什么是自然语言处理?
任何自然语言都被计算机视为自由格式的文本。 由此可见,在输入数据时,在固定的地方没有固定的关键字。 除了非结构化之外,自然语言还有多种表达方式。 以这三个短语为例:
- 今天的天气怎么样?
- 今天有可能下雨吗?
- 今天需要我带伞吗?
这些陈述中的每一个都在询问今天的天气预报,这是共同点。
作为人类,我们几乎可以立即看到这些基本联系并采取适当的行动。
但是,这是一个 计算机的挑战 因为每个算法都要求输入遵循特定的格式,并且所有三个语句都有不同的结构和格式。
如果我们尝试为每种自然语言中的每个单词组合编写规则以帮助计算机理解,事情很快就会变得非常困难。 在这种情况下,NLP 就介入了。
自然语言处理 (NLP),它试图 模拟自然人类语言 数据,起源于计算语言学。
此外,NLP 专注于使用机器学习和深度学习方法,同时处理大量的人工输入。 它经常用于哲学、语言学、计算机科学、信息系统和通信领域。
计算语言学、句法分析、语音识别、机器翻译和 NLP 的其他子领域只是少数。 自然语言处理将非结构化材料转换为适当的格式或结构化文本以发挥作用。
为了理解用户说话时的意思,它构建了算法并使用大量数据训练模型。
它通过将不同的实体组合在一起进行识别(称为实体识别)和识别单词模式来进行操作。 词形还原、标记化和词干提取技术用于查找单词模式。
信息提取、语音识别、词性标记和解析只是 NLP 所做的一些工作。
在现实世界中,NLP 用于包括本体填充、语言建模、 情绪分析、主题提取、命名实体识别、词性标注、连接提取、机器翻译和自动问答。
什么是自然语言理解?
自然语言处理的一小部分是自然语言理解。 语言被简化后,计算机软件必须理解、推断含义,甚至可能进行情感分析。
相同的文本可以有多种含义,多个短语可以具有相同的含义,或者含义可以根据情况而改变。
NLU 算法使用计算方法来处理来自多个来源的文本以理解输入文本,这可以像了解短语的含义一样基本,也可以像解释两个人之间的对话一样复杂。
您的文本将转换为机器可读的格式。 因此,NLU 采用计算技术来破译文本并生成结果。
NLU 可以应用于多种情况,例如理解两个人之间的对话,确定某人对某种情况的感受,以及其他类似性质的情况。
具体来说,掌握 NLU 有四个语言级别:
- 语法:这是确定语法是否被适当使用以及句子如何组合的过程。 例如,必须考虑一个句子的上下文和语法,以确定它是否有意义。
- 语义:当我们检查文本时,存在上下文含义的细微差别,例如动词中音或两个人之间的单词选择。 NLU 算法也可以使用这些信息位来提供可以使用相同口语的任何场景的结果。
- 词义消歧:这是弄清楚短语中每个单词的含义的过程。 根据上下文,它赋予术语其含义。
- 语用分析:有助于理解工作的背景和目的。
NLU 对 数据科学家 因为没有它,他们就无法从聊天机器人和语音识别软件等技术中提取意义。
毕竟,人们习惯于与支持语音的机器人进行对话。 另一方面,计算机却没有这种轻松的奢侈。
此外,NLU 可以准确地识别演讲中的情绪和脏话。 这意味着数据科学家可以有效地检查各种内容格式并使用 NLU 的功能对文本进行分类。
NLG 直接反对自然语言理解,后者旨在组织和理解非结构化数据,以便将其转换为可用数据。 接下来,让我们定义 NLG 并探索数据科学家在实际用例中使用它的方式。
什么是自然语言生成?
自然语言处理还包括自然语言产生。 计算机可以使用自然语言产生写作,但自然语言理解侧重于阅读理解。
通过使用特定的数据输入,NLG 可以用人类语言创建书面答案。 文字转语音服务 也可用于将此文本转换为语音。
当数据科学家向 NLG 系统提供数据时,系统会分析数据以产生可以通过对话理解的叙述。
从本质上讲,NLG 将数据集转换为我们都能理解的语言,称为自然语言。 为了在可行的最大范围内提供经过仔细研究和准确的输出,NLG 被赋予了现实生活中人类的经验。
这种方法可以追溯到我们已经讨论过的艾伦·图灵的一些著作,它对于让人类相信计算机正在以一种似是而非的自然方式与他们交谈至关重要,而不管手头的主题是什么。
组织可以使用 NLG 来生成可供公司内部每个人使用的对话式叙述。
NLG 最常用于商业智能仪表板、自动化内容生产和更有效的数据分析,对于在营销、人力资源、销售和信息技术等部门工作的专业人士来说是一个很大的帮助。
NLU 和 NGL 在 NLP 中扮演什么角色?
NLP 可以被数据科学家和 人工智能 专业人士将非结构化数据集转换为计算机可以翻译成语音和文本的形式——他们甚至可以针对您向他们提出的问题构建适合上下文的回复(再回想一下 Siri 和 Alexa 等虚拟助手)。
但是 NLU 和 NLG 在哪里适合 NLP 呢?
尽管它们都扮演不同的角色,但所有这三个学科都有一个共同点:它们都处理自然语言。 那么,这三者有什么区别呢?
以这种方式考虑:NLU 旨在理解人类使用的语言,而 NLP 识别最关键的数据并将其组织成文本和数字等内容。
它甚至可以协助进行有害的加密通信。 另一方面,NLG 使用非结构化数据的集合来生成我们可以解释为有意义的故事。
NLP 的未来
尽管 NLP 目前有许多商业用途,但许多企业发现很难广泛采用它。
这主要是因为以下问题: 经常影响组织的一个问题是信息过载,这使得他们很难在看似无穷无尽的海量数据中确定哪些数据集至关重要。
此外,为了有效地使用 NLP,组织经常需要某些方法和设备,使他们能够从数据中提取有价值的信息。
最后但并非最不重要的一点是,NLP 意味着如果公司希望使用 NLP 处理和保留来自各种数据源的数据集合,则需要尖端的机器。
尽管大多数公司在采用 NLP 方面存在障碍,但这些组织似乎最终会采用 NLP、NLU 和 NLG,以使他们的机器人能够维持现实的、类人的交互和讨论。
语义和句法是 NLP 研究的两个子领域,受到了很多关注。
结论
考虑到我们迄今为止所讨论的内容:为语音和写作赋予意义,NLU 阅读和理解自然语言,NLG 在机器的帮助下开发和输出新语言。
NLU 使用语言来提取事实,而 NLG 使用 NLU 获得的见解来生成自然语言。
提防苹果、谷歌和亚马逊等 IT 行业的主要参与者继续投资 NLP,以便他们能够 开发系统 模仿人类行为。
发表评论