什么是NLP自然语言处理？定义、重要性、发展和应用 – AI百科

先给 NLP 下个定义

NLP 全称 Natural Language Processing，即自然语言处理，是计算机科学的一个分支，研究怎么让计算机和软件听懂人话、读懂人写的东西。

人和计算机“说话”的方式天差地别，编程语言原本是夹在中间的翻译官。我们说话写文章充满细节，还经常模棱两可；计算机却完全基于逻辑，程序让它干什么它就干什么。这道鸿沟让机器历来很难理解人类语言，而自然语言处理要做的，就是彻底改进计算机理解人类文本和语音的方式。

手段上，NLP 综合了人工智能、机器学习和计算语言学，对文本和语音数据进行处理，从里面挖出含义、弄清意图和情感，再形成回应。后文会看到，它能派上用场的地方多到超出想象。

NLP 为什么重要

自然语言处理这个概念比你以为的要早得多，20 世纪 50 年代就有专家琢磨给计算机编处理语言的程序。只是这几年，靠着计算能力提升和机器学习发展，这个领域才真正迎来大爆发。

想明白 NLP 的分量，不妨先看看人类语言是怎么组织起来的。除了书面句子里的词汇、句法和语法，口语还有语音、音调、口音、措辞这些层面。

我们传递意义的方式五花八门，同一个词或短语，换个背景、换个说话人的意图，意思可能完全两样。说到底，语言这东西连人类自己解读起来都费劲，能让机器听懂我们，本身就是相当了不起的成就。

随着自然语言处理不断改进，我们和身边的技术打交道会更顺手。它擅长给本质上没有结构的东西搭出结构，软件因此更聪明，我们和人沟通也可能因此变得更好。

再往前一步，NLP 能带来更好的人机互动，还能给出关于意图和情感的细致洞察——企业、普通消费者、技术人员都能从中受益。

NLP 是怎么运转的

对 NLP 是什么有了感觉之后，再聊聊它内部怎么工作。NLP 属于人工智能里相当高级的应用，这里只做一个最顶层的解释。

先要明白一点：这个领域由若干功能或任务拼成，按想要的解决方案，其中一部分或全部功能可能同时联动。最基础的层面，NLP 软件要跑三个主要过程：

• 第一步，把语言（语音或文本）分解成小块
• 第二步，设法理解这些信息片段之间的关系
• 第三步，再设法从这些关系里创造出意义

当然，这些过程背后还藏着更多步骤，语言学知识、编程、算法和统计一样都少不了。

自然语言处理用到的技术

下面这份清单，挑了几个任务说说 NLP 具体是怎么干活的：

• 语音识别。把语音数据变成文本数据。语音识别软件先把语音拆成一个个声音单位，再用算法把意义拼凑起来。
• 词义歧义化。很多语言里，同一个词换个上下文就是另一个意思。词义辨析（WSD）就是分析语言、把不同含义区分开的过程。
• 核心推理解决。这个步骤用来判断文本或语音里的词是否指同一个实体，最典型的就是搞清楚“他、她、他们”各自指的是哪个人或东西。
• 情感分析。语言里有大量微妙之处，NLP 能把藏在其中的情绪和态度提取出来，不管是正面的还是负面的。

NLP、AI 和机器学习，谁包含谁

自然语言处理是人工智能（AI）的一个分支，同时用上了机器学习（Machine Learning）和数据分析的成分。三者是各不相同的领域，重叠的部分却又不少。

每个领域都靠大量数据驱动，数据越多，结果越好；也都擅长给高度非结构化的东西搭出结构；还都能用来提供洞察、发现模式、判断当前和未来的趋势。

自然语言处理天生带着这些属性，因为它建立在同样的原则上。AI 关注的是让机器模拟人类智能，NLP 则专门啃“理解人类语言”这块骨头，而两者都建立在机器学习之上——用算法教机器自动完成任务、从经验中学习。

NLP 的应用和例子

• 语言翻译。把一种语言准确翻成另一种，一直是 NLP 的挑战之一，也是相当成熟的机器学习分支，近几年进展尤其大。这里要考虑的因素很多：逐字硬翻往往讲不通，翻译系统既得确定输入是什么语言，也得定下输出成什么语言。早期的翻译靠所谓基于规则的机器翻译，要备一大堆语法规则和两种语言的词典；最近的 AI 翻译走统计机器翻译的路子，用现成翻译的数据来指导新的翻译。
• 语音助手。国内的阿里小爱同学、天猫精灵、小度，国外的 Siri、Alexa、谷歌助手——我们很多人都在用这些由 NLP 驱动的语音助手。它们用 NLP 把用户的语音或文字输入对上具体命令，再根据请求给出响应。做法通常是先记录并检测你说话时的频率和声波，把它们压缩成少量编码，再用算法分析编码来确定含义。
• 搜索引擎的结果。搜索引擎早就成了我们生活的一部分，但传统的它在“弄清人们到底想搜什么、怎么搜”这件事上并不在行。语义搜索正是自然语言处理的一块分支，能更好地理解人们（无论语音还是文字）搜索背后的意图，据此返回更有意义的结果。除了搜索效果更好、更直观，语义搜索还波及数字营销，尤其对搜索引擎优化影响不小。
• 预测性文本。这种应用你多半见过：手机键盘、搜索引擎搜索框、写邮件的时候，都有它的身影。这类 NLP 研究个人和群体使用语言的习惯，预测接下来会出现哪个词或短语。机器学习模型算的就是下一个词出现的概率，再据此给出建议。