什么是循环神经网络（RNN） – AI百科知识

在人工智能的地盘上，循环神经网络（RNN）是一种很特别的神经网络结构，处理起序列数据来能力相当出众。这篇就把RNN的家底挨个讲一遍：定义、结构、工作原理、应用场景、优缺点、变体，外加几个常见问题的解答。

先弄清楚RNN是什么

循环神经网络（英文名Recurrent Neural Network，简称RNN），是一种带内部记忆的神经网络。有了记忆，网络就能结合前一步的信息来处理和分析序列数据。它和传统的前馈神经网络不一样——前馈网络是单方向处理数据的，RNN的连接能形成有向循环，先前输入的信息就这样被留了下来。

RNN背后的关键是一个"递归"的概念。RNN每一步接收一个输入、产生一个输出，同时把信息传给下一步。靠着这个反馈循环，网络能捕捉序列数据里的依赖关系和规律，所以凡是涉及分析序列的任务，它都很对口。

RNN的结构长什么样

RNN的结构分输入层、隐藏层和输出层三部分。核心在隐藏层：它不光处理当前输入，还带一个短期记忆组件，存着之前的输入信息。正是这个设计，让RNN能捕捉序列数据里的长期依赖。

• 输入层：接收来自外部的输入数据。
• 隐藏层：内含循环连接，网络靠它记住之前的状态。
• 输出层：产出网络的最终输出。

RNN都能用在哪些地方

• 自然语言处理（NLP）：语言建模、机器翻译、情感分析、文本生成，这些NLP任务基本是RNN的主场。它能捕捉文本里的上下文信息，理解和生成像人话一样的语言很有一套。
• 语音识别：语音信号天生有序列特性，RNN在语音识别上也吃得开，基于RNN的模型在语音转文本、语音命令识别这些任务里都拿到了最先进的性能。
• 时间序列分析：股价、天气数据、传感器读数这类时间序列数据，RNN处理起来非常合适。它能捕捉时间上的依赖，拿历史数据做预测，在预测和异常检测里价值很高。
• 图像文本描述：图像字幕这个活儿RNN也干了——网络给图片生成文字描述。把从图像提取的视觉特征和语言的序列特性结合起来，RNN生成的字幕既有意义又贴合上下文。

RNN的长处和短板

先说优点

• 序列处理：处理序列数据是看家本领，分析序列的任务都能交给它。
• 可变输入长度：RNN能吃下可变长度的输入，面对不同类型的数据时很灵活。
• 上下文理解：序列数据里的上下文信息它能捕捉到，理解并生成有意义的输出不在话下。

再看缺点

• 梯度消失/爆炸：RNN容易出梯度消失或梯度爆炸的问题，训练经常因此变得棘手。
• 记忆限制：内存容量有限，想捕捉数据里的长期依赖，是件难事。
• 计算复杂性：计算开销不小，尤其是处理长序列或者海量数据的时候。

RNN的几种变体

为了补上RNN的一些短板，研究者提出了几个变体，比如：

• 长短期记忆网络（LSTM）：LSTM引入了门控机制，信息该留该忘由门来决定，梯度消失的问题基本被解决了。
• 门控循环单元（GRU）：GRU是LSTM的简化版，把遗忘门和输入门合成一个更新门，模型参数少了一截。
• 双向RNN（Bi-RNN）：Bi-RNN在每个时间步同时看序列的前向和后向信息，某些任务里能给出更丰富的上下文。

常见问题（FAQ）快问快答