循环神经网络 RNN 的基本结构是 BP 网络的结构，也是有输入层，隐藏层和输出层。只不过在 RNN 中隐藏层的输出不仅可以传到输出层，并且还可以传给下一个时刻的隐藏层，如下图所示：
注意：整个RNN结构是共享一组W、U、V、b的，这个RNN结构的一个重要特性。

RNN 的结构可以展开为右边的结构，其中 x x x 为输入信号， x t − 1 x_{t-1} xt−1​ 为t-1时刻的输入信号， x t x_{t} xt​ 为 t 时刻的输入信号， x t + 1 x_{t +1} xt+1​ 为 t + 1 {t+1} t+1 时刻的输入信号。 h t − 1 h_{t-1} ht−1​为 t-1 时刻的隐藏层信号， h t h_{t} ht​为 t 时刻的隐藏层信号， h t + 1 h_{t+1} ht+1​为 t+1 时刻的隐藏层信号。 y t − 1 y_{t-1} yt−1​为 t-1 时刻的输出层信号， y t y_{t} yt​为 t 时刻的输出层信号， y t + 1 y_{t+1} yt+1​为 t+1 时刻的输出层信号。W，U，V 为网络的权值矩阵。h 是隐藏(hidden)的首字母

从结构上可以观察到 RNN 最大的特点是之前序列输入的信息会对模型之后的输出结果造成影响。

循环神经网络 RNN 有两种常见的模型，一种是 Elman network 另一种是 Jordan network。Elman network 和 Jordan network 也被称为Simple Recurrent Networks (SRN)或 SimpleRNN，即简单的循环神经网络。

其中 x t x_{t} xt​为 t 时刻的输入信号， h t h_t ht​为 t 时刻隐藏层的输出信号， y t y_t yt​为 t 时刻输出层的输出信号。W，U，V 对应图 9.5 中的权值矩阵，b 为偏置值。 σ h \sigma_h σh​ 和 σ y \sigma_y σy​为激活函数，激活函数可以自行选择。通常情况下 σ h \sigma_h σh​ 为tanh激活函数， σ y \sigma_y σy​ 如果做二分类任务可以选择sigmod，多分类任务可以选择softmax。

从上面 Elman network 和 Jordan network 的公式对比中可以看出，Elman network的隐层 h t h_{t} ht​ 接收的是上时刻的隐层 h t − 1 h_{t-1} ht−1​ 的信号；而 Jordan network 的隐层 h t h_{t} ht​ 接收的是上时刻的输出层 y t − 1 y_{t-1} yt−1​ 的信号。一般 Elman network 的形式会更常用一些。

输入的是独立地数据，输出的也是独立地数据，基本上不能算作是RNN，跟全连接神经网络没有什么区别

输入的是一个独立数据，需要输出一个序列数据，常见的任务类型有：

1. 基于图像生成文字描述
2. 基于类别生成一段语言，文字描述

最为经典地RNN任务，输入和输出都是等长地序列,常见的任务有：

1. 计算视频中每一帧的分类标签
2. 输入一句话，判断一句话中每个词的词性

输入一段序列，最后输出一个概率，通常用来处理序列分类问题。常见任务：

1. 文本情感分析
2. 文本分类

Seq2Seq 的全称是 Sequence to Sequence，也就是序列到序列模型。seq2seq 也算是多对多架构

输入序列和输出序列不等长地任务,也就是Encoder-Decoder结构，这种结构有非常多的用法：

1. 机器翻译：Encoder-Decoder的最经典应用，事实上这结构就是在机器翻译领域最先提出的
2. 文本摘要：输入是一段文本序列，输出是这段文本序列的摘要序列
3. 阅读理解：将输入的文章和问题分别编码，再对其进行解码得到问题的答案
4. 语音识别：输入是语音信号序列，输出是文字序列

基于Encoder-Decoder的结构后续有改良出了NLP中的大杀器transformer和Bert。