循环神经网络是一类以序列数据为输入，在序列演进方向进行递归且所有节点按链式连接的递归神经网络。具有记忆性，一次的输出会作为下一次的输入。
结构
一个典型RNN网络包含一个输入X，一个输入h和一个神经网络单元A. 上一刻的信息会影响下一刻的状态。
循环神经网络类别
一对一: 最基本的单层网络，输入是X，经过变换Wx+b 和激活函数f得到输出y
一对多: 能够处理的问题包含从图像生成文字，输入X为图像的特征，输出y序列为一段句子
多对一: 常用于处理序列分类问题, 如输入一段文字判别所属类别等。
多对多: 最经典的RNN, 输入和输出必须等长。
经典循环神经网络
长短期记忆网络LSTM（Long short Term Memory, LSTM）
循环神经网络最著名和成功的拓展
增强循环神经网络的学习能力，缓解网络的梯度消失等问题
对有价值的信息进行长期记忆，减小循环神经网络的学习难度
应用：文本生成，机器翻译，语音识别，生成图像描述，视频标记
生成对抗网络
深度学习模型，通过判别模型和生成模型的相互博弈学习，生成接近真实数据的数据分布或对输入数据进行分类。
生成器
在给定输入数据时，理解输入，生成类似输出
判别器
在给定输入数据时，将输入数据正确地分类