LSTM简介（lstm的应用场景）

一、LSTM结构：

图1：LSTM结构图中使用的各种元素的图标如下

在上图中，黄色的矩形框表示的是神经网络层；粉色的圈代表逐点操作，比如向量相加；每一条黑线表示从一个结点传输一整个向量到另一个结点；合在一起的线表示向量连接；分开的线表示复制内容，然后分发到不同的位置。

二、LSTM的组成部分LSTM分成了三个部分1) 哪些细胞状态应该被遗忘（遗忘门）2) 哪些新的状态应该被加入（输入门/更新门）3) 根据当前的状态和现在的输入，输出应该是什么（输出门）三、LSTM前向传播算法

1. 遗忘门 遗忘门：当输入新的信息时，模型若需遗忘旧的信息，此时通过遗忘门来完成遗忘门是LSTM单元的关键组成部分，可以控制哪些信息要保留、哪些信息要遗忘，并且以某种方式避免梯度随时间反向传播时引发的梯度消失和梯度爆炸的问题。

遗忘门决定LSTM从上一时刻的细胞状态图片中丢弃什么信息该门读取图片和图片，然后通过sigmoid将其映射到0到1之间的数值，最终该数值再与细胞状态图片相乘，来决定图片该丢弃什么信息当该数值为1时表示完全地保留图片的信息，当该数值为0时表示完全地丢弃图片的信息。

如图4所示

图4：LSTM遗忘门状态图2. 输入门 1. 确定哪些新的信息被保留在细胞状态中输入门用于控制网络当前输入数据图片流入记忆单元的多少，即有多少输入信息可以保存到图片中输入门包括两部分，第一部分：由sigmoid组成的“输入门”产生的介于0到1之间的控制信号图片，用来控制图片输入的程度；第二部分：通过一个tanh层产生当前时刻的候选细胞状图片，这个值将由图片决定添加到细胞状态中的程度。

如图5所示

图5：LSTM输入门状态图 2. 更新细胞状态图片：将旧的细胞状态 图片 更新为当前细胞状态图片有了遗忘门产生的控制信号图片，tanh层产生的候选细胞状态图片，输入门产生的控制信号图片，就可以将 图片 更新为 图片。

首先 图片 确定上一个细胞状态要保留的信息；然后图片得到候选细胞状态需要保留的信息；最后将这两部分相加，得到最终的当前时刻的细胞状态图片如图6所示

图6：LSTM细胞更新状态3.输出门输出门：输出值基于细胞状态，但是会有一个过滤的过程这里也包括两部分操作：第一部分，由sigmoid组成的“输出门”产生的介于0到1之间的控制信号图片；第二部分，将最终产生的输出信息图片与控制信号图片相乘，得到最终的输出值图片。

输出门控制记忆单元图片对当前输出图片的影响，即记忆单元中的哪一部分会在时间步t输出如图7所示

图7：LSTM输出状态图 传递信息到下一时刻除了将包含长期信息的细胞状态图片传递到下一时刻，也将当前时刻的输出图片作为近期信息传递到下一时刻四、与RNN的区别 1、RNN没有细胞状态；LSTM通过细胞状态记忆信息。

2、RNN激活函数只有tanh；LSTM通过输入门、遗忘门、输出门引入sigmoid函数并结合tanh函数，添加求和操作，减少梯度消失和梯度爆炸的可能性 3、RNN只能够处理短期依赖问题；LSTM既能够处理短期依赖问题，又能够处理长期依赖问题。