我们前面学习了n-gram语言模型的使用。我们今天来学习nlp的另外一个模型。DNN（深度神经网络的缩写）（Deep Neural Networks）。这个深度学习的基础。

下面我们就来了解一下这个模型。

感知机

学习神经网络之前我们先看看感知机。

感知机的模型是一个有若干输入和一个输出的模型。

例如：

比如这个图，输出和输入之间学习到一个线性关系，可以得到中间的输出结果。

接着是一个神经元激活函数：

从而得到想要的结果1或者-1。

这个模型只能用于二元分类，并且无法学习比较复杂的非线性模型，因此在工业界无法使用。

而神经网络则在感知机的模型上做了扩展，总结下主要有三点：

加入隐藏层

感知机模型增加隐藏层，隐藏层可以有多层，增强模型的表达能力，比如下面的图。

比如上面这个图，但是增加了这么多隐藏层会导致模型复杂度提升很多。

输出的神经元可以有多个输出

上面的神经元只有一个输出，也可以多个输出。这样的模型可以灵活的应用于分类回归，以及其他机器学习领域比如降维和聚类等。

多个神经元输出的输出层对应的一个实例如下图。输出层有4个神经元。

对激活函数做扩展

感知机的激活函数是sign(z),虽然简单但是处理能力有限，因此神经网络一般使用其他激活函数，比如我们在逻辑回归里面使用过的Sigmoid函数。

即：

还有后来出现tanx，softmac和ReLU等。通过使用不同的激活函数，神经网络的表达能力进一步增强。