上次讲了DNN的感知机，今天我们来学习一下DNN的基本结构。

DNN的基本结构

神经网络是基于感知机的扩展，而DNN可以理解为有很多隐藏层的神经网络。

多层神经网络和深度神经网络DNN其实也是指纸的一个东西，DNN有时也叫做多层感知机（Multi-layer perceptron，MKP）。

DNN按不同位置划分，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层。

如下图，

第一层是输入层，最后一层是输出层，中间的都是隐藏层。

层与层之间是全连接的，也就说，第i层的任意一个神经元一定与第i + 1层的任意一个神经元相连。

虽然DNN看起来很复杂，但是从小的局部模型来说，还是和感知机一样，即一个线性关系。

这里最后一个sigma函数是激活函数。

参数定义

由于DNN层数多，我们的线性关系系数w和偏倚b的数量也就很多了。具体的参数在DNN中如何定义的呢？

线性参数W的定义

以下图为例。

这个图是一个3层的DNN。第二层的4个神经元到第3层的第2个神经元的线性关系定义为

上标3代表线性系数w所在的层数，而下标对应的是输出的第3层索引2和输入的第2层索引4。你可能会问，为什么不是

这主要是为了便于模型用于矩阵运算。

如果是

而每次进行矩阵运算时

需要进行转置。 将输出索引放在前面的话，则线性运算不用转置。即直接为wx+b。

第l-1层的第k个神经元到第l层的第j个神经元的线性系数定义为

注意，输入层是没有w参数的。