CGFT认证点：神经网络训练中三个基本概念Epoch, Batch, Iteration_神经网络acc是什么
目录：
1.神经网络epoch是什么
2.cmac神经网络
3.神经网络checkpoint
4.inception 神经网络
5.神经网络acc是什么
6.神经网络 cv
7.神经网络fc层
8.神经网络validation checks
9.神经网络 caffe
10.神经网络epoch是什么意思
1.神经网络epoch是什么
这两天在完成学习CGFT深度学习这段知识点时，找到了几篇论文，又在GitHub上找了一些代码，在服务器上运行时候，如下如所示，发现了Epoch这个东西，这是什么？于是就总结了一下。
2.cmac神经网络
在训练神经网路时候经常会看到Batch、Epoch和Iteration这几个概念相信很多人对这几个概念感觉到模糊，别着急，往下看Epoch：当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次Epoch。
3.神经网络checkpoint
换句话说就是所有训练样本在神经网络中都进行了一次正向传播和一次反向传播，再通俗一点就是一个Epoch就是讲所有训练样本训练一次的过程一个Epoch训练样本数量可能太过庞大，就需要把它分成多个小块，也就是就是分成多个Batch 来进行训练。
4.inception 神经网络
Batch：将整个训练样本分成若干个BatchBatch_Size：每批样本的大小Iteration：训练一个Batch就是一次Iteration这里再对这三个词进行解释一下：名词定义Epoch使用训练集的全部数据对模型进行一次完整训练，“
5.神经网络acc是什么
一代训练”Batch使用数据集中的一小部分样本对模型权重进行一次反向传播的参数更新，“一批数据”Iteration使用一个Batch数据对模型进行一次参数更新的过程，“一次训练”为什么要使用多于一个epoch?
6.神经网络 cv
在神经网络中传递完整的数据集一次是不够的，而且我们需要将完整的数据集在同样的神经网络中传递多次但请记住，我们使用的是有限的数据集，并且我们使用一个迭代过程即梯度下降来优化学习过程如下图所示因此仅仅更新一次或者说使用一个epoch是不够的。
7.神经网络fc层
图片来源于网络随着epoch数量增加，神经网络中的权重的更新次数也在增加，曲线从欠拟合变得过拟合问题来了，多少个epoch才是最合适的呢？不幸的是，这个问题并没有正确的答案对于不同的数据集，答案是不一样的。
8.神经网络validation checks
但是数据的多样性会影响合适的epoch的数量换算公式：
9.神经网络 caffe
实际上，梯度下降的几种方式的根本区别就在于上面公式中的 Batch_Size 不同用mnist 数据集举例：mnist 数据集有60000张图片作为训练数据，10000张图片作为测试数据假设现在选择 Batch_Size = 100对模型进行训练。
10.神经网络epoch是什么意思
每个 Epoch 要训练的图片数量：60000(训练集上的所有图像)训练集具有的 Batch 个数：60000/100=600每个 Epoch 需要完成的 Batch 个数：600每个 Epoch 具有的 Iteration 个数：600（完成一个Batch训练，相当于参数迭代一次）
每个 Epoch 中发生模型权重更新的次数：600训练 10 个Epoch后，模型权重更新的次数：600*10=6000不同Epoch的训练，其实用的是同一个训练集的数据第1个Epoch和第10个Epoch虽然用的都是训练集的图片，但是对模型的权重更新值却是完全不同的。
因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小
以上就是关于《CGFT认证点：神经网络训练中三个基本概念Epoch, Batch, Iteration_神经网络acc是什么》的全部内容，本文网址：https://www.7ca.cn/baike/8493.shtml，如对您有帮助可以分享给好友，谢谢。