频率派VS贝叶斯派（贝叶斯概率和频率概率）

 Introduction

对概率的诠释有两大学派，一种是贝叶斯派，一种是概率派。对于观测到的样本，我们以后均采用下面的标记：

其中，每一个样本都是p维的向量，一共有N个样本。每个样本都由p产生，是隐含的参数。

频率派的观点

频率派认为，在样本产生的过程中，参数是一个常量。对N个样本来说，。参数可以用最大对数似然MLE来产生：

贝叶斯派的观点

贝叶斯派认为参数服从预设的先验分布x~。于是根据贝叶斯定理依赖观测集参数的后验可以写成：

后验概率最大的可能是后验中的众数，也就是最大值时的的值，即：

其中，是一个固定的值，在运算中可以省略。为似然，为先验分布。

求出后验概率以后，可以求出贝叶斯估计的确定的值：

贝叶斯估计可用于求贝叶斯预测：已知原数据X，求出新的样本的概率。

其中，（在参数已知的情况下）与相互独立；是模型，是后验分布。

小结

频率派和贝叶斯派分别给出了一系列的机器学习算法。频率派的观点导出了一系列的统计机器学习算法而贝叶斯派导出了概率图理论。在应用频率派的 MLE 方法时最优化理论占有重要地位。而贝叶斯派的算法无论是后验概率的建模还是应用这个后验进行推断时积分占有重要地位。因此采样积分方法如 MCMC、蒙特卡罗有很多应用。