准确度（precision）、召回率（recall）和PR曲线-准确率和召回率曲线

 

True Positive, True Negative, False Positive, False Negative

考虑分类问题，对于一个样本，分类器在每个类上判断“是这个类（positive）”或“不是这个类（negative）”。

第二个单词表示模型预测该样本是/不是这个类，第一个单词表示分类器的分类是否正确，由此可以得到四个词组的解释：

True Positive (TP)：预测为正，实际为正（判断正确）True Negative (TN)：预测为负，实际为负（判断正确）False Positive (FP)：预测为正，实际为负（判断错误）False Negative (FN)：预测为负，实际为正（判断错误）

准确度和召回率

在此基础上可以定义准确度和召回率：

precision=TPTP+FPprecision = \frac{TP}{TP+FP} \\ 准确率表示，在所有预测为“是这一类”的样本中，有多少确实是这一类。

recall=TPTP+FNrecall = \frac{TP}{TP+FN} \\ 召回率表示，在所有实际上是这个类的样本中，有多少被判断出来了。

准确度-召回率曲线

容易发现，如果让一个已经训练好的模型在测试集上运行一次，准确度和召回率是确定的。事实上，模型在一个类别c上的准确度-召回率曲线（Precision-Recall Curve, PR Curve）是这样一条曲线，取不同的阈值T，当样本x属于该类别的概率在T之上时，分类器认为x属于该类别；依据这样的规则，可以确定以T为阈值时，模型在类别c上的准确度和召回率。取多个阈值T，即可得到一条PR曲线，通常具有这样的形状：

这里横轴是recall，纵轴是precision。我们的目标是获得同时具有高准确度和召回率的分类器，在图形上的表现是曲线与坐标轴围成的区域面积尽可能大。