ROC曲线

ROC（Receiver Operating Characteristic）曲线即受试者工作特征曲线 （receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve），用来评价一个二值分类器（binary classifier）的优劣。

ROC曲线的横坐标为false positive rate（FPR），纵坐标为true positive rate（TPR）

混淆矩阵

接下来这张图是混淆矩阵。

先理解 一下
• 伪阳性率（FPR）
判定为正例却不是真正例的概率
• 真阳性率（TPR）
判定为正例也是真正例的概率
• 伪阴性率（FNR）
判定为负例却不是真负例的概率
• 真阴性率（TNR）
判定为负例也是真负例的概率

注意此图中P+N是所有的样本个数。
接下来考察四个点：
①(0,1)：即FPR=0, TPR=1，这意味着FN（false negative）=0，并且FP（false positive）=0。Wow，它将所有的样本都正确分类。
②(1,0)，即FPR=1，TPR=0，这个点的预测全部错误。
③(0,0)，即FPR=TPR=0，即FP（false positive）=TP（true positive）=0，该分类器预测所有的样本都为负样本（negative）。
④（1,1），分类器实际上预测所有的样本都为正样本。

结论：ROC曲线越接近左上角，该分类器的性能越好。

AUC曲线

AUC（Area Under Curve）被定义为ROC曲线下的面积，这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。为什么呢，因为ROC曲线越接近左上角，AUC面积就越大，分类器性能就越好。

参考文献：孔明的博客、百度百科