特异性和灵敏性的区别_spss怎么得出灵敏度特异度

特异性和灵敏性的区别_spss怎么得出灵敏度特异度文章目录性能度量之分辨混淆矩阵1.基本概念2.实例3.小结性能度量1.准确度(accuracy)2.敏感度(sensitivity,recall,hitrate,ortruepositiver

性能度量之分辨

机器学习中,性能度量(performance measure)的方法繁多。本文借助混淆矩阵(confusion matrix)分析了若干度量的计算方法与物理含义,并以当前肺炎疫情为背景进行举例,期望帮助读者更好地分辨学习器的性能度量。

混淆矩阵

1.基本概念

一个常见的二分类问题的混淆矩阵如下:

实际阳性 实际阴性
检测阳性 TP-Ture positive FP -False positive
检测阴性 FN -False negative TN -True Negative

表格中,纵向的数据表示真实值,而横向数据表示预测值。Positive§和Negative(N)只取决于预测值,与真实值无关;预测值与真实值相符被称为True(T),不相符则为False(F)。

2. 实例

为了进一步理解这四个概念,下面假设了一次普通流感(阴性)与新冠肺炎(阳性)的检测结果:

肺炎患者(实际阳性,8) 流感患者(实际阴性,10)
检测为肺炎(9) TP = 7 FP = 2
检测为非肺炎(9) FN = 1 TN = 8
  1. TP,实际为阳性,同时被检测为阳性。TP=7,有7个感染了新冠病毒的患者被检测了出来。
  2. FP,实际为阴性,但被检测为阳性。FP=2,有2个流感患者被误认为是肺炎病人。
  3. FN,实际为阳性,但被检测为阴性。FN=1,有1个肺炎病人被漏检,方法误认为他(她)是流感患者。
  4. TN,实际为阴性,同时也被检测为阴性。TN=8,有8个实际为普通流感的患者被筛选了出来。

3. 小结

对于混淆矩阵,有以下几点需要注意:

  • 纵向的数据表示真实值,而横向数据表示预测值。

  • P和N只取决于预测值,与真实值无关;预测与真实相符被称为T,不相符则为F。

  • 混淆矩阵对角线上的值(T)越大越好,它体现了预测值与真实值的相符程度。

  • 对角线以外的值(F)越小越好,它体现了预测与实际的不符程度。

性能度量

下面基于混淆矩阵介绍5种性能度量。它们分别描述了分类器在特定任务上的表现,而这些任务与实际应用是密不可分的。

1. 准确度(accuracy)

a c c u r a c y = T P + T N T P + F P + F N + T N accuracy = \frac{TP+TN}{TP+FP+FN+TN} accuracy=TP+FP+FN+TNTP+TN

  • 直觉上,准确度通常是被第一时间想到的标准。但是它会受到阴性和阳性的理论比例的影响,当二者所占比例相差较大时,将不适用于衡量分类器效果。
  • 如果1000名流感病人和5名新冠肺炎患者同时接受检测,他们全部被检测为阴性,将得1000÷(1000+5)=99.5%的准确度。非常高的准确度!但实际情况是,此方法连一个肺炎患者都没检测出来。
  • 准确度因其广而范,往往是最直接也是最没有说服力的一个度量。

2. 敏感度(sensitivity, recall, hit rate, or true positive rate ,TPR)

s e n s i t i v i t y = T P T P + F N sensitivity = \frac{TP}{TP+FN} sensitivity=TP+FNTP

  • 敏感度是对阳性样品的敏感度。如果6名肺炎病人,只有5名被检测为阳性,另1名被错测为流感,那么敏感度会降低。
  • 另一方面,假设,不仅检测出这6名肺炎病人,还额外多检测出4名阳性患者,这样的缺陷是不会在敏感度上体现出来,它依然是100%。也就是说,以敏感度为唯一标准能显著提高肺炎病人确诊的正确率,但也会增加流感病人被误诊为新型肺炎的风险。这个风险是很严重的,因为在误诊的流感病人与肺炎患者的共同治疗中,前者可能会被感染。

3. 特异度(specificity or true negative rate, TNR)

s p e c i f i c i t y = T N T N + F P specificity = \frac{TN}{TN+FP} specificity=TN+FPTN

  • 特异度可以理解成敏感度的在阴性样本上的说法。在一个阴性样本较少的任务里,分类器的特异度表现为它在阴性样本总体较少时的作出专一、特别的判断的能力。特异度越高的检测方法,对于流感病人的保护能力越强。

4. 精确度(precision or positive predicitive value, PPV)

P P V = T P T P + F P PPV = \frac{TP}{TP +FP} PPV=TP+FPTP

  • 精确度是某种程度上的敏感度的反义词。正因为这种矛盾,精确度和敏感度一起可以衡量识别阳性的能力。精确度也可以理解为分类器输出的阳性标签的置信度。拿介绍敏感度时用的例子:如果不仅检测出本应有的6名肺炎患者,还将4名流感患者误判。虽然敏感度依然为100%,但是$PPV=\frac{6}{4+6}=60 % $。

5. 负预测性(negative predictive value, NPV)

N P V = T N T N + F N NPV = \frac{TN}{TN + FN} NPV=TN+FNTN

  • 精确度在阴性样本上的说法,可以与特异度一起衡量分类器识别阴性的能力。

实例与总结

这部分,针对假设的数据进行分类器性能计算,并进一步总结各个性能指标。

肺炎患者(实际阳性,8) 流感患者(实际阴性,10)
检测为肺炎(9) TP = 7 FP = 2
检测为非肺炎(9) FN = 1 TN = 8
性能度量 计算 直观描述 过分强调的后果
准确度 7 + 8 7 + 2 + 1 + 8 = 83.3 % \frac{7+8}{7+2+1+8}=83.3\% 7+2+1+87+8=83.3% 广而范的准确性度量 忽略了样本总量间的比例关系,失去参考价值
敏感度 7 7 + 1 = 87.5 % \frac{7}{7+1}=87.5\% 7+17=87.5% 对阳性样品的敏感程度 分类器过于敏感(激进),增加实际为阴性的误判率
特异度 8 8 + 2 = 80.0 % \frac{8}{8+2}=80.0\% 8+28=80.0% 对阴性样本的敏感程度 分类器过于保守,大量的阳性可能因此漏检
精确度 7 7 + 2 = 77.7 % \frac{7}{7+2}=77.7\% 7+27=77.7% 阳性标签的置信度,与敏感度相对 分类器过于谨慎,阳性可能因此漏检
负预测性 8 8 + 1 = 88.9 \frac{8}{8+1}=88.9% 8+18=88.9 阴性标签的置信度,与特异性相对 分类器过于谨慎,阴性可能因此漏检
  • 在实际应用中,可以使用“敏感度+精确度”或者“特异度+负预测性”形成拮抗来有效地评估分类器。
  • 关于分类器的评估,还有F1、AUC(Area Under ROC Curve )、P-R曲线图(查准率-查全率曲线图)等等。

参考文献

[1]https://blog.csdn.net/leon_wzm/article/details/77524694

今天的文章特异性和灵敏性的区别_spss怎么得出灵敏度特异度分享到此就结束了,感谢您的阅读。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/87357.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注