8. 建立一个单一数字的评估指标

8 建立一个单一数字的评估指标

分类准确率是单一数字评估指标(single-number evaluation metric)的示例:你在你的开发集(或测试集)上运行你的分类器,然后得到样本分类正确的比例(fraction)(单个数字),根据这个指标,如果分类器A的准确率为97%,分类器B的准确率为90%,那么我们认为分类器A更好。
相比之下,精度(查准率)(Precision)和召回率(查全率)(Recall)[3]就不是一个单一数字的评估指标:它给出两个数字来评估分类器。拥有多个评估指标使得算法之间的比较更加困难,假设你的算法表现如下:

分类器 精度 召回率

A 95% 90%

B 98% 85%

如上所示,这两个分类器的性能差不多,这就导致我们无法轻松的选择最好的那个。
在开发期间,你的团队会尝试大量关于算法架构,参数调整,特征选择等方面的想法。使用单一数字评估指标(如精度)使得你可以根据其在该指标上的表现快速对所有模型进行排序,从而绝对哪一个最好。
如果你真的即关心精度也关心召回率,我推荐你使用一个标准方法来把他们组合成一个单一的数字。例如你可以使用它们的平均值。或者你可以计算F1值(F1 score),这是一种基于平均值改善的方法,比简单的取平均值的效果要好。[4]

分类器 精度 召回率 F1值

A 95% 90% 92.4%

B 98% 85% 91.0%

当你面对大量的分类器时,使用单一数字评估更加方便和快速的让你选择出最好的分类器。
在最后一个例子中,假如你得到了分别在四个主要市场((1)美国,(2)中国,(3)印度和(4)其他地区)猫咪分类器的准确率。这里提供了四个指标。通过对这四个数据进行平均或加权平均,最终得到一个单一数字度量。取平均值或加权平均值是合并多个指标的常见方法之一。

[3]猫咪分类器的精度是指在开发集(或测试集)中检测出所有猫咪图片中有多少比例是真正的含有猫咪。它的召回率是指在开发集(或测试集)中所有真正的猫咪图片中有多少比例被检测出来了。在高精度和高召回率之间通常是权衡的。
[4]如果你想了解更多关于F1值的信息,请见: https://en.wikipedia.org/wiki/F1_score 它是 基于精度和召回率的“几何平均(geometric mean)”定义的,计算公式为: 2/((1/精度)+(1/召回率)).

点赞

发表评论

电子邮件地址不会被公开。