7. 开发集和测试集应该多大?

7 开发集和测试集应该多大?

开发集应该足够大,大到可以检测出不同算法之间的差异。比如:如果分类器A的精度为90.0%,分类器B精度为90.1%。如果你的开发集只有100条,那么你可能检测不出这0.1%的差异,与其它机器学习的问题相比,100条数据很小,常见的开发集数据规模在1000到10000条之间。数据量越高,模型之间的差异越明显。[2]

对于一些成熟的重要应用来说(如:广告推荐,网页推荐,产品推荐等)。我经常看到团队在为0.01%的性能提升而奋斗,因为这直接影响到了公司的利润。在这种情况下,开发集的数据量可能远远超过10000条,只为了对算法进行改进。

测试集要多大?它也应该足够大,大到你有一个很高自信度去对系统的整体性能进行评估。这里有一个方法:将30%的数据用于测试。在你拥有一个中等(100到10000个样本)数据量的情况下,它的效果不错。但是在大数据的时代下,我们面对的机器学习问题数据量可能会超过10亿条样本,开发集与测试集之间的比例一直在减小,但是开发与测试集的绝对数量在增加。在给开发集和数据集分配时,没必要过多的进行分配。

[2] 理论上,如果一个算法的变化差异符合统计学上的某种变化,那么我们可以进行测试。在实践中,大多数团队都会这样做(除非它们发表论文)。而我没有发现用于统计意义上的测试。

点赞

发表评论

电子邮件地址不会被公开。