12. 小结:建立开发集和测试集

• 从分布中选择开发集和测试集 ,它需要反映你将来的数据情况,并且它的效果足够好,这可能与训练的数据不在同一分布。
• 尽可能在同一分布选择你的开发集和测试集。
• 为你的团队选择一个单一数字的评估指标来进行优化。如果你关心多个指标,你可以把它们合并到一个指标中(例如:平均多个错误指标),或设定满足指标和优化指标。
• 机器学习是一个高度迭代的过:在发现你满意的结果之前需要尝试大量的idea。
• 开发/测试集和单一数字指标可以帮助你快速的评估算法,从而迭代的更快。
• 当开始一个全新的应用时,尝试快速建立开发/测试集和评估指标,最好在一周之内,当然,如果在成熟的机器学习应用上可以花费比这更长的时间。
• 当你拥有大量数据的时候,根据70% : 30%的比例划分训练/测试集这个经验可能不太适用;开发/测试集可以 占远小于30%的数量。
• 你的开发集应该足够大,足够检测到算法的改变,但没必要太大,只要达到你可以对你的系统整体性能有一个评估即可。
• 如果你的开发集和苹果指标没有引导你的团队往正确的方向走,请快速改变它们:
(1)如果在开发集上过拟合了,你可以去获取更多的数据
(2)如果你数据的实际分布和开发/测试集的分布不同,那么你需要去更新你的数据集
(3)如果你的评估指标不能在衡量对于你来说很重要的东西,请改变它

点赞

发表评论

电子邮件地址不会被公开。