data-science - 训练集和测试集的差异阈值是多少？

Question

训练集和测试集之间总是存在性能差异。我想知道这种差异的阈值是什么，可接受与否？例如，也许训练的分数是 87%，而测试的分数是 83%。4% 的差异是可以接受的。但是如果训练和测试的 87% 只是 60%。这 20% 可能表示过度拟合问题。所以我想知道这是否有任何门槛？

标签： data-sciencedata-science-experience

Answer 1

在校舍之外，我的意思是在应用环境中，阈值由上下文决定。可以创建一个在 99% 的时间内正确预测的算法。如果我们是银行，你赚钱了吗？你不知道。该算法可以正确预测每笔一美元的贷款，并且总是错过一千万美元的贷款。所以这个算法的准确性、精确度、召回率、F 分数……在这种情况下毫无意义。从业务或应用程序“询问”的内容向后工作。这决定了阈值容差。