machine-learning - 机器学习 - 寻找界限有什么意义？

Question

我目前正在大学学习机器学习，借助机器学习基础（第二版）教科书。我了解了 PAC 学习、Rademacher 复杂性、增长函数和 VC 维度。在整个教科书和课程中，我们似乎花费了大量时间来寻找界限。

我对我们为什么要这样做感到有些困惑。

1. 找到这些界限的重点到底是什么？
2. 这些界限如何实际应用于现实世界的机器学习领域？

教科书和我的教授都没有特别帮助回答我的问题。

谢谢。

标签： machine-learningprobability

Answer 1

决策边界是识别模式的基本原则（将事物分成两组的最简单的观点）。由此，泛化边界为：

在统计机器学习理论中，泛化界——或者更准确地说，泛化误差界——是关于学习算法或算法类的预测性能的陈述。

因此，找到界限的全部意义在于让您确定算法的性能（或效率）。

这似乎是一个微不足道的问题；答案很简单，因为学习算法可以搜索整个假设空间以寻找其最优解。虽然这个答案是正确的，但鉴于我们正在研究的泛化不等式，我们需要一个更正式的答案。

如果你的问题更像是：为什么要花很多时间（所以你强调花在这上面的时间），或者换句话说：为什么我们需要考虑每一个可能的假设？（更多）：

这似乎是一个微不足道的问题；答案很简单，因为学习算法可以搜索整个假设空间以寻找其最优解。虽然这个答案是正确的，但鉴于我们正在研究的泛化不等式，我们需要一个更正式的答案。