machine-learning - 为什么训练误差随 KNN 中的 K 值变化？

Question

为什么在 KNN 算法中训练误差随着 K 值的增加而增加？

对于 k=1，训练误差为零，因为如果我们取一个点并确定第一个最近邻，它将是训练数据集中的同一点，因此误差为零。对于 k=2, 3....，同样的概念应该是正确的。那么训练误差怎么会随着 K 值的增加而增加呢？

标签： machine-learningknn

Answer 1

当k=1时，算法会选择一个最接近测试样本的训练样本，因为训练样本中有测试样本，它会自己选择，误差为零，也是过拟合的模型。而当 k = 2，k=3 或更大时，它将寻找可以属于不同组的许多邻居，因此错误率增加。