machine-learning - 在实现小批量梯度下降时，随机选择训练样本更好吗？

Question

在实现小批量梯度下降时，随机选择训练示例（计算导数）是否更好？还是将整个训练示例洗牌然后遍历它们并每次洗牌会更好吗？第一种方法可能会导致我们跳过全局最小值。

标签： machine-learningdeep-learningtraining-datagradient-descentmini-batch

Answer 1

对输入数据进行排序意味着模型是在一组非代表性的输入上训练的。你已经改变了分布 - 可能相当大。

当您使用从整个数据集中随机选择（并希望具有代表性）批次的更标准方法时，仍然有可能跳过全局最小值。有许多方法可以帮助减少这种机会。您可能需要查看分级调整以减少步长，例如simulated annealing.