machine-learning - 我们如何定义神经网络中的不良学习率？

Question

我正在尝试定义神经网络中不良学习率的正确定义，如下所示：

神经网络中的不良学习率是指您分配的学习率太低或太高，学习率太低，网络会花费太多时间来训练，但学习率太高，网络会变化太快，这可能会导致输出。

任何建议将不胜感激。

标签： machine-learningneural-networksupervised-learning

Answer 1

我相信有效的学习率（alpha）取决于数据。你提到的关于低效学习率的观点是绝对正确的。因此，选择 alpha 没有硬性规定。让我列举一下我在决定 alpha 时采取的步骤：

1. 您显然需要一个大的 alpha 以便您的模型快速学习
2. 另请注意，大 alpha 会导致超出最小值，因此您的假设不会收敛
3. 为了解决这个问题，你可以去学习率衰减。当您接近最小值并减慢学习速度时，这会降低您的学习率，以使您的模型不会超调。

有几种方法可以做到这一点：

• 阶跃衰减
• 指数衰减
• 线性衰减

您可以选择其中一个，然后训练您的模型。话虽如此，让我指出，在您获得最佳结果之前，您仍然需要进行一些试验和错误。