tensorflow - 使用 ADAM 优化器时真的有必要调整/优化学习率吗？

Question

在 tensorflow/keras 中使用 ADAM 作为优化器时，是否真的需要优化初始学习率？如何做到这一点（在 tensorflow 2.x 中）？

标签： tensorflowdeep-learningtensorflow2.0

Answer 1

这是。与任何超参数一样，应该搜索最佳学习率。即使使用像 ADAM 这样的优化器在衰减等方面具有很好的特性，您的模型也可能无法学习学习率是否太大或太小。

在这篇文章中可以看到 ADAM 优化器下模型在学习率方面的行为示例如何为您的机器学习项目选择最佳学习率

寻找正确的超参数称为超参数调整。我没有在我的项目中使用 TF 2.*，所以我将参考 TensorFlow 本身通过 HParams Dashboard 提供的超参数调整