java - 神经网络权重和偏差 Nan

Question

我知道如果你的学习率太高，你会在神经网络中得到 NaN。但我很好奇为什么你会得到学习率高但学习率低的 NaN。谁能告诉我？

标签： javapythonneural-network

Answer 1

学习率用于计算对权重进行了多少调整。如果大于 1，那么调整会随着时间的推移而增长，而不是越来越小。举例说明：您距离目标 1 米；您的学习率为 3，因此您1 * 3 = 3朝它迈步并过冲；现在你距离目标2米，你一步2 * 3 = 6米和4米距离目标......等等。

这样你最终可以溢出重量值。可能您的特定实现通过将 NaN 分配给权重值而不是抛出错误来处理这个问题。