lstm - 解决 VAE 中的爆炸梯度

Question

如何解决深度生成模型 (VAE) 中的爆炸梯度？

注意：数据集在列中包含很多 NaN 值

标签： lstmgradientautoencodergenerative-adversarial-networkgenerative

Answer 1

我不确定爆炸梯度对于 VAE 来说是典型的。这可能是您的代码中的另一个问题。然而，爆炸梯度通常通过梯度裁剪来解决：

weights = weights*clipping_threshold/l2_norm(weights)

其中clipping_threshold 等于1。