python - Keras 中的分割网络在训练期间收敛到单个类

Question

我正在尝试使用 Tensorflow 后端在 Keras 中实现 RefineNet。我正在使用来自https://gist.github.com/flyyufelix/65018873f8cb2bbe95f429c474aa1294的 ResNet-101 前端和预训练权重。该模型编译成功，但在训练期间不收敛：它总是在 1 到 5 个训练步骤后收敛到一个类。

我尝试过的东西清单/虽然：

• 输入数据是 one-hot 编码的
• 输入图像具有正确的对应掩码
• 损失函数是分类交叉熵
• 预训练的权重正确，前端正确分类输入图像（例如猫）
• 冻结/解冻前端层似乎没有什么区别
• 不同的优化器（Adam，SGD），不同的学习率（0.01 - 0.000001）
• 网络甚至不会收敛到/过拟合单个训练样本
• 班级不平衡：我尝试使用加权损失，但没有帮助。此外，网络并不总是收敛到最大的类。
• 检查网络图并将它们与 RefineNet 论文中的架构进行比较。
• 可能是某种初始化问题，但 Keras 的默认初始化是内核的 glorot_uniform 和偏差的零，想不出比这更好的了。
• ReLU 可能都死了，但这不应该在仅仅几个训练步骤之后就发生，对吧？我试过LeakyRelU，没有帮助。
• 尝试了不同的输入大小、批量大小、随机裁剪、纵横比（此时有点绝望）。
• 尝试输入随机噪声，相同的行为。

最后一点让我认为架构只是无视输入，但我不知道在哪里、如何以及为什么。

训练期间的示例输出：

Training:
Step 0, loss 15.566238403320312, acc 0.012790679931640625
Step 1, loss 9.91278076171875, acc 0.36734771728515625
Step 2, loss 10.994621276855469, acc 0.27989959716796875
Step 3, loss 10.00101375579834, acc 0.3611602783203125
Step 4, loss 11.439224243164062, acc 0.2010345458984375
Step 5, loss 11.397968292236328, acc 0.229278564453125
Step 6, loss 9.844161987304688, acc 0.3711433410644531
Step 7, loss 9.981706619262695, acc 0.36286163330078125
Step 8, loss 11.335559844970703, acc 0.21475982666015625
Step 9, loss 9.997631072998047, acc 0.3608970642089844
...

完整代码可在以下 Google Colab 笔记本中找到：https ://colab.research.google.com/drive/1OlujuKZYhRaTm9h7rHAPEi9gkiYmQLR_

我试图让重现问题尽可能简单。

任何帮助/想法将不胜感激！

标签： pythontensorflowkerasneural-networkimage-segmentation

Answer 1

在 conv 层之后添加 Batch Normalization 层解决了这个问题。