conv-neural-network - 训练期间如何处理损失和验证的 NaN 和 0

Question

我在训练时使用 SSD512（imagenet 预训练模型）和 Faster_R-CNN（预训练），损失和置信度显示 nan 和验证为 0。

[篮球-ChainerCV]（https://github.com/atom2k17/Basketball-ChainerCV/blob/master/basketballproject.py）。

这是下面 SSD300 训练的图像：

在训练开始之前训练 Faster R-CNN 时，在第一组 epoch 的结果之前会显示以下内容：

/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:65: 
RuntimeWarning: overflow encountered in exp
  h = xp.exp(dh) * src_height[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:65: 
RuntimeWarning: overflow encountered in multiply
  h = xp.exp(dh) * src_height[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:66: 
RuntimeWarning: overflow encountered in exp
  w = xp.exp(dw) * src_width[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:66: 
RuntimeWarning: overflow encountered in multiply
  w = xp.exp(dw) * src_width[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/proposal_creator.py:126: 
RuntimeWarning: invalid value encountered in greater_equal 

我尝试过的事情：

1. 提高学习率
2. 减小 batch_size
3. 删除了文本文件中的图像、注释和内容，这些图像的边界框小于总图像大小的 1%

注意： SSD300 一切正常，问题出在 SSD512 和 Faster RCNN 模型上。所有模型都在 ImageNet 数据集上进行了预训练。

问题背后的问题/问题是什么？谁能指点如何处理这些问题？

标签： conv-neural-networkobject-detectionpre-trained-modelchainercv