tensorflow - 我的验证损失低于我的训练损失,我应该摆脱正则化吗?
问题描述
我听过很多人谈论一些原因,但他们从来没有真正回答是否应该修复它。我检查了我的数据集是否有泄漏,并从 TFRecords 数据集中随机抽取了 20% 用于我的验证集。我开始怀疑我的模型有太多的正则化层。我应该减少我的正则化以使验证线位于训练线之上吗?或者它真的很重要吗?
解决方案
验证损失低于训练损失并没有错。它仅取决于验证集的概率分布。如果您的模型中有很多 dropout,则很容易出现这种情况,因为训练损失是在存在 dropout 的情况下计算的。在计算验证损失 dropout 时被禁用。问题是您的训练准确性处于可接受的水平。如果不是,则减少模型中的正则化。
推荐阅读
- javascript - Alexa Custom Skill AboutIntent 在测试中未触发
- docker - stdout FileNotFoundError 上的 pyvirtualdisplay 错误:[Errno 2] 没有这样的文件或目录
- excel - 如何在不先自行运行的情况下自动化 excel
- javascript - 使用咖啡脚本创建自定义 Web 组件时出错
- javascript - 从对象递归获取匹配键的值
- properties - 使用属性控件在 Spotfire 计算列的列中使用唯一值
- google-oauth - Google OAuth 2.0 ID 令牌中缺少电子邮件
- javascript - 单击相同问题时关闭常见问题手风琴
- python - Numpy 分区无法按预期工作
- asp.net - 动态创建的标签和文本框无法定位