deep-learning - 批量标准化对小型网络有用吗?
问题描述
我们知道批量归一化(BN)加速了深度神经网络的训练。但它对小型神经网络也有帮助吗?我一直在试验一个 6 层卷积 MLP 网络,我看不出 BN 在训练这个网络时有什么好处。
解决方案
批量归一化通常用于非常深的神经网络。多层之后的层的输出随着每个小批量而不断波动,并且层必须不断追逐一个移动的目标。
然而,对于浅层神经网络,这不是什么大问题,因为波动在一个狭窄的范围内,不会造成移动目标的问题。所以对于浅层神经网络,你也可以选择不进行批量归一化的训练,它会按预期工作。
推荐阅读
- android - 如何获取画廊文件夹路径?
- phpmyadmin - 大导入后如何重新启动 phpmyadmin
- php - 连接到 cPanel 中的数据库
- c++ - QT SQLITE LNK1104 视觉工作室
- angular - 将一个组件从一个模块导入另一个模块的组件
- express - 续集和表达。子元素无权访问链接模型
- python - 使用 pyarrow 的消费者-生产者模式
- typescript - 如何在Angular 6的一个工作簿中将多个html表格转换为带有多个工作表的excel?
- python - Python Joblib Parallel:如何组合每个工作人员的结果?
- c++ - 指针向量的访问指针方法