deep-learning - 深度学习：去除批规范和激活会减慢训练速度？

Question

在我的项目中，我想删除一些批处理规范和激活层。但是训练时间比以前要长。训练后准确率不会下降太多，但需要更长的时间才能收敛。我能知道为什么会这样吗？合理吗？

标签： deep-learning

Answer 1

这些影响高度依赖于您的模型拓扑和数据集。批量规范可防止权重失控。激活层以各种方式聚焦模型的“注意力”。删除这些会使您的拓扑更难从输入中学习。

我建议你阅读一些关于网络设计和那些特定细节的很好的介绍。我无法为您提供更多帮助，因为您没有提供有关您的应用程序的详细信息。