neural-network - Caffe：这两个网络有什么区别？

Question

我很想知道网络1和2之间有什么区别？他们都有 16 个过滤器的 conv。

Q: 1 和 2 中的 16 个学习过滤器是不同的吗？为什么？每个的优点/缺点？

标签： neural-networkdeep-learningcaffeconv-neural-networkpycaffe

Answer 1

假设

• 权重相同（conv16 的in_cx16x3x3 内核分为两个in_cx8x3x3 内核，每个内核用于 conv8 层），
• 不"Dropout"

然后两个网络计算相同的输出。但是，我怀疑第一个选项效率更高（im2col只计算一次，不需要复制/移动数据等......）

然而，当考虑 时"Dropout"，这两种选择不再等价，因为 conv16 的 dropout 模式对于所有 16 个训练过的过滤器都是相同的，两个 conv8 在训练期间看到不同的 dropout模式，因此可能学习不同的内核。