python - Caffe 卷积和 Tensorflow 输出之间差异很小的原因可能是什么？

Question

我有 Tensorflow 网络，并将其移植为 Caffe 格式。Caffe 和 TF 中的所有权重和算法都是正确的，我检查了几次。

但是当我运行这两个框架并逐层比较它们的输出时，开始出现小的差异。

例如，如果BatchNormalizationCaffe 中某一点的结果是 0.940091TF 在同一点0.939559，那么差异是0.0005319999999999769。非常小，但它在我们去的网络中被放大得更深，最终的价值是非常不同的。因为Convolution也存在差异（-2.7540846 Caffe -2.7540843 TF），但在第一次之后会变得更加明显BatchNormalization

我想这可能是某种内部差异和某种FP16, FP32, FP64. 不知道 TF 如何处理从 python 图到 C++ 图的转换。

可能有人遇到同样的问题？

标签： pythontensorflowcaffe