python - 如何运行支持 AVX2 的 Keras 模型

Question

我需要通过运行 mobilenet2 和 densnet121 等模型来测量每个图像的预测执行时间。

首先，我只是用 stock tensorflow 运行我的 python 代码。

start = time.time()
out = m.predict(val)
end = time.time()

print("model: densenet")
print ("time: ", (end - start)/batch_size)

其中 batch_size 用于避免预测开销时间。

我得到了关注的输出：

Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2
model: mobilenet2
time: 0.24023537635803222
model: densenet
time: 1.045912742614746

然后我下载tensorflow-build wheel并使用python -m pip

当前消息：

# AVX2 message does not appear anymore
model: mobilenet2
time:  0.16217999935150146
model: densenet
time:  0.6216100001335144

有没有一种“正确”的方法来做到这一点，因为看起来 avx2 并没有那么快地加速预测？

标签： pythontensorflowkerasavx2