首页 > 解决方案 > 什么是 Tensorflow qint8、quint8、qint32、qint16 和 quint16 数据类型?

问题描述

我正在查看 Tensorflow tf.nn.quantized_conv2d 函数,我想知道 qint8 等数据类型到底是什么,特别是如果它们是 tf.contrib.quantize 中用于“假量化节点”的数据类型,或者是实际上使用 8 位(对于 qint8)存储在内存中。

我知道它们是在 tf.dtypes.DType 中定义的,但是没有关于它们实际是什么的任何信息。

标签: pythontensorflowneural-networktensorflow-litequantization

解决方案


这些是output Tensor函数的数据类型,tf.quantization.quantize()。这对应于T函数的参数。

下面提到的是底层代码,它将张量从一种数据类型(例如float32)转换/量化为另一种(tf.qint8, tf.quint8, tf.qint32, tf.qint16, tf.quint16)。

out[i] = (in[i] - min_range) * range(T) / (max_range - min_range)
if T == qint8: out[i] -= (range(T) + 1) / 2.0

然后,可以将它们传递给诸如tf.nn.quantized_conv2d等函数,其输入是量化张量,如上所述。

TLDR,简而言之回答您的问题,它们实际上存储qint8在内存中的 8 位(对于 )。

您可以在以下链接中找到有关此主题的更多信息:

https://www.tensorflow.org/api_docs/python/tf/quantization/quantize

https://www.tensorflow.org/api_docs/python/tf/nn/quantized_conv2d

https://www.tensorflow.org/lite/performance/post_training_quantization

如果您觉得此答案有用,请接受此答案和/或投票。谢谢。


推荐阅读