python - TensorFlow - 层之间的不同位宽量化

Question

TensorFlow 是否支持层之间不同的位宽量化，或者是否必须在整个模型中执行相同的技术？

例如，假设我在层执行16-bit量化。n我可以在层执行8-bit量化吗？n+1

标签： pythontensorflowtensorflow-litequantization

Answer 1

不，到目前为止，还没有dtype为模型的不同层定义不同的选项。

根据. _ _ tf.keras.layers.Layer这是所有层都继承的类。

dtype - 层的计算和权重的 dtype（默认为 None 表示在 TensorFlow 2 中使用 tf.keras.backend.floatx，或者在 TensorFlow 1 中使用第一个输入的类型）。