python - CNN 的量化：选择范围

Question

为了量化模型以使其加权（和/或激活）为 8 位整数而不是 32 位浮点数以加快计算速度，我们需要选择权重范围。

有没有什么办法可以最佳地完成这个范围选择而不是命中和试验？

例如，假设我们在 [100.0,500.0] 中有一个权重分布（浮点 32），我们选择范围 [200.0,455.0] 并将其映射到（整数 8）[0,255] 使得 200.0 映射到 0 和455.0 映射到 255，所有中间权重线性映射到整数（最接近）。

这里随机选择一个范围 ([200.0,455.0])，将权重留在 [100.0,200.0) 和 (455.0,500.0] 中，如果我们的范围与 256 相比太大，则会导致映射中的权重聚类。

量化是以准确性为代价的，而最佳范围选择有助于降低此成本。

标签： pythontensorflowmachine-learningdeep-learningcaffe