tensorrt - 带有 CTC 层的 TensorRT

Question

我想使用 tensorRT 优化我的模型，但是，我的模型中的 CTC 层不受 tensorRT 支持。有人用 tensorRT 成功地优化了 CTC 层。

标签： tensorrt

Answer 1

我已经设法分两个步骤来做到这一点，首先使用 TensorRT 来获取概率 logits，然后使用 C++ CTC 解码器来解码 logits。

由于 CTC 的解码适用于 CPU，而且我设法使用 GPU 来获取批次的 logit，并在 GPU 运行时将每批次的 logit 排入 CPU CTC 解码队列。所以这样一来，CPU和GPU就可以并行运行了。CTC 解码器的 C++ 实现可以在 Github 或 Tensorflow 存储库中找到。