python - 如何将多个图像输入（一批图像）输入到 Nvidia TensorRT 的推理中？

Question

环境

我使用支持 trt 和 pycuda 的tlt 容器版本 2：tensorrt 版本：7.0.0-1+cuda10.0 GPU 类型：1080 Ti

当我对单个图像进行推理时，这部分代码可以完美运行：

np.copyto(inputs[0].host, img.ravel())

但是当我为列表中的多个图像运行它时（batch_size> 1）：

np.copyto(inputs[0].host, img_list.ravel())

它给了我一个错误。

trt 模型在推理中是否支持图像的多个输入？如果是那么如何在tensorrt的推理部分将多个图像输入输入[0].host？

标签： pythonnvidiatensorrt

Answer 1

因此，GPU 及其保存图像的“容量”决定了它可以保存多少张给定大小的图像。有一种叫做 GPU 内存的东西，对于 NVIDIA A100（这是 NVIDIA 目前可用的最高容量 GPU），它是 40GB。所以这一切最终归结为你的 GPU 的内存，与 TensorRT 无关，TensorRT 只是一个 SDK