tensorrt - 在一个 GPU 上加载 TRT 引擎以进行两次推理的最佳方法是什么？

Question

我正在使用 TRT6.0.1.5 和 2080Ti GPU，想加载一个引擎文件

由于我有两个摄像头进行实时检测，以下是我尝试过的

1. 加载引擎一次并使用相同的反序列化引擎来检测它最终会崩溃

2. 将引擎分别加载到两个变量中，第一个摄像头运行正常，也可以正常检测到物体，但第二个摄像头什么也没检测到，但它没有崩溃。

如何正确加载一个引擎文件并在一台机器上单独运行推理？或者可能创建不同的执行上下文？

标签： tensorrt

Answer 1

您需要在两个单独的视频流上运行检测，对吗？如果我是你，我只会在你序列化为 TensorRT 时更改网络上的批量大小，在本例中为两个。然后在运行两个流时，您只能使用一个具有不同批量大小的网络。就像是：

tContext->execute(batch_size, inference_buff.data())

您将在哪里inference_buff拥有两个图像流的数据。