python - 通过 perf_analyzer 使用真实图像数据 - Triton Inference Server

Question

我目前正在尝试将 Nvidia Triton 推理服务器的 perf_analyzer 与深度学习模型一起使用，该模型将 numpy 数组（这是一个图像）作为输入。*

我按照步骤使用文档中的真实数据，但我的输入被 perf_analyzer 拒绝：“错误：不支持的输入数据提供了 perf_analyzer”。

这是我的输入配置：

"input": [
        {
            "name": "input_1:0",
            "data_type": "TYPE_FP32",
            "format": "FORMAT_NONE",
            "dims": [
                -1,
                -1,
                3
            ],
            "is_shape_tensor": false,
            "allow_ragged_batch": false
        }
    ],

还有一个我想在 perf_analyzer 中加载的 JSON 示例：

{
    "data": [
        {
            "input_1:0": {
                "content": [
                    [
                        [
                            [
                                1.8207893371582031,
                                2.0784313678741455,
                                2.4482789039611816
                            ],...,

  [
                                -2.1179039478302,
                                -2.0357143878936768,
                                -1.804444432258606
                            ]
                        ]
                    ]
                ],
                "shape": [
                    1024,
                    1024,
                    3
                ]
            }
        }
    ]
}

您知道如何通过 JSON 传递我的 type_FP32 中的图像吗？

谢谢

标签： pythontensorflowtensorrttritonserver