时间戳

首页 > 解决方案 > Azure 认知服务：缺少自定义视觉性能统计信息在哪里？

azure - Azure 认知服务：缺少自定义视觉性能统计信息在哪里？

问题描述

我正在查询 Azure Custom Vision V3.0 培训 API（请参阅https://westeurope.dev.cognitive.microsoft.com/docs/services/Custom_Vision_Training_3.0/operations/5c771cdcbf6a2b18a0c3b809），因此我可以通过自己生成每个标签的 ROC GetIterationPerformance 操作，其部分输出为：

{u'averagePrecision': 0.92868346,
 u'perTagPerformance': [{u'averagePrecision': 0.4887446,
                         u'id': u'uuid1',
                         u'name': u'tag_name_1',
                         u'precision': 0.0,
                         u'precisionStdDeviation': 0.0,
                         u'recall': 0.0,
                         u'recallStdDeviation': 0.0},
                        {u'averagePrecision': 1.0,
                         u'id': u'uuid2',
                         u'name': u'tag_name_2',
                         u'precision': 0.0,
                         u'precisionStdDeviation': 0.0,
                         u'recall': 0.0,
                         u'recallStdDeviation': 0.0},
                    {u'averagePrecision': 0.9828302,
                     u'id': u'uuid3',
                     u'name': u'tag_name_3',
                     u'precision': 1.0,
                     u'precisionStdDeviation': 0.0,
                     u'recall': 0.5555556,
                     u'recallStdDeviation': 0.0}],

u'precision'：0.9859485，u'precisionStdDeviation'：0.0，u'recall'：0.3752228，u'recallStdDeviation'：0.0}

precisionStdDeviation准确率和召回率的不确定性recallStdDeviation分别似乎总是 0.0。这是用户错误吗？如果没有，是否有计划激活这些统计信息？

标签： azuremicrosoft-cognitiveazure-cognitive-servicesmicrosoft-custom-vision

解决方案

所以目前precisionStdDeviation并recallStdDeviation没有使用，所以它总是为零，这不是用户错误。这两个指标的存在是因为之前我们对用户数据集进行了交叉验证，并且对于每个交叉验证折叠我们都有一个精度和召回率，stddev 测量精度和召回率跨折叠的变化。现在代替交叉验证，我们将一部分用户数据拆分为验证集并基于此报告 IterationPerformance，因为没有多重折叠，stddev 将始终为零。我们正在计划停用这两个字段，很抱歉造成混乱，它很可能会在下一个主要版本中被删除。

推荐阅读