时间戳

首页 > 解决方案 > SageMaker Hypertuning 的 AUC 客观指标

python - SageMaker Hypertuning 的 AUC 客观指标

问题描述

我已经使用带有 SageMaker 的 AWS 内置算法训练了二进制分类模型，并希望使用 AUC 和混淆矩阵来评估模型。但是，我看到 SageMaker 的训练和 HyperTuner 工作只接受准确度指标。

  1. SageMaker 中是否有办法为内置图像分类算法添加自定义指标？
  2. 据我了解，AUC/Confusion Matrix/Precision/Recall/F1 是二元分类器的良好指标，那么为什么 AWS 内置图像分类算法中缺少这些指标？
  3. 有没有一种方法可以批量转换我的测试数据并获取这些指标来评估模型，因为单独的准确性并不适合评估？

标签： pythonclassificationamazon-sagemakermultilabel-classification

解决方案

  1. SageMaker 内置算法不能接受自定义指标，它们仅适用于内置指标

  2. 混淆矩阵不是一个度量，它是一个可视化。另请注意，图像分类器不是二元分类器，它是可以有大量标签的通用分类器。关于其他指标，我不能代表 AWS 团队发言 :)

  3. 是的，使用批量转换或实时端点创建预测以用于您自己的自定义分析是一个好主意。例如，在这篇博文中，创建了一个临时端点来为内置线性分类器https://aws.amazon.com/blogs/machine-learning/build-multiclass-classifiers-with-生成预测和混淆矩阵。 amazon-sagemaker-linear-learner/

推荐阅读