python - sklearn 中的 roc_curve:为什么它不能正常工作?
问题描述
我正在解决多类分类的任务,并希望使用 sklearn 中的 roc 曲线来估计结果。据我所知,如果我设置一个正标签,它允许在这种情况下绘制一条曲线。我尝试使用正标签绘制 roc 曲线并得到奇怪的结果:类的“正标签”越大,roc 曲线越靠近左上角。然后我用数组的先前二进制标记绘制一条 roc 曲线。这2个地块是不同的!我认为第二个是正确构建的,但在二进制类的情况下,情节只有 3 个点,这不是信息。
我想了解,为什么二进制类的 roc 曲线和带有“正标签”的 roc 曲线看起来不同,以及如何正确绘制带有正标签的 roc 曲线。
这是代码:
from sklearn.metrics import roc_curve, auc
y_pred = [1,2,2,2,3,3,1,1,1,1,1,2,1,2,3,2,2,1,1]
y_test = [1,3,2,2,1,3,2,1,2,2,1,2,2,2,1,1,1,1,1]
fp, tp, _ = roc_curve(y_test, y_pred, pos_label = 2)
from sklearn.preprocessing import label_binarize
y_pred = label_binarize(y_pred, classes=[1, 2, 3])
y_test = label_binarize(y_test, classes=[1, 2, 3])
fpb, tpb, _b = roc_curve(y_test[:,1], y_pred[:,1])
plt.plot(fp, tp, 'ro-', fpb, tpb, 'bo-', alpha = 0.5)
plt.show()
print('AUC with pos_label', auc(fp,tp))
print('AUC binary variant', auc(fpb,tpb))
这是情节的例子
红色曲线表示带有 pos_label 的 roc_curve,蓝色曲线表示“二进制情况”中的 roc_curve
解决方案
正如评论中所解释的,ROC 曲线不适合评估阈值预测(即硬类),因为您的y_pred
; 此外,在使用 AUC 时,记住一些对许多从业者来说并不明显的限制是很有用的 -有关更多详细信息,请参阅获取低 ROC AUC 分数但高准确度中的自己答案的最后一部分。
您能否给我一些建议,我可以使用哪些指标来评估这种具有“硬”类的多类分类的质量?
最直接的方法是混淆矩阵和 scikit-learn 提供的分类报告:
from sklearn.metrics import confusion_matrix, classification_report
y_pred = [1,2,2,2,3,3,1,1,1,1,1,2,1,2,3,2,2,1,1]
y_test = [1,3,2,2,1,3,2,1,2,2,1,2,2,2,1,1,1,1,1]
print(classification_report(y_test, y_pred)) # caution - order of arguments matters!
# result:
precision recall f1-score support
1 0.56 0.56 0.56 9
2 0.57 0.50 0.53 8
3 0.33 0.50 0.40 2
avg / total 0.54 0.53 0.53 19
cm = confusion_matrix(y_test, y_pred) # again, order of arguments matters
cm
# result:
array([[5, 2, 2],
[4, 4, 0],
[0, 1, 1]], dtype=int64)
从混淆矩阵中,您可以提取其他感兴趣的数量,例如每个类的真假阳性等 - 有关详细信息,请参阅如何从 Python 中的混淆矩阵中获取精度、召回和 f 度量中的自己的答案
推荐阅读
- rxjs - Rxjs - 在 concatMap() 中订阅不会触发点击
- python - 为什么 train、test 和 cv 的形状不同?
- javascript - 如何使一个文件的变量在整个应用程序中都可以访问?
- python - 在cpanel中定义python目录
- c# - 使用 SignInManager 注销未调用方法
- python - 怎么求2个数的公因数
- python - 如何从 Python 3.x 调用 CAPL 通用函数?
- haskell - 为什么 sum == foldl1 (+) 不是?
- c# - IQueryable 上的选择器表达式动态
- r - 漩涡活动:操作函数和查看公式