python - 如何计算可靠性图的置信度？

Question

我想校准我的分类模型，解释置信度直方图和可靠性图。我尝试在 Github 上使用Hollance 的方法，但如何计算可靠性图的置信度？

我尝试了以下代码（我使用了交叉验证）：

def Get_Confidence(data, file):
    
    X = data.drop(columns=['Label'])
    y = data['Label']
    
    DT = DecisionTreeClassifier(random_state=0)
    RF = RandomForestClassifier(random_state=0)
    XGB = XGBClassifier(random_state=0, verbosity = 0)

    models = [('DT', DT), ('RF', RF), ('XGB', XGB)]
    
    result_title = ['y', 'prediction', 'confidence']

    
    if not os.path.isfile(file):
        results = pd.DataFrame(columns = result_title)
    else:
        results = pd.read_csv(file)

    
    for name, model in tqdm(models):
        
        y_pred = model_selection.cross_val_predict(model, X, y, cv=5, method='predict')
        y_proba = model_selection.cross_val_predict(model, X, y, cv=5, method='predict_proba')

        row = pd.DataFrame([[y, y_pred, y_proba]], columns = result_title)
        
        results = row
        results.to_csv(file, index=False)
    
    return 

结果不是 Dataframe 显示那个图。

另外，我应该保存文件，因为我有各种数据。

标签： pythondataframescikit-learn