python - cross_val_score 和 StratifiedKFold 之间的 F-Score 差异
问题描述
我想对不平衡的数据使用随机森林分类器,其中 X 是表示特征的 np.array,y 是表示标签(90% 0 值和 10% 1 值的标签)的 np.array。由于我不确定如何在交叉验证中进行分层,如果它有所作为,我还使用 StratifiedKFold 手动交叉验证。我希望得到不一样但有些相似的结果。由于情况并非如此,我想我错误地使用了一种方法,但我不明白是哪一种。这是代码
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import StratifiedKFold, cross_val_score, train_test_split
from sklearn.metrics import f1_score
rfc = RandomForestClassifier(n_estimators = 200,
criterion = "gini",
max_depth = None,
min_samples_leaf = 1,
max_features = "auto",
random_state = 42,
class_weight = "balanced")
X_train_val, X_test, y_train_val, y_test = train_test_split(X, y, test_size = 0.20, random_state = 42, stratify=y)
我还尝试了没有 class_weight 参数的分类器。从这里我开始将这两种方法与 f1-score 进行比较
cv = cross_val_score(estimator=rfc,
X=X_train_val,
y=y_train_val,
cv=10,
scoring="f1")
print(cv)
交叉验证的 10 个 f1 分数都在 65% 左右。现在是 StratifiedKFold:
skf = StratifiedKFold(n_splits=10, shuffle=True, random_state=42)
for train_index, test_index in skf.split(X_train_val, y_train_val):
X_train, X_val = X_train_val[train_index], X_train_val[test_index]
y_train, y_val = y_train_val[train_index], y_train_val[test_index]
rfc.fit(X_train, y_train)
rfc_predictions = rfc.predict(X_val)
print("F1-Score: ", round(f1_score(y_val, rfc_predictions),3))
StratifiedKFold 的 10 个 f1 分数让我的值达到了 90% 左右。这是我感到困惑的地方,因为我不了解两种方法之间的巨大差异。如果我只是将分类器拟合到训练数据并将其应用于测试数据,我也会得到大约 90% 的 f1 分数,这让我相信我应用 cross_val_score 的方式是不正确的。
解决方案
造成差异的一个可能原因是cross_val_score
使用StratifiedKFold
默认shuffle=False
参数,而在您的手动交叉验证中使用StratifiedKFold
您已通过shuffle=True
. 因此,没有改组的交叉验证会产生更差的 F1 分数,这可能只是您的数据排序方式的产物。
shuffle=False
在创建实例时尝试传递skf
以查看分数是否匹配cross_val_score
,然后如果您想在使用时使用cross_val_score
shuffle,只需在应用之前手动 shuffle 训练数据cross_val_score
。
推荐阅读
- pervasive-sql - Pervasive select max date 选择最小日期
- spring - Spring Boot:无论我指定哪个 HTTPS 端口,Tomcat 都会重定向到 HTTPS 8443
- spring - 在 Spring Boot @RepositoryRestResource 的情况下测试 BETWEEN 关键字的 REST Api
- javascript - 为什么我在我的 ajax 请愿书中收到错误 405?
- python - 如何将这种类型的带有字典的列表转换为 csv 文件?
- c# - 用 C# 优化 Switch Case
- powershell - 如何使用脚本查找最新的完整文件和增量文件
- javascript - 如何使标题按钮居中并将项目推到工具栏的最右侧?
- git - `git rebase` vs `git reset --hard` ...它们对于删除最近的 N 次提交是否相同?
- spi - STM32F4 SPI接收中断不起作用