python - RFECV 中的准确度值完全相同
问题描述
我正在尝试使用 RFECV 拟合逻辑回归。那是我的代码:
log_reg = LogisticRegression(solver = "lbfgs",
max_iter = 1000)
random.seed(4711)
rfecv = RFECV(estimator = log_reg,
scoring = "accuracy",
cv = 10)
Model = rfecv.fit(X_train, y_train)
我不认为我的数据或代码有什么问题,但是对于几乎每个不同的特征大小值,准确性都是完全相同的:
Model.grid_scores_
array([0.76200776, 0.76200776, 0.76200776, 0.76200776, 0.76200776,
0.76200776, 0.76200776, 0.76200776, 0.76200776, 0.76200776,
0.76200776, 0.76200776, 0.76200776, 0.76200776, 0.76200776,
0.76200776, 0.76200776, 0.76200776, 0.76200776, 0.76556425,
0.80968999, 0.80962074])
这怎么可能发生?我的数据很大(超过 20000 次观察)。我无法想象在交叉验证的每一个折叠中,都正确估计了相同的情况。但如果是这样,这怎么可能发生?1 个变量可以解释 19 个变量,但不能解释 20 个变量?那为什么不拿第一个和第20个呢?我真的很困惑。
解决方案
我相信您的所有准确性都是相同的,因为LogisticRegression
默认情况下使用 L2 正则化。也就是说,penalty='l2'
除非你通过其他东西。
这意味着即使在Model
使用所有 22 个特征时,底层算法log_reg
也会使用 L2 正则化来惩罚 beta 系数。因此,如果您修剪最不重要的特征,它不会影响准确性,因为具有 22 个特征的底层 logit 模型已将最不重要特征的系数推到接近于零。
我建议你试试:
# Model with no penalty
log_reg = LogisticRegression(solver='lbfgs',
max_iter=1000,
penalty='none')
# Set seed
random.seed(4711)
# Initialize same search as before
rfecv = RFECV(estimator=log_reg,
scoring='accuracy',
cv=10)
# Fit search
rfecv.fit(X_train, y_train)
# Tell us how it went
rfecv.grid_scores_
推荐阅读
- mysql - 这段 SQL 代码有什么问题?(VBA MS 访问)
- javascript - 改变动态添加的js对象的值
- codeigniter - 我正在处理项目,我的 rsult 查询给出了多条记录,但我只想一次记录每条记录,我在这个查询中使用了内部联接?
- javascript - 无法让闪电工作
- javascript - 从 xml 视图 SAPUI5 复制列表项
- javascript - InnerText 不会在 html 中更新
- algorithm - 包含点的树 - 需要改进
- javascript - 为什么会给出这个 JS 语法错误?
- node.js - 运行 Node 服务器和 Webpack 的 Dockerize React + Redux 应用程序
- android - 在android中源数据绑定的一种方法