python - 使用 scikit-learn 运行 k-fold 后如何访问数据集?
问题描述
我正在尝试应用 kfold 方法,但我不知道如何访问生成的训练和测试集。在浏览了几个博客和 scikitlearn 用户指南之后,人们唯一要做的就是打印训练和测试集。这可能适用于小型数据帧,但对于较大的数据帧则没有用。谁能帮我?
我正在使用的数据:https ://github.com/ageron/handson-ml/tree/master/datasets/housing
我目前在哪里:
X = housing[['total_rooms', 'total_bedrooms']]
y = housing['median_house_value']
kf = KFold(n_splits=5)
for train_index, test_index in kf.split(X):
X_train, X_test = X.iloc[train_index], X.iloc[test_index]
y_train, y_test = y.iloc[train_index], y.iloc[test_index]
但这仅对生成最后一个数据集有用。我应该能够得到所有。
提前致谢。
解决方案
AFAIK,KFold
(实际上是与交叉验证过程相关的所有内容)旨在提供临时数据集,以便如您所说的那样,可以动态使用它们来拟合和评估模型,如交叉验证指标中所示scikit-learn 用于每个数据拆分。
尽管如此,由于Kfold.split()
生成了 Python 生成器,因此您可以使用生成的索引来获取永久子集,尽管需要进行一些手动工作。以下是波士顿数据的示例:
from sklearn.model_selection import KFold
from sklearn.datasets import load_boston
X, y = load_boston(return_X_y=True)
n_splits = 3
kf = KFold(n_splits=n_splits, shuffle=True)
folds = [next(kf.split(X)) for i in range(n_splits)]
现在,对于每个k
in range(n_splits)
,都folds[k][0]
包含训练索引和folds[k][1]
相应的验证索引,因此您可以执行以下操作:
X_train_1 = X[folds[0][0]]
X_test_1 = X[folds[0][1]]
等等。请注意,相同的索引也适用于标签y
。
推荐阅读
- javascript - 更新时反应钩子状态未定义
- javascript - 在静态网页上轻轻转发我的 Eclipse 运行时
- javascript - 使用 Javascript 构建 JSON 文件
- reactjs - 在 React 中为机器人和屏幕阅读器显示初始元素
- css - 如何将动态文本的按钮宽度设置为 div 内最宽的按钮宽度?
- ms-word - 如何使用 Word Javascript API 以编程方式将 ^13 替换为 ^p?
- javascript - 使用 mapbox 在地图中添加 geojson 文件并创建多边形
- python - TensorFlow 去除 JFIF
- c++ - 如何访问指针结构的成员变量?
- puppeteer - Puppeteer:在 browser.disconnect 之后,Chromium 实例在后台保持活动状态