时间戳

首页 > 解决方案 > 为什么使用 LGB 时 10 倍交叉验证甚至比 1 倍拟合更快？

machine-learning - 为什么使用 LGB 时 10 倍交叉验证甚至比 1 倍拟合更快？

问题描述

我正在使用 LGB 来处理机器学习任务。但是我发现当我使用 sklearn APIcross_val_score和 setcv=10时，时间成本小于单倍拟合。我使用 拆分数据集train_test_split，然后在训练集上拟合 LGBClassifier。后者的时间成本远高于前者，为什么呢？

对不起，我的英语不好。

环境：Python 3.5、scikit-learn 0.20.3、lightgbm 2.2.3 Inter Xeon CPU E5-2650 v4 内存128GB

X = train_df.drop(['uId', 'age'], axis=1)
Y = train_df.loc[:, 'age']
X_test = test_df.drop(['uId'], axis=1)

X_train, X_val, Y_train, Y_val = train_test_split(X, Y, test_size=0.1,
                                                  stratify=Y)

# (1809000, 12) (1809000,) (201000, 12) (201000,) (502500, 12)
print(X_train.shape, Y_train.shape, X_val.shape, Y_val.shape, X_test.shape)

from lightgbm import LGBMClassifier
from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import cross_val_score
from sklearn.metrics import accuracy_score
import time

lgb = LGBMClassifier(n_jobs=-1)

tic = time.time()
scores = cross_val_score(lgb, X, Y,
                         scoring='accuracy', cv=10, n_jobs=-1)
toc = time.time()
# 0.3738402985074627 0.0009231167322574765 300.1487271785736
print(np.mean(scores), np.std(scores), toc-tic)

tic = time.time()
lgb.fit(X_train, Y_train)
toc = time.time()
# 0.3751492537313433 472.1763586997986 (is much more than 300)
print(accuracy_score(Y_val, lgb.predict(X_val)), toc-tic)

标签： machine-learningscikit-learncross-validationmodel-fittinglightgbm

解决方案

对不起，我找到了答案。此处在 LightGBM 的文档中写道：“为了获得最佳速度，请将其设置为实际 CPU 内核的数量，而不是线程的数量”。所以setn_jobs=-1不是最好的选择。

推荐阅读