时间戳

首页 > 解决方案 > 对 BaggingClassifier 参数内的参数进行网格搜索

scikit-learn - 对 BaggingClassifier 参数内的参数进行网格搜索

问题描述

这是对此处回答的问题的跟进，但我相信它值得拥有自己的主题。

在上一个问题中，我们处理的是“集成分类器的集成，其中每个分类器都有自己的参数”。让我们从MaximeKan在他的回答中提供的示例开始：

my_est = BaggingClassifier(RandomForestClassifier(n_estimators = 100, bootstrap = True, 
      max_features = 0.5), n_estimators = 5, bootstrap_features = False, bootstrap = False, 
      max_features = 1.0, max_samples = 0.6 )

现在说我想更上一层楼：除了效率、计算成本等方面的考虑之外，作为一个一般概念：我将如何使用这种设置运行网格搜索？

我可以按照这些思路设置两个参数网格：

一个用于BaggingClassifier：

BC_param_grid = {
'bootstrap': [True, False],
'bootstrap_features': [True, False],    
'n_estimators': [5, 10, 15],
'max_samples' : [0.6, 0.8, 1.0]
}

还有一个RandomForestClassifier：

RFC_param_grid = {
'bootstrap': [True, False],    
'n_estimators': [100, 200, 300],
'max_features' : [0.6, 0.8, 1.0]
}

现在我可以用我的估算器调用网格搜索：

grid_search = GridSearchCV(estimator = my_est, param_grid = ???)

在这种情况下，我该如何处理param_grid参数？或者更具体地说，如何使用我设置的两个参数网格？

不得不说，感觉就像在玩俄罗斯套娃一样。

标签： scikit-learnrandom-forestgrid-searchensemble-learning

解决方案

按照上面的@James Dellinger 评论，并从那里扩展，我能够完成它。事实证明，“秘密酱汁”确实是一个大部分未记录的功能 - （双下划线）分隔符（在管道 __ 文档中有一些传递引用）：似乎添加了内部/基本估计器名称，然后将其添加到内部/基本估计器参数的名称，允许您创建一个涵盖外部和内部估计器的参数。__param_grid

因此，对于问题中的示例，外部估计量为BaggingClassifier，内部/基本估计量为RandomForestClassifier。所以你需要做的是，首先，导入需要导入的内容：

from sklearn.ensemble import BaggingClassifier, RandomForestClassifier
from sklearn.model_selection import GridSearchCV

其次是param_grid作业（在这种情况下，问题中的示例）：

param_grid = {
 'bootstrap': [True, False],
 'bootstrap_features': [True, False],    
 'n_estimators': [5, 10, 15],
 'max_samples' : [0.6, 0.8, 1.0],
 'base_estimator__bootstrap': [True, False],    
 'base_estimator__n_estimators': [100, 200, 300],
 'base_estimator__max_features' : [0.6, 0.8, 1.0]
}

最后，您的网格搜索：

grid_search=GridSearchCV(BaggingClassifier(base_estimator=RandomForestClassifier()), param_grid=param_grid, cv=5)

你要去参加比赛了。

推荐阅读