python - 将 Adaboost 与随机森林基础分类器一起使用？

Question

有谁知道是否可以将 Adaboost 与随机森林基分类器一起使用？我在网上搜索了更多关于这方面的信息，但大多数网页都提供了两者作为集成学习方法的比较，我没有找到任何关于将它们一起使用的信息。

（基本上有人在这里问过，但到目前为止唯一的答案与我的观察相矛盾，我将在下面分享）

尽管如此，没有人明确表示它有什么问题，所以我在一个典型的数据集上进行了尝试，该数据集具有 n 行 p 实值特征和长度为 n 的标签列表。如果重要的话，它们是通过 DeepWalk 算法获得的图中节点的嵌入，并且节点分为两类。我使用 5 折交叉验证在这些数据上训练了一些分类模型，并测量了它们的常用评估指标（精度、召回率、AUC 等）。我使用的模型是 SVM、逻辑回归、随机森林、2 层感知器和带有随机森林分类器的 Adaboost。最后一个模型，带有随机森林分类器的 Adaboost，产生了最好的结果。当然，现在运行时间增加了 100 倍，但仍然是大约 20 分钟，所以这对我来说不是一个限制。

这就是我的想法：首先，我正在使用交叉验证，所以可能没有过度拟合在雷达下飞行。其次，两者都是集成学习方法，但随机森林是一种装袋方法，而 Adaboost 是一种提升技术。所以他们仍然有足够的不同，他们的组合是有意义的。

我错了吗？

标签： pythonmachine-learningrandom-forestensemble-learningadaboost