python - 我可以使用模型的 sklearn predict_proba（例如 LogisticRegression）作为另一个模型的特征（例如 RandomForestClassifier）吗？

Question

我正在尝试改进我的分类模型，在 LogisticRegression 中使用 statsmodel 我注意到一些没有通过 t 测试并且在我使用此模型时没有太多影响的特征在我更改模型时非常重要，例如我查看 RandomForestClassifier 的 feature_importances，更重要的特征不影响 LogisticRegression。

考虑到这一点，我想在没有此功能的情况下使用 LogisticRegression 并使用 predict_proba 来选择概率，然后我使用 RandomForest 创建另一个模型，但现在使用所有功能并包括logisticRegressor概率。或者我可以选择许多模型的所有概率并将它们用作另一个模型的特征。这有什么意义吗？我不知道我是否插入了任何偏见这样做以及为什么。

标签： pythonmachine-learningscikit-learnpredictionmethod-combination

Answer 1

我发现我正在做的是堆叠，但我没有使用另一个模型的响应作为特征，而是使用为 1 的概率（predict_proba）。