math - n个弱分类器组合的准确率限制

对于数据集 D(n * m)，n 是样本数，m 是特征数。有k个弱分类器，每个分类器的准确率为60%。有多少弱分类器组合可以将准确率提高到 90%？这个问题能用数学公式解决吗？

如果使用 2 个分类器，准确率为 60% 如果使用 3 个分类器，准确率为 64.8%(3 * 60%^2 * 40% + 60%^3) 是吗？

标签： mathmachine-learning

你的问题背后的想法是合奏。当您选择的每个模型对各个类都表现良好时，这可能会起作用。因此，您可以根据类为它们中的每一个分配一个权重并生成最终输出。

例如，您有 3 个课程（C1、C2、C3）

假设模型 A 对 C1 的预测很好，那么您可以将 C1 的最终概率设置为

prob_of_C1=model_A_prob 0.7+model_B_prob 0.2+model_C_prob*0.1

同样，您可以对其他类应用相同的规则。您可能必须更改分配的权重，这通常是根据该特定类的每个模型的精度来完成的。仅当您的模型对不同的类别表现不同时，这才有效。

如果您想了解更多信息，可以查看xgboost alogrithm，这个博客很好地解释了它：XGBoost Algorithm: Long May She Reign！