时间戳

首页 > 解决方案 > 堆叠分类器上的分类器数量是否必须等于我的训练/测试数据集的列数？

machine-learning - 堆叠分类器上的分类器数量是否必须等于我的训练/测试数据集的列数？

问题描述

我正在尝试解决二进制分类任务。训练数据集包含 9 个特征，在我的特征工程之后，我结束了 14 个特征。我想通过使用 4 个不同的分类器来使用带有 mlxtend.classifier.StackingClassifier的堆叠分类器方法，但是在尝试预测测试数据集时出现错误：ValueError: query data dimension must match training data dimension

%%time
models=[KNeighborsClassifier(weights='distance'),
        GaussianNB(),SGDClassifier(loss='hinge'),XGBClassifier()]
calibrated_models=Calibrated_classifier(models,return_names=False)
meta=LogisticRegression()
stacker=StackingCVClassifier(classifiers=calibrated_models,meta_classifier=meta,use_probas=True).fit(X.values,y.values)

备注：在我的代码中，我刚刚编写了一个函数来返回一个带有校准分类器的列表，StackingCVClassifier我已经检查过这不会导致错误

备注2：我已经尝试从头开始执行堆叠器，结果相同，所以我认为我自己的堆叠器有问题

from sklearn.linear_model import LogisticRegression
def StackingClassifier(X,y,models,stacker=LogisticRegression(),return_data=True):
  names,ls=[],[]
  predictions=pd.DataFrame()
  for model in models:
    names.append(str(model)[:str(model).find('(')])

  for i,model in enumerate(models):
    model.fit(X,y)
    ls=model.predict_proba(X)[:,1]
    predictions[names[i]]=ls
  if return_data:
    return predictions
  else:
    return stacker.fit(predictions,y)

你能帮我理解堆叠分类器的正确用法吗？

在此处输入图像描述

编辑： 这是我校准分类器的代码。此函数接受 n 个分类器的列表并应用于sklearn fucntion CalibratedClassifierCV每个分类器，并返回一个包含 n 个校准分类器的列表。您可以选择以 zip 列表的形式返回，因为此功能主要用于与sklearn's VotingClassifier

def Calibrated_classifier(models,method='sigmoid',return_names=True):
  calibrated,names=[],[]
  for model in models:
    names.append(str(model)[:str(model).find('(')])

  for model in models:
    clf=CalibratedClassifierCV(base_estimator=model,method=method)
    calibrated.append(clf)
  if return_names:
    return zip(names,calibrated)
  else: 
    return calibrated

标签： machine-learningscikit-learnensemble-learningmlxtend

解决方案

我已经使用 Iris 数据集尝试了您的代码。它工作正常，我认为问题在于您的测试数据的维度而不是校准。

from sklearn.linear_model import LogisticRegression
from mlxtend.classifier import StackingCVClassifier
from sklearn import datasets
X, y = datasets.load_iris(return_X_y=True)


models=[KNeighborsClassifier(weights='distance'),
        SGDClassifier(loss='hinge')]
calibrated_models=Calibrated_classifier(models,return_names=False)
meta=LogisticRegression( multi_class='ovr')
stacker = StackingCVClassifier(classifiers=calibrated_models,
                               meta_classifier=meta,use_probas=True,cv=3).fit(X,y)

预言

stacker.predict([X[0]])
#array([0])

推荐阅读