python - 如何使用具有不同特征的两个模型的集成学习作为输入?
问题描述
我有一个假新闻检测问题,它通过向量化“tweet”列来预测二进制标签“1”和“0”,我使用三种不同的模型进行检测,但我想使用集成方法来提高准确性,但他们使用不同的矢量器。
我有 3 个 KNN 模型,第一个和第二个使用 TF-IDF 对“tweet”列进行矢量化。
from sklearn.feature_extraction.text import TfidfVectorizer
vector = TfidfVectorizer(max_features =5000, ngram_range=(1,3))
X_train = vector.fit_transform(X_train['tweet']).toarray()
X_test = vector.fit_transform(X_test['tweet']).toarray()
对于第三个模型,我使用 fastText 进行句子向量化
%%time
sent_vec = []
for index, row in X_train.iterrows():
sent_vec.append(avg_feature_vector(row['tweet']))
%%time
sent_vec1 = []
for index, row in X_test.iterrows():
sent_vec1.append(avg_feature_vector(row['tweet']))
缩放后......我的第三个模型适合这样的输入
scaler.fit(sent_vec)
scaled_X_train= scaler.transform(sent_vec)
scaled_X_test= scaler.transform(sent_vec1)
.
.
.
knn_model1.fit(scaled_X_train, y_train)
现在我想像这样组合这三个模型,我希望 ensemble 方法给我大多数
VotingClassifier
,但我不知道如何处理不同的输入(TF-IDF 和 fastText)有另一种方法吗那?
解决方案
您可以创建一个自定义MyVotingClassifier
,它采用拟合模型而不是尚未训练的模型实例。在VotingClassifier
中,sklearn 仅将不合适的分类器作为输入并对其进行训练,然后对预测结果进行投票。你可以创建这样的东西。下面的函数可能不是确切的函数,但您可以根据您的目的制作类似于下面的函数。
from collections import Counter
clf1 = knn_model_1.fit(X1, y)
clf2 = knn_model_2.fit(X2, y)
clf3 = knn_model_3.fit(X3, y)
class MyVotingClassifier:
def __init__(self, **models):
self.models = models
def predict(dict_X):
'''
dict_X = {'knn_model_1': X1, 'knn_model_2': X2, 'knn_model_3': X3}
'''
preds = []
for model_name in dict_X:
model = self.models[model_name]
preds.append(model.predict(dict_X[model_name]))
preds = list(zip(*preds))
final_pred = list(map(lambda x: Counter(x).most_common(1)[0][0]))
return final_pred
ensemble_model = MyVotingClassifier(knn_model_1=clf1, knn_model_2=clf2, knn_model_3=clf3)
ensemble_model.predict({'knn_model_1': X1, 'knn_model_2': X2, 'knn_model_3': X3}) # Input the pre-processed `X`s
推荐阅读
- excel - VBA:IE 集合 For Each 循环始终返回 1 项
- json - 如何在golang中为变量json响应映射或制作结构?
- ios - 如何设置可解码的 JSON 结构以便跳过 nil 值?
- haskell - 保持阴谋集团的新活力
- php - PHP 会话数组访问另一个会话
- r - 如何在使用管道时访问数据的不同部分
- c++ - 外部 Lambda 函数
- python - 为什么没有找到人脸识别模块,但cmake、dlib和人脸识别的要求已经满足
- python - 如何修复错误:AttributeError:“Flask”对象没有属性“login_manager”
- vue.js - 仅用于一个视图的事件总线