pandas - 使用 FeatureUnion 从不同的列向 countvectorizer 添加特征
问题描述
我目前正在尝试向使用 scikit-learn 创建的 countvectorizer 矩阵添加一个附加功能。
工作流程如下:我有一个数据框,其中包含一个带有文本的列和一个包含附加功能的列。
我首先将我的数据拆分为训练和测试数据数据框。然后我在训练数据的文本列上应用 countvectorizer。然后我用 countvectorizer 矩阵作为输入来拟合 RandomForest 分类器。
我现在想要归档的是我想使用矩阵和我的数据框另一列中的附加功能运行 RandomForest 分类器。
我将如何做到最好?我已经阅读了有关 scikit 功能联合的信息,但无法在我的数据框中使用不同的列。
这是一个代码示例:
# Split the data
x_train, x_test, y_train, y_test = train_test_split(df.drop(['gender'], axis=1), df['gender'], test_size=0.2)
df_x_train = pandas.DataFrame(x_train)
df_x_test = pandas.DataFrame(x_test)
df_y_train = pandas.DataFrame(y_train)
df_y_test = pandas.DataFrame(y_test)
vectorizer = CountVectorizer()
X__train = vectorizer.fit_transform(df_x_train['text']).toarray()
X__test = vectorizer.transform(df_x_test['text']).toarray()
# Now here I would like to add df['feature_new'] to my X_train and X_test
model = RandomForest()
model.fit(X_train, df_y_train['gender'])
...
解决方案
你在找ColumnTransformer
,不是FeatureUnion
。后者将多个转换器应用于每一列,而前者允许您将转换器应用于特定列。
preproc = ColumnTransformer(
[('text_vect', CountVectorizer(), 'text')],
remainder='passthrough',
)
x_train_preproc = preproc.fit_transform(x_train)
x_test_preproc = preproc.transform(x_test)
model.fit(x_train_preproc, y_train)
您可以为其他列添加另一个转换器,而不是仅仅通过remainder
. 我会考虑使用 aPipeline
将模型添加到与预处理相同的对象中;它为您节省了一些“预处理”数据集的争论。请注意,在ColumnTransformer
维度方面的列规范有点挑剔;文本预处理器通常需要一维输入。
ColumnTransformer
至少正如我给出的那样,它需要数据框作为输入(因此指text
的是列名)。如果输入是,则输出train_test_split
将是帧,并且 sklearn 方法都将帧作为输入就好了,所以只需删除 frame-casting 和 array-casting .toarray()
。
推荐阅读
- python - 尝试在谷歌电子表格中多次创建列的问题
- jenkins - 我如何告诉 Jenkins 我希望最后 n 行日志出现在标准错误中
- jquery - jQuery 在嵌套数组的名称中选择
- twilio - 我在哪里可以找到 Breakout Arduino 库示例中提到的“psk”?
- node.js - 使用 Node.JS 的 sendgrid/mail 库有效发送 1000 封唯一电子邮件的最佳方法
- sql - 如何从仅具有另一列的特定值而没有其他值的列中选择值?
- python-2.7 - 如何在 python 中使用 mime 和 smtplib 发送的电子邮件文本中添加换行符
- vue.js - Nuxt/Vuejs - 如何创建可以访问模块的实用程序?
- windows - 在 Windows 7 上使用 Eclipse 编译 esp32 应用程序:找不到“make”
- android - Unity Firebase 6.2+ Android 在 64 位启动时崩溃