python-3.x - Sklearn 管道中的自定义预处理器
问题描述
我正在构建机器学习模型管道。我有一个自定义函数,它将更改特定列的值。我已经定义了自定义变压器,它单独工作正常。但是,如果我从管道中调用它,它会给我带来错误。
示例数据框
df = pd.DataFrame({'y': [4,5,6], 'a':[3,2,3], 'b' : [2,3,4]})
import numpy as np
import pandas as pd
import sklearn
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
class Extractor(BaseEstimator, TransformerMixin):
def __init__(self):
return None
def fit(self, x, y=None):
return self
def map_values(self, x):
if x in [1.0,2.0,3.0]:
return "Class A"
if x in [4.0,5.0,6.0]:
return "Class B"
if x in [7.0,8.0]:
return "Class C"
if x in [9.0,10.0]:
return "Class D"
else:
return "Other"
def transform(self, X):
return self
def fit_transform(self, X):
X = X.copy()
X = X.apply(lambda x : self.map_values(x))
return X
e = Extractor()
e.fit_transform(df['a'])
0 Class A
1 Clas C
2 Other
3 Class B
Name: a, dtype: object
管道
features = ['a']
numeric_features=['b']
numeric_transformer = Pipeline(steps=[
('imputer', SimpleImputer(strategy='median'))])
custom_transformer = Pipeline(steps=[
('map_value', Extractor())])
preprocessor = ColumnTransformer(
transformers=[
('num', numeric_transformer, numeric_features),
('time',custom_transformer, features)])
X_new = df[['a','b']]
y_new = df['y']
X_transform = preprocessor.fit_transform(X_new,y_new)
TypeError: All estimators should implement fit and transform, or can be 'drop' or 'passthrough' specifiers. 'Pipeline(steps=[('map_value', Extractor())])' (type <class 'sklearn.pipeline.Pipeline'>) doesn't.
我想让自定义处理器在管道中工作。
解决方案
所以我尝试使用您的代码并发现了一些问题。以下是更新的代码和一些备注。
首先,在复制粘贴您的代码并添加缺少的导入SimpleImputer
后,我无法重现您的错误。相反,它显示了错误:“TypeError:fit_transform() 采用 2 个位置参数,但给出了 3 个”。经过一番研究,我在这里找到了这个修复并调整了你的方法。
但现在它返回错误:“ValueError:一个系列的真值不明确。使用a.empty、a.bool()、a.item()、a.any() 或a.all()。”
问题是,您的提取器需要/期望 Pandas.Series,其中每个条目都是一个数字,以便可以将其映射到您的一个类。所以这意味着它像一个列表一样是一维的。这适用于 df['a'],它基本上是 [3,2,3]。
但是当您尝试使用 df[['a','b']] 时,您会使用两列,这意味着有两个列表,一个是 [3,2,3] 另一个是 b 是 [ 2,3,4]。
所以在这里你需要决定你真正想让你的提取器做什么。我的第一个想法是,你可以把 a 和 b 放到一个列表中,这样它就形成了 [3,2,3,2,3,4],但是你最终会得到 6 个类,这与你的三个不匹配y 条目。
因此,我相信您想要实现一些方法,该方法需要一个类列表,并且可能选择最具代表性的类或其他东西。
例如,您需要将 a[0] & b[0] 映射到 y[0],因此 Class A & Class A = 4(与 y[0] 匹配)。
import numpy as np
import pandas as pd
import sklearn
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
# Added import
from sklearn.impute import SimpleImputer
class Extractor(BaseEstimator, TransformerMixin):
def __init__(self):
return None
def fit(self, x, y=None):
return self
def map_values(self, x):
if x in [1.0,2.0,3.0]:
return "Class A"
if x in [4.0,5.0,6.0]:
return "Class B"
if x in [7.0,8.0]:
return "Class C"
if x in [9.0,10.0]:
return "Class D"
else:
return "Other"
def transform(self, X):
return self
def fit_transform(self, X, y=0):
# TypeError: fit_transform() takes 2 positional arguments but 3 were given
# Adjusted: https://intellipaat.com/community/2966/fittransform-takes-2-positional-arguments-but-3-were-given-with-labelbinarizer
# ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().
# -> compare df['a'].shape and X_new.shape. df['a'] is basically [3,2,3] and X_new is [[3,2,3],[2,3,4]]. Using X_new['a'] or X_new['b'] works.
# But with both columns, its not clear which should be mapped -> therefore ambiguous
X = X.copy()
X = X.apply(lambda x : self.map_values(x))
return X
df = pd.DataFrame({'y': [4,5,6], 'a':[3,2,3], 'b' : [2,3,4]})
e = Extractor()
e.fit_transform(df['a'])
features = ['a']
numeric_features=['b']
numeric_transformer = Pipeline(steps=[
('imputer', SimpleImputer(strategy='median'))])
custom_transformer = Pipeline(steps=[
('map_value', Extractor())])
preprocessor = ColumnTransformer(
transformers=[
('num', numeric_transformer, numeric_features),
('time',custom_transformer, features)])
X_new = df[['a','b']]
y_new = df['y']
# Triedpd.Series(X_new.values.flatten().tolist()), but tuple index out of range, because of course there are 6 x and only 3 y values now.
X_transform = preprocessor.fit_transform(pd.Series(X_new.values.flatten().tolist()),y_new)
推荐阅读
- android - Android ListView OnItemClickListener 无法正常工作
- html - 在主屏幕上的 HTML 中获取按钮以路由到标有“关于”的页面
- django - Pyzipcode 城市查找无法正常工作
- mysql - 我正在尝试在 Debian 10 上安装 MySql 并不断收到错误消息。我究竟做错了什么?
- java - Palindrome String VarArgs - Java(没有数组只是 VarArgs)
- jekyll - 如何在 Github Pages 上修改 Jekyll 主题的 CSS / HTML?
- python - 将文本日期转换为年+月进行排序(即 1/19/2019 到 201901)
- tensorflow - LSTM(Keras)中样本步长和时间步长之间的差异
- php - 页面无法通过 GET 或 POST 请求访问我的 cookie
- python - 在python3中计算文本文件的单词