时间戳

首页 > 解决方案 > 使用 TfidfVectorizer 时是否需要标签编码？

python - 使用 TfidfVectorizer 时是否需要标签编码？

问题描述

可能是一个非常新手的问题：

我正在从事一个多类文本分类项目，其中我的所有功能和标签都是基于文本的。

我刚刚了解到，我没有对特征和标签进行编码，因为我在下面进行了中继：

def _create_transformer_from_feature_columns(columns):
    tuples = []
    for col in list(columns):
        tfidf_kwargs = {'ngram_range': (1, 2), 'sublinear_tf': True}
        if col not in NON_LEMMATIZED_COLUMN_NAMES:
            tfidf_kwargs.update({'tokenizer': Tokenizer()})
        tuples.append((f'vec_{col}', TfidfVectorizer(**tfidf_kwargs), col))

    return ColumnTransformer(tuples, remainder='passthrough')

df_list = []
for bug in useful_bugs_dict.values():
    # convert bug data into feature metric
    bug_data = bug.get_data_as_df()
    group_name = bug_data['group_name'][0]
    if group_name not in group_owners_dict:
        owner_id = len(group_owners_dict)
        group_owners_dict[group_name] = owner_id
        group_owner_id_dict[owner_id] = group_name

    df_list.append(bug_data)

training_data = pd.concat(df_list)
training_data.reset_index(drop=True, inplace=True)

columns = training_data.drop('group_name', axis='columns').columns
transformer = _create_transformer_from_feature_columns(columns)



labels = training_data['group_name']
features = training_data.drop('group_name', axis='columns')

X_train, X_test, y_train, y_test = train_test_split(features, labels, test_size=0.2)

另外我正在使用 XGBClassifier 并且收到此警告：

/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages/xgboost/sklearn.py:1146: 
UserWarning: The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. 
To remove this warning, do the following: 
1) Pass option use_label_encoder=False when constructing XGBClassifier object; 
and 2) Encode your labels (y) as integers starting with 0, i.e. 0, 1, 2, ..., [num_class - 1].
  warnings.warn(label_encoder_deprecation_msg, UserWarning)

我的印象是会为我做的。

我错了吗？

标签： pythonscikit-learntext-classification

解决方案

该警告与TfidfVectorizer. 它fit和fit_transform方法仅依赖于X计算 tf-idf-weighted document-term 矩阵。y在这两种情况下都被忽略，并且其编码无关紧要。

对于scikit-learn分类器，编码y也不是强制性的。在分类问题中传递字符串值对象通常不是问题。请注意，以下针对多类问题的代码将毫无问题地执行：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.tree import DecisionTreeClassifier


X = ['doc one', 'doc two', 'number three']
y = [['yes', 'ok'], ['yes', 'not okay'], ['no', 'not okay']]

vec = TfidfVectorizer()
Xt = vec.fit_transform(X, y)

clf = DecisionTreeClassifier()
clf.fit(Xt, y)

然而，警告来自XGBClassifier which 不是来自scikit-learn。显然， 的内部编码已y 被弃用，并将在未来的版本中删除。因此，在这种特殊情况下，您将来必须自己明确地执行此操作，例如，当您使用下一个版本时。

推荐阅读