python - 使用 Sklearn 进行多标签文本分类
问题描述
为了解决我在 Python 中的多标签文本分类问题,我已经尝试了所有我能想到的方法,我非常感谢任何帮助。我在这里使用 multilabelbinarizer 和在这个网页中建立了我的结果。
我正在尝试预测用西班牙语编写的数据集中的某些类别,其中我有 7 个不同的标签,我的数据集显示在这里。我为每一行写了一条消息和不同的标签。每个文本消息都有一个或两个标签,具体取决于消息。
df2=df.copy()
df2.drop(["mensaje", "pregunta_parseada", "tags_totales"], axis=1, inplace=True)
# Divide into train and test
X_train, X_test, y_train, y_test = train_test_split(df['pregunta_parseada'],
df2,
test_size=0.15,
random_state=42)
from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer
features_train = tfidf.fit_transform(X_train).toarray()
labels_train = y_train
features_test = tfidf.transform(X_test).toarray()
labels_test = y_test
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.metrics import accuracy_score
from sklearn.multiclass import OneVsRestClassifier
lr = LogisticRegression(solver='sag', n_jobs=1)
clf = OneVsRestClassifier(lr)
# fit model on train data
clf.fit(features_train, labels_train)
# make predictions for validation set
y_pred = clf.predict(features_test)
到目前为止,一切都很好,但是当我尝试验证问题时,似乎几乎每个类别都被归类为“无”
y_pred[2]
accuracy_score(y_test,y_pred)
输出
array([0, 0, 0, 0, 0, 0, 0])
0.2574626865671642
我也尝试了 MultiLabelBinarizer 并且我遇到了同样的问题,我做错了什么?尝试使用 MultiLabelBinarizer 产生了以下结果:
z=[["Generico"],["Mantenimiento"],["Motor"],["Generico"],["Motor"],
["Generico"],["Motor"],["Generico","Configuracion"],["Generico"],
["Motor"],["Consumo"],...,["Consumo"]]
from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
y=mlb.fit_transform(z)
message = df["pregunta_parseada"].to_numpy()
X_train, X_test, y_train, y_test = train_test_split(message,
y,
test_size=0.15,
random_state=42)
classifier = Pipeline([
('vectorizer', CountVectorizer()),
('tfidf', TfidfTransformer()),
('clf', OneVsRestClassifier(LinearSVC()))])
classifier.fit(X_train, y_train)
predicted = classifier.predict(X_test)
accuracy_score(y_test, predicted)
#predicted[150]
all_labels = mlb.inverse_transform(predicted)
all_labels
具有以下输出
(),
(),
(),
(),
('Generico',),
(),
(),
(),
(),
('Compra',),
('Motor', 'extras'),
非常感谢你的帮助
解决方案
我认为问题在于您的数据。它可能太稀疏了。
我看到您正在使用OneVsRestClassifier
,因此它构建了多个二进制分类器来决定标签。
我认为,您的代码中没有直接的错误,但是模型的选择不适合该任务。
这些二元分类器的问题是数据不平衡,假设即使n
每个类(c
n
(n-1) x c
因此,对于所有分类器,显然负类中的数据多于正类。它们偏向于负类,因此每个二元分类器都倾向于在大多数情况下预测(All in oneVsall 场景)。
如果您不想更改设置,那么您可以做的一件事是:
- 而不是
predict
,用于predict_proba
获取每个类别的概率并设置一个较低的阈值 (<0.5) 来决定选择哪一组类别。
您的测试准确度很低,可能需要重新调整阈值以获得更好的准确度。
- 如果可能,请使用基于深度学习的方法,例如 Bert,这将提供更好的性能。
推荐阅读
- php - 从联系表 7 获取自定义字段值时出现问题
- java - 是否可以在单个 Java 文件中从 Firebase 实时数据库调用两个不同的树?
- python - 类构造函数可以返回子类吗?
- dependency-injection - 如何将 Singleton bean 注入普通 bean
- matlab - 如何使用多个输入创建函数?
- java - 如何将压缩图像保存在新文件夹中
- javascript - 获取当前 url 主机名 NODE
- matplotlib - 如何添加颜色条以使用 jupyter 在我的 3d 曲面图中显示标量值
- spring - spring-cloud-gateway 全局过滤器,用于从访问令牌中提取安全信息并将其中继到下游服务
- angular - 删除行 - 总是在索引返回 -1 时删除最后一行