pytorch - pytorch中的多标签分类
问题描述
我有一个多标签分类问题。我有 11 个类,大约 4k 个示例。每个示例可以有 1 到 4-5 个标签。目前,我正在使用 log_loss 为每个类分别训练一个分类器。正如您所料,训练 11 个分类器需要相当长的时间,我想尝试另一种方法并只训练 1 个分类器。这个想法是这个分类器的最后一层将有 11 个节点,并且会按类输出一个实数,然后通过 sigmoid 将其转换为概率。我要优化的损失是所有类的 log_loss 的平均值。
不幸的是,我是 pytorch 的某种菜鸟,即使通过阅读损失的源代码,我也无法确定已经存在的损失之一是否完全符合我的要求,或者我是否应该创建一个新的损失,如果是这样的话,我真的不知道该怎么做。
具体来说,我想为批次的每个元素提供一个大小为 11 的向量(其中包含每个标签的实数(越接近无穷大,该类预测为 1 越接近),以及 1 个向量大小为 11(每个真实标签都包含 1),并且能够计算所有 11 个标签的平均 log_loss,并根据该损失优化我的分类器。
任何帮助将不胜感激 :)
解决方案
您正在寻找torch.nn.BCELoss
. 这是示例代码:
import torch
batch_size = 2
num_classes = 11
loss_fn = torch.nn.BCELoss()
outputs_before_sigmoid = torch.randn(batch_size, num_classes)
sigmoid_outputs = torch.sigmoid(outputs_before_sigmoid)
target_classes = torch.randint(0, 2, (batch_size, num_classes)) # randints in [0, 2).
loss = loss_fn(sigmoid_outputs, target_classes)
# alternatively, use BCE with logits, on outputs before sigmoid.
loss_fn_2 = torch.nn.BCEWithLogitsLoss()
loss2 = loss_fn_2(outputs_before_sigmoid, target_classes)
assert loss == loss2
推荐阅读
- gml - sprite_index 无法正常工作 gamemaker studio 2 (GML)
- javascript - 角度从 PDF 中提取文本
- javascript - 注册函数时 Outlook web 添加 addHandlerAsync 错误 5001
- r - ggplot 箱线图在 x 轴上具有列名
- javascript - Vue中的目标点击元素
- javascript - FileReader 结果返回 null
- c# - 如何从 WebMethod 读取 List 到 AJAX 回调
- java - 如何从 spring-boot 千分尺中检索指标
- c - 当条件为假时,为什么条件包含中的控制组在词汇上是有效的?
- asp.net-core-2.1 - Entity Framework Core 相关数据查询太慢