时间戳

首页 > 解决方案 > 损失权重在 Tensorflow 中是如何工作的？

python - 损失权重在 Tensorflow 中是如何工作的？

问题描述

我正在对一个代表性明显不足的目标类训练一个循环二元分类器。假设我们的目标类 1 代表我们拥有的所有训练数据的 <1%，而类 0 >99%。为了更多地惩罚模型错误预测少数类，我想在损失函数中使用权重。对于每个小批量，我创建了一个相应的小批量权重，其中我们的目标类的权重标量 >1.0，我们的多数类相应地<1.0。例如，在下面的代码中，我们对 1 类使用 2.0，对 2 类使用 0.6。

loss_sum = 0.0
for t, o, tw in zip(self._targets_uns, self._logits_uns, self._targets_weight_uns):
    # t -- targets tensor [batchsize x 1], tw -- weights tensor [batchsize x 1]
    # e.g. [0, 0, 0, 0, 1, 1, 0] -- [0.5, 0.5, 0.5, 0.5, 2.0, 2.0, 0.5]
    _loss = tf.losses.sigmoid_cross_entropy(t, o, weights=tw, label_smoothing=0,
                                scope="sigmoid_cross_entropy",
                                loss_collection=tf.GraphKeys.LOSSES)
    loss_sum += _loss

模型训练好后，我检查预测精度，发现它比没有权重的精度略低。我继续尝试尝试重量对[1.4, 0.8], [1.6, 0.4], [4.0, 0.1], [3.0, 1.0], ...等等。但是，除了低 2-3% 的边际差异之外，我没有比未加权训练有任何改进。好的，也许我误解了tf.losses.sigmoid_cross_entropy函数的文档。

权重作为损失的系数。如果提供了标量，则损失只是按给定值缩放。如果权重是形状 [batch_size] 的张量，则损失权重适用于每个相应的样本。

我只是将这些对颠倒过来，对 0 类使用更高的权重，对 1 类使用更低的权重：[0.5, 2.0], [0.8, 1.3], [0.2, 1.0], ...。除了比未加权版本略差之外，这也没有提供任何改进。

有人可以向我解释加权损失的行为吗？我做得对吗？我应该怎么做才能增加少数族裔的体重？

标签： pythontensorflowmachine-learning

解决方案

加权是一种通用数学技术，用于求解形式为 的过度指定的方程组Wx=y，其中x在输入向量中，y是输出向量，W是您希望找到的变换矩阵。通常，这些问题可以使用 SVD 等技术来解决。SVD 将W通过最小化least-squared error过度指定的系统来找到解决方案。TensorFlow 基本上是通过其最小化过程来解决类似的问题。

在您的情况下，发生的事情是您有 1 个 A 类样本和 99 个 B 类样本。由于求解过程旨在最大限度地减少总体误差，因此 B 类对解决方案的贡献是 A 类 1 的 99 倍。为了解决这个问题，您应该调整您的权重，以使 A 类和 B 类对解决方案的贡献均匀，即.. 将 B 类权重降低 0.01。

更一般地，你可以做...

ratio = num_B / (num_A + num_B)
weights = [ratio, 1.0 - ratio]

推荐阅读