machine-learning - 检查模型输出和标签之间的相关性/相互信息

Question

我正在使用监督学习设置训练一些网络。输入是向量，输出（和标签）是数字。

我正在使用 MSE 损失，损失会随着时间的推移而减少（在训练集和测试集上），但我仍然不确定网络是否真的学会了从输入中预测标签，或者它只是学会了输出类似于标签的数字分布较好。

如果我为每个时期采用标签向量和输出向量并检查它们之间的相关性/相互信息，是否可以让我了解网络是否真的有所改进？我不熟悉这样的工作，做这种事情很常见吗？

标签： machine-learningdeep-learningstatistics

Answer 1

如果您的标签是类/​​离散的（即 0、1、2 ...），您应该考虑使用另一种损失（多类别 cross_entropy），您可以从中轻松输出准确度、困惑度等指标。

但是，您仍然可以将其视为回归问题（如果我理解良好的话，您也可以这样做），即连续预测和离散标签，以及输出精度，例如使用 round(predictions)。