loss - FairSeq - 样本损失加权

Question

我正在尝试使用 fairseq 学习 seq2seq 模型。我想为每个样本设置不同的损失权重，因此会有模型尝试更好地拟合的示例。正确的方法是什么？也许为此目的更好的图书馆？

标签： lossseq2seq

Answer 1

我不确定 FairSeq，但它可以在Marian中轻松完成，默认情况下有一个选项--data-weighting，您可以在其中提供包含权重列表的文件。OpenNMT提供了类似的功能，但具有每个语料库的权重。