machine-learning - 在文档中找不到一些 fairseq 参数

Question

我正在使用 fairseq（版本：1.0.0a0+14c5bd0）根据此链接微调模型。但是，有很多参数我在文档中找不到，也无法在运行fairseq-train --help. 示例包括：

--warmup-updates
--encoder-normalize-before
--label-smoothing

它们是否被其他一些参数取代？

标签： machine-learningneural-networknlpfairseq

Answer 1

训练模型时，您可以调用通用训练参数（在CLI 帮助中记录）或特定于组件的参数。您经常需要使用文档站点左上角的搜索栏来查找后者。

关于您突出显示的特定内容，一些文档与它们的组件一起记录在文档中：

• --warmup-updates是学习率调度器的一个属性（doc）
• --encoder-normalize-before是 Transformer 模型参数(doc)

有些仅记录在代码中（如果有的话）：

• --label-smoothing是标签平滑交叉熵损失的参数（代码）