allennlp - 如何将 Bart 与 PretrainedTransformerEmbedder 一起使用？

Question

如果我encoder = PretrainedTransformerEmbedder(model_name, sub_module="encoder")用作编码器传递给 Bart(encoder=encoder)，它会报告错误，因为它没有实现get_input_dim()，如果我encoder = PretrainedTransformerEmbedder(model_name, sub_module="encoder"), encoder = encoder.encoder像这里提到的那样作为输入编码器传递，它会报告错误，因为PretrainedTransformerEmbedder(model_name, sub_module="encoder")它没有属性encoder。那么如何在 allennlp 中为 seq2seq 任务使用完整的 bart 模型（包括 token_embed、position_embed）？

标签： allennlp

Answer 1

如果您只是通过encoder=None（这是默认设置），Bart模型将使用本机 BART 编码器。听起来这就是你想要的？