python - 如何将新标记添加到使用句子的 T5 标记器

Question

我训练t5基于tensorflow以下链接的变压器：

https://github.com/google-research/text-to-text-transfer-transformer

这是一个示例（输入，输出）：

输入：

b'[atomic]:<subject>PersonX plays a ___ in the war</subject><relation>oReact</relation>'

输出：

<object>none</object>

但是，对于我得到的预测：

 ⁇ object>none ⁇ /object>

替换<为??，我应该怎么做才能解决这个问题？

更新：我发现奇怪<的是 t5 tokenizer 的词汇量不足，也就是说sentencepiece，我只是不知道如何添加它

标签： pythontensorflownlpsentencepiece

Answer 1

据我所知，您可以使用 Tokenizer.add_tokens() 添加新令牌。更多细节可以在这里找到拥抱脸