nlp - 在 BertTokenizerFast 中加载自我训练的 tokenzier 失败

Question

我训练了一个标记器，如下所示，

tokenizer = ByteLevelBPETokenizer()
tokenizer.train(files=paths, vocab_size=20_000, min_frequency=2,
                special_tokens=["<s>","<pad>","</s>","<unk>","<mask>"])
tokenizer.save_model('bert_a_tokenizer')

然后我尝试加载它：

tokenizer = BertTokenizerFast.from_pretrained("./bert_a_tokenizer", max_len=512)

它失败了，但如果我使用它会起作用：

tokenizer = RobertaTokenizerFast.from_preenter code heretrained("./bert_a_tokenizer", max_len=512)

我不完全理解这里发生了什么。

标签： nlptokenizebert-language-modelroberta-language-model