nlp - huggingface pytorch-transformers：如何用某些值初始化嵌入？

Question

我正在从huggingface微调 bert 模型。有没有办法手动设置某个词片的初始嵌入？例如，单词“dog”的初始嵌入等于torch.ones(768)。谢谢！

标签： nlphuggingface-transformers

Answer 1

您可以设置 BertModel 的输入嵌入：get_input_embeddings()

您需要从词汇表中知道词片索引，并且可以更改嵌入矩阵中的相应行。