pytorch - 确保 BERT 模型不加载预训练的权重？

Question

我想确保我的 BertModel 不会加载预训练的权重。我正在使用自动加载模型的汽车类（拥抱脸）。

我的问题是如何在没有预训练权重的情况下加载 bert 模型？

标签： pytorchbert-language-modelhuggingface-transformers

Answer 1

使用 AutoConfig 而不是 AutoModel：

from transformers import AutoConfig
config = AutoConfig.from_pretrained('bert-base-uncased')
model =  AutoModel.from_config(config)

这应该在不加载权重的情况下设置模型。

此处和此处的文档