bert-language-model - 自定义 Bert 和未解析的 self.init_weights()

Question

目前，我在自定义的 Bert 中收到有关未解析属性引用 self.iniit_weights() 的警告。你知道我该如何解决吗？神经网络和转换器对我来说非常陌生。我使用最新版本的转换器 4.9.1 和 python 3.8。

我的 Bert 类看起来像这样，与网上找到的示例非常相似，只是分类器更多。

class MyBert(BertPreTrainedModel):

    def __init__(self, config, num_labels1=None, num_labels2=None, num_labels3=None):
        super().__init__(config)
        self.num_labels1 = num_labels1
        self.num_labels2 = num_labels2
        self.num_labels3 = num_labels3
        self.bert = BertModel(config)
        self.dropout = torch.nn.Dropout(config.hidden_dropout_prob)
        self.classifier1 = torch.nn.Linear(config.hidden_size, num_labels1)
        self.classifier2 = torch.nn.Linear(config.hidden_size, num_labels2)
        self.classifier3 = torch.nn.Linear(config.hidden_size, num_labels3)
        self.init_weights() # unresolved attribute reference

感谢您的任何帮助。

标签： bert-language-model