nlp - SimCSE如何独立两次辍学

Question

如何独立地将输入句子传递给具有两次丢失的bert？

这是我到目前为止所尝试的，输出是相同的。

bert = AutoModel.from_pretrained('bert-base-cased')
tokenizer = AutoTokenizer.from_pretrained('bert-base-cased')
sent_dict = tokenizer('Some weights of the model checkpoint at bert-base-cased were not used when initializing BertModel', return_tensors='pt')

bert(**sent_dict).pooler_output == bert(**sent_dict).pooler_output

标签： nlpbert-language-modeldropout

Answer 1

我忘记了 model.train() :( Dropout 仅适用于训练模式