时间戳

首页 > 解决方案 > 用于文本分类的预训练 BERT 基础

deep-learning - 用于文本分类的预训练 BERT 基础

问题描述

我有一个推文语料库，我正在尝试使用 BERT 进行分类。我已经使用我的语料库成功地预训练了 BERT，它已经生成了检查点文件。现在我需要使用这个经过训练的新模型，并为其添加更多层。我尝试使用 keras_bert 中的“load_trained_model_from_checkpoint”函数，但失败并出现错误“cls/predictions/transform/dense/kernel not found in checkpoint”。谁能帮我修复这个错误。谢谢

标签： deep-learningnlptransformer

解决方案

可能有一些关于如何使用基于这个库中预训练模型的预测的提示，lazy-text-predict！一般来说，它还可以帮助您实现文本分类器。

text='my text to classify'
model=BertForSequenceClassification.from_pretrained('/content/bert-base-uncased_model')
tokenizer=BertTokenizerFast.from_pretrained('bert-base-uncased')
text_classification= transformers.pipeline('sentiment-analysis',
                                            model=model, 
                                            tokenizer=tokenizer)
y=text_classification(text)[0]
print(y)

推荐阅读