python - 使用 BERT 进行文本分类。Reddit 帖子。精度是恒定的

Question

我正在尝试对作者年龄组进行分类（'21 岁以下'，'年轻成人'，'成人）。我正在研究这个例子：https ://colab.research.google.com/github/tensorflow/text/blob/master/docs/tutorials/classify_text_with_bert.ipynb#scrollTo=KiC1mzAnBR5Y 。

我提供了我的训练、测试和验证数据：

• 训练：31738 个文件，属于 3 个类。
• 验证：3968 个文件属于 3 个类。
• 测试：属于 3 个类的 3966 个文件。

我改变了：

• net = tf.keras.layers.Dense( 3 ,activation=None,name='classifier')(net)
• 分类器模型编译（优化器=优化器，损失='sparse_categorical_crossentropy'，metrics=['accuracy']）

我努力了：

• 辍学率变化
• 改变批量大小
• 改变学习率
• 不同的模型（talking-heads_base）
• 不同的优化器（adam/adamw）
• 不同的损失函数（mae）
• 添加激活函数（'relu'）

**

准确率始终接近 0.3333，而损失函数正在下降

** 如图所示：。 验证损失/测试损失/准确性

标签： pythontensorflowmachine-learningbert-language-model