首页 > 解决方案 > 当我们进行微调任务时,Bert 如何改变最大序列长度?

问题描述

假设我们使用最大序列长度为 128 的预训练模型。<br /> 现在我更改配置文件,将最大序列长度从 128 减少到 64。<br /> 接下来,进行微调任务,例如 smiple 分类任务。<br />我的问题是,在微调过程中,模型的维度会改变吗?因为它有很多部分与最大序列长度相关。
当我们更改最大序列长度进行微调时,bert 是如何解决这个问题的。

标签: deep-learningnlpbert-language-model

解决方案


推荐阅读