bert-language-model - 寻找 max_embeddings 为 1024 而不是 512 的 LayoutLM 模型

Question

我目前正在尝试在项目中使用 LayoutLM 模型。但是，最大嵌入是 512。我正在尝试查看是否可以找到具有 1024 最大嵌入的预训练模型。有谁知道这样的模型，或者是否有解决方法？

谢谢

标签： bert-language-model

Answer 1

训练这样的模型将非常耗时，但我们会考虑这一点。