时间戳

首页 > 解决方案 > 如何在 Keras Embedding 层中使用 BERT 预训练模型

python-3.x - 如何在 Keras Embedding 层中使用 BERT 预训练模型

问题描述

如何bert-base-uncased在 Keras 的嵌入层中使用预训练的 BERT 模型作为权重？

目前，我正在使用 BERT 模型生成词嵌入，这需要很多时间。我正在分配这些权重，如下所示

model.add(Embedding(307200, 1536, input_length=1536, weights=[embeddings]))

我在互联网上搜索，但方法是在 PyTorch 中给出的。我需要在 Keras 中完成。请帮忙。

标签： python-3.xtensorflowkerasnlp

解决方案

推荐阅读