bert-language-model - WordPiece Embedding 如何在 BERT 输出上工作

Question

当在 BERT 中使用 wordPiece 嵌入时，这是否意味着 BERT 输出的维度在特定时间会与输入不同，即假设我有一个输入词“正在播放”作为 BERT 的输入，根据 WordPiece 将导致两个标记 play和##ing。在这种情况下，BERT 的输出是什么，$y\in R^{2XD}$ 或 $y\in R^{1X D}$，其中 D 是 BERT 生成的令牌的维度，$y$ 是BERT 的输出。BERT 是否将碎片加入到原始令牌中？如果不是，我怎样才能让 BERT 生成一个维度等于 WordPiece 嵌入之前的标记的输出

标签： bert-language-model