首页 > 解决方案 > bert_en_uncased_preprocess 是如何制作的?例如通过训练 NN 或手动编码?

问题描述

我是深度学习的新手,遇到过 BERT。我尝试small_bert/bert_en_uncased_L-4_H-512_A-8了 TensorFlow 教程,结果非常惊人。我想更深入地挖掘并想知道对应的内容bert_en_uncased_preprocess是如何制作的。

据我所知,它完成了所有 WordPiece 标记化工作,因此它应该涉及一些编码,而不仅仅是训练。提供https://tfhub.dev/tensorflow/bert_en_uncased_preprocess/3SavedModel。有没有源代码或类似的东西?它是如何制作的?

它与使用无关。用法很好,很清楚。目的是学习。

提前致谢。

标签: tensorflowdeep-learningbert-language-model

解决方案


推荐阅读