python - 字符向量化

Question

我正在尝试按照 Tensorflow Beginner Example 通过使用“text_dataset_from_directory”加载文本数据并使用“TextVectorization”标记这些数据。（https://www.tensorflow.org/tutorials/keras/text_classification）

有没有简单的方法来进行字符向量化？

标签： pythontensorflowkerastokenize

Answer 1

最简单的方法是创建 char 文件和 word 文件的副本。

Example:
Char Version: I g o t o s c h o o l b y b u s
Word Version: I go to school by bus