bert-language-model - 函数 tf.keras.utils.get_file() 可以从平面本地文本文件而不是 URL 中提取吗？

Question

我正在使用 TensorflowLite Model Maker notebook 用我自己的离散主题微调 BERT Question-Answer 模型。我的主题的原始数据包含在根据 SQUAD 规范使用标签“context”和“qas”构建的 JSON 文件中。

我正在调用 tf.keras.utils.get_file() 方法来获取输入数据并将其放入 keras dataset 。默认情况下， tf.keras.utils.get_file() 采用 FilePath 和 URL。

这是我的数据加载代码：

myFile = 'volcano.json'
fullPath = os.path.abspath("./" + myFile)  # or similar, depending on your scenario
train_data_path = tf.keras.utils.get_file(myFile, 'file:///'+fullPath)
validation_data_path = tf.keras.utils.get_file(myFile, 'file:///'+fullPath)

我使用file:///语法将操作系统文件转换为 URL。这不起作用。当我在加载文件后打印文件时，它不会改变。此代码无法获取文件。

有没有其他方法可以将简单的文本文件加载到 keras 数据集中？

我的下一个单元格包含我的训练和测试数据负载。

train_data = DataLoader.from_squad(train_data_path, spec, is_training=True)
validation_data = DataLoader.from_squad(validation_data_path, spec, is_training=False)

我需要将我的平面文件数据成功加载到 train_data_path 和 validation_data_path。

标签： bert-language-modelflat-filedataloaderquestion-answering