python - 如何使用生成器或其他方式设置 TF 2.4 训练数据

Question

我有一个带有一个输入和两个输出的模型设置。我正在尝试使用任何

1. tf.data.Dataset.from_generator
2. 适合常规的 python 生成器
3. tf.data.TFRecordDataset

到目前为止，我所有的尝试都遇到了错误，我只能假设这是基于我尝试设置的生成器的输出中涉及的形状/类型。这种生成器的输出应该是什么格式？我也非常愿意接受以不同方式执行此操作的建议如果您想浏览，可以在此处下载我的整个笔记本

输入

模型的输入是有形状的

(None,)

并且是类型

tf.string

我能够获得模型输出

model(tf.constant(['Hello TensorFlow!']))

输出

该模型有两个输出头，第一个是形状

(None, 128, 5)

第二个是形状

(None, 128, 3)

他们都是类型

tf.float32

我的模型的损失是稀疏分类交叉熵。（我想要一个跨越 5 或 3 个类的 softmax，具体取决于头部，对于 128 个输出中的每一个，其中 None 用于批量大小）。我相信为此，正确的输出格式将是以下格式的 batch_size 实例的元组

(input_string, (output_for_head1, output_for_head2))

其中 input_string 是一个字符串， output_for_head1 和 output_for_head2 都是形状 (128) 和 int 类型的 numpy 数组。

我尝试过的一些随机的东西直接安装在发电机上

产生单个项目而不是整个批次（所有测试使用批次大小 10）

获取索引越界错误-很确定这需要批处理

整批产量

获取错误

    Data is expected to be in format `x`, `(x,)`, `(x, y)`, or `(x, y, sample_weight)`, found: ((<tf.Tensor: shape=(), dtype=string, numpy=b'Ya Yeet'>, (<tf.Tensor: shape=(128,), dtype=int64, numpy=... ( a very long set of (128,) tensors which is too large to post here)


     [[{{node PyFunc}}]]
     [[IteratorGetNext]] [Op:__inference_train_function_95064]

Function call stack:
train_function

​</p>

标签： pythontensorflownlptensorflow2.x

Answer 1

我想出了使用生成器的解决方案。我能够首先创建一个生成器，生成可以直接训练模型的 numpy 数组，然后从该生成器的略微修改版本创建一个 tf.data 数据集。

解决方案是每批只输出 3 个 numpy 数组，就像 input_arr, (output_arr1, output_arr2)每个数组的形状被扩展为左侧的批量大小，而不是长度为 batch_size 的元组。

最终的生成器看起来像这样

def text_data_generator(dataset_path, batch_size, input_text_col='text', output_classes_col='labels', classes=CLASSES, continuity_classes=CONTINUITY_CLASSES, pad_length=128, sep=' '):
    while True:
        for chunk in pd.read_csv(dataset_path, chunksize=batch_size):
            #TODO : Should probably shuffle the dataset somehow
            texts = chunk['text'].values
            c_classes = np.stack(chunk['classes'].apply(lambda x : pad([classes.index(item) for item in x.split(sep)])).values)
            c_continuity = np.stack(chunk['continuity'].apply(lambda x : pad([continuity_classes.index(item) for item in x.split(sep)])).values)
            texts = np.array(texts)
            c_classes = np.array(c_classes)
            c_continuity = np.array(c_continuity)
            yield texts, (c_classes, c_continuity)

和

def tf_text_data_generator(dataset_path, batch_size, input_text_col='text', output_classes_col='labels', classes=CLASSES, continuity_classes=CONTINUITY_CLASSES, pad_length=128, sep=' '):
    for chunk in pd.read_csv(dataset_path, chunksize=batch_size):
        texts = chunk['text'].values
        c_classes = np.stack(chunk['classes'].apply(lambda x : pad([classes.index(item) for item in x.split(sep)])).values)
        c_continuity = np.stack(chunk['continuity'].apply(lambda x : pad([continuity_classes.index(item) for item in x.split(sep)])).values)
        texts = np.array(texts)
        c_classes = np.array(c_classes)
        c_continuity = np.array(c_continuity)
        yield texts, (c_classes, c_continuity)

该模型可以直接在 text_data_generator 的实例上进行训练。为了在另一个生成器上进行训练，我创建了一个 tf.data.Dataset

def wrapped_gen():
    return tf_text_data_generator("test.csv", 10)
dataset = tf.data.Dataset.from_generator(wrapped_gen, (tf.string, (tf.int64, tf.int64)))

然后可以像实例化的生成器一样直接将其传递给 model.train。