首页 > 解决方案 > tensorflow 数据集:如何将我的函数应用于每批数据集

问题描述

假设我有一个名为 的数据集ds_train,它来自本地 csv 文件。它实际上是一个句子列表。因此,对于每批 ds,它是一批句子。目前,我使用函数get_pairs将每个批次转换为句子对。您可以简单地认为我从这批中随机获得了成对的句子。反正就是整批上的一个函数,比如32、64句。

for step, trunk in ds_train.enumerate():
    samples = trunk['content'].numpy()
    pairs = get_pairs(samples)

并且我使用train_step方法对每一步迭代训练句子对分类模型。

我想问的是如何将get_pairs函数应用到数据集管道中,因此我可以model.fit直接在数据集流上进行训练,数据集流由每个样本的句子对组成。

提前致谢。

标签: pythontensorflow2.0

解决方案


推荐阅读