时间戳

首页 > 解决方案 > tensorflow 数据集按参与者拆分

python - tensorflow 数据集按参与者拆分

问题描述

我想拆分tf.data.DataSet属性，在我的情况下是参与者或手势。目前，数据集正在进行中，参与者/手势的数量可能会增加。我最初为这个手势数据集设置了一个tfds 配​​置，但我还没有弄清楚如何在这里配置参与者/手势分割。

我应该如何拆分tf.data.DataSet对象？目前，我的数据集作为单个 tf_record 存在。我宁愿保持这种方式，而不是为每个参与者和手势生成不同的文件，并且在添加新参与者时必须重新生成所有手势 tf 记录。

这有效（方法1，总）：

subset = ds.filter(lambda x: (x['participant'] == 1 or x['participant'] == 2))

这不是（方法2，梦想）：

subset = ds.filter(lambda x: any(x['participant'] == p for p in [1,2]))

OperatorNotAllowedInGraphError：在图形执行中不允许将 atf.Tensor用作 Python 。bool使用 Eager 执行或使用 @tf.function 修饰此函数。

我还尝试了与装饰 @tf.function 相同的操作。

具有公开可用的 mnist 数据集的示例代码：colab 上的 juptyer notebook

他们是否以与方法 2 类似的方式执行此操作？

标签： pythontensorflow

解决方案

您可以通过以下方式解决它：

def predicate(label, labels_to_filter):
  return tf.math.reduce_any(tf.equal(label, labels_to_filter))


labels_to_filter = tf.constant([0, 1, 2, 3, 4], dtype=tf.int64)
subset = dataset.filter(lambda x: predicate(x["participant"], labels_to_filter))
这个怎么运作：

tf.equal如果与 中的标签之一匹配，则返回一个布尔张量，其中包含True值。如果其输入布尔张量中有值则返回。labellabels_to_filtertf.math.reduce_anyTrueTrue

推荐阅读