时间戳

首页 > 解决方案 > 如何通过 tf.data API 使用 Keras 生成器

python - 如何通过 tf.data API 使用 Keras 生成器

问题描述

我正在尝试使用 Keras 预处理库中的生成器。我想对此进行试验，因为 Keras 为图像增强提供了强大的功能。但是，我不确定这是否真的可行。

以下是我从 Keras 生成器制作 tf 数据集的方法：

def make_generator():
    train_datagen = ImageDataGenerator(rescale=1. / 255)
    train_generator = 
    train_datagen.flow_from_directory(train_dataset_folder,target_size=(224, 224), class_mode='categorical', batch_size=32)
    return train_generator

train_dataset = tf.data.Dataset.from_generator(make_generator,(tf.float32, tf.float32)).shuffle(64).repeat().batch(32)

请注意，如果您尝试直接将train_generator其作为参数给出，tf.data.Dataset.from_generator则会出现错误。但是，上述方法不会产生错误。

当我在会话中运行它以检查数据集的输出时，我收到以下错误。

iterator = train_dataset.make_one_shot_iterator()
next_element = iterator.get_next()
sess = tf.Session()
for i in range(100):
    sess.run(next_element)

找到属于 2 个类别的 1000 张图像。-------------------------------------------------- ------------------------- InvalidArgumentError Traceback（最近一次调用最后）/usr/local/lib/python3.6/dist-packages/tensorflow/ python/client/session.py in _do_call(self, fn, *args) 1291 try: -> 1292 return fn(*args) 1293 except errors.OpError as e:

/usr/local/lib/python3.6/dist-packages/tensorflow/python/client/session.py in _run_fn(feed_dict, fetch_list, target_list, options, run_metadata) 1276 return self._call_tf_sessionrun( -> 1277 options, feed_dict, fetch_list、target_list、run_metadata）1278

/usr/local/lib/python3.6/dist-packages/tensorflow/python/client/session.py in _call_tf_sessionrun(self, options, feed_dict, fetch_list, target_list, run_metadata) 1366 self._session, options, feed_dict, fetch_list,目标列表，-> 1367 运行元数据）1368

InvalidArgumentError：无法在组件 0 中批处理具有不同形状的张量。第一个元素的形状为 [32,224,224,3]，元素 29 的形状为 [8,224,224,3]。[[{{node IteratorGetNext_2}} = IteratorGetNextoutput_shapes=[, ], output_types=[DT_FLOAT, DT_FLOAT], _device="/job:localhost/replica:0/task:0/device:CPU:0"]]

在处理上述异常的过程中，又出现了一个异常：

请让我知道是否有人对此有任何经验或知道任何替代方式。

更新

使用 JEK 的建议后，我能够解决问题

train_dataset = tf.data.Dataset.from_generator(make_generator,(tf.float32, tf.float32))

但是，当我train_dataset使用 Keras.fit方法时，会出现以下错误。

model_regular.fit(train_dataset,steps_per_epoch=1000,epochs=2)

-------------------------------------------------- ------------------------- ValueError Traceback (最近一次调用最后一次) in () ----> 1 model_regular.fit(train_dataset,steps_per_epoch= 1000,epochs=2)

/usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/training.py in fit(self, x, y, batch_size, epochs, verbose, callbacks, validation_split, validation_data, shuffle, class_weight , sample_weight, initial_epoch, steps_per_epoch, validation_steps, **kwargs) 1507 steps_name='steps_per_epoch', 1508 steps=steps_per_epoch, -> 1509 validation_split=validation_split) 1510 1511 # 准备验证数据。

/usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/training.py in _standardize_user_data（self，x，y，sample_weight，class_weight，batch_size，check_steps，steps_name，steps，validation_split）948 x = self._dataset_iterator_cache[x] 949 else: --> 950 iterator = x.make_initializable_iterator() 951 self._dataset_iterator_cache[x] = iterator 952 x = iterator

/usr/local/lib/python3.6/dist-packages/tensorflow/python/data/ops/dataset_ops.py in make_initializable_iterator(self, shared_name) 119 with ops.colocate_with(iterator_resource): 120 initializer = gen_dataset_ops.make_iterator(self ._as_variant_tensor(), --> 121 iterator_resource) 122 return iterator_ops.Iterator(iterator_resource, initializer, 123 self.output_types, self.output_shapes,

/usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/gen_dataset_ops.py in make_iterator(dataset, iterator, name) 2542 if _ctx is None or not _ctx._eager_context.is_eager: 2543 _, _ , _op = _op_def_lib._apply_op_helper( -> 2544 "MakeIterator", dataset=dataset, iterator=iterator, name=name) 2545 return _op 2546 _result = None

/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/op_def_library.py in _apply_op_helper(self, op_type_name, name, **keywords) 348 # 需要将所有参数扁平化成一个列表。349 # pylint: disable=protected-access --> 350 g = ops._get_graph_from_inputs(_Flatten(keywords.values())) 351 # pylint: enable=protected-access 352 除了 AssertionError as e:

/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/ops.py in _get_graph_from_inputs(op_input_list, graph) 5659 graph = graph_element.graph 5660 elif original_graph_element 不是 None: -> 5661 _assert_same_graph(original_graph_element , graph_element) 5662 elif graph_element.graph 不是图：
5663 raise ValueError("%s 不是来自传入的图。" % graph_element)

/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/ops.py in _assert_same_graph(original_item, item) 5595 如果 original_item.graph 不是 item.graph: 5596 raise ValueError("%s must来自与 %s 相同的图表。" % (item, -> 5597 original_item)) 5598 5599

ValueError: Tensor("IteratorV2:0", shape=(), dtype=resource) 必须与 Tensor("FlatMapDataset:0", shape=(), dtype=variant) 来自同一个图。

这是一个错误还是 Keras fit 方法不应该以这种方式使用？

标签： pythontensorflowkerastensorflow-datasets

解决方案

我试图用一个简单的例子重现你的结果，我发现当你在生成器函数中使用批处理时，你会得到不同的输出形状tf.data。

Keras 函数train_datagen.flow_from_directory(batch_size=32)已经返回带有 shape 的数据[batch_size, width, height, depth]。如果使用tf.data.Dataset().batch(32)输出数据再次批处理成 shape [batch_size, batch_size, width, height, depth]。

由于某种原因，这可能会导致您的问题。

推荐阅读