python - 来自 tf.keras.preprocessing.image.ImageDataGenerator.flow_from_directory 的 tf.data.Dataset?
问题描述
我如何创建一个tf.data.Dataset
从tf.keras.preprocessing.image.ImageDataGenerator.flow_from_directory
?
我正在考虑tf.data.Dataset.from_generator
,但output_types
鉴于返回类型,尚不清楚如何为其获取关键字参数:
其中的
DirectoryIterator
产生元组是一个 numpy 数组,(x, y)
其中x
包含一批具有形状的图像,(batch_size, *target_size, channels)
并且y
是一个对应标签的 numpy 数组。
解决方案
这是我的解决方案。为了展示它是如何工作的,我使用了猫/狗数据集:
import matplotlib.pyplot as plt
import numpy as np
import os
import tensorflow as tf
_URL = 'https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip'
path_to_zip = tf.keras.utils.get_file('cats_and_dogs.zip', origin=_URL, extract=True)
PATH = os.path.join(os.path.dirname(path_to_zip), 'cats_and_dogs_filtered')
train_dir = os.path.join(PATH, 'train')
#'/Users/mustafamuratarat/.keras/datasets/cats_and_dogs_filtered/train'
BATCH_SIZE = 32
IMG_SIZE = (160, 160)
img_gen = tf.keras.preprocessing.image.ImageDataGenerator(rescale=1./255)
gen = img_gen.flow_from_directory(train_dir, target_size=(160, 160), batch_size=32)
#<tensorflow.python.keras.preprocessing.image.DirectoryIterator at 0x7fb9fde3b250>
#gen.class_indices
#{'cats': 0, 'dogs': 1}
#gen.target_size
#(160, 160)
# gen.batch_size
# 32
# gen.num_classes
# 2
dataset = tf.data.Dataset.from_generator(
lambda: gen,
output_types = (tf.float32, tf.float32),
output_shapes = ([None, 160, 160, 3], [None, 2]),
)
#list(dataset.take(1).as_numpy_iterator())
然后您可以将dataset
对象提供给任何模型。
推荐阅读
- c - eclipse中的Watchpoint vs watch表达式
- css - ionic 4 根据所选值使离子项目透明
- r - R:如何在这个函数中使用当前函数输出
- node.js - 如何使用管理 SDK 在 Firebase 存储中设置某些存储桶?
- swift - 如何检查 iCloud 可用空间
- javascript - 从左到右滚动导航栏不是一次全部宽度问题
- java - Java8 流 - 将求和、肯定结果和平均结果的结果合并到一个步骤中
- html - Selenium 在检查元素之前找不到元素
- html - 如何使用xpath查找属性具有确切值且属性名称以给定模式开头的元素
- arrays - TypeScript 元组数组