python - 如何为 CNN 提供 tf.data.Dataset
问题描述
我是张量流的新手。我正在尝试为猫和狗之间的二元分类运行卷积神经网络。
数据的结构是这样的:在一个名为data的目录中,有两个子目录:test和train。在每个子目录中有两个(子)子目录,称为cat和dog。
我要做的是使用 tf.data.Dataset 导入图像并运行 CNN 对它们进行分类。
按照本参考文献中建议的方法(https://towardsdatascience.com/tf-data-creating-data-input-pipelines-2913461078e2)我可以将数据导入为 Dataset 对象并将其在图像和标签之间分开(我是不确定是否正确,我只是按照上面链接中提出的方法。顺便问一下,有什么方法可以检查分离和标记过程是否正确执行?):
from glob import glob
import tensorflow as tf
IMAGE_PATH_LIST = glob('/Users/josea/Desktop/Deep_Learning/cats_dogs/training/*/*.jpg')
DATA = tf.data.Dataset.list_files(IMAGE_PATH_LIST)
def load_images(path):
image = tf.io.read_file(path)
image = tf.io.decode_image(image)
label = tf.strings.split(path, os.path.sep)[-2]
return image, label
DATA= DATA.map(load_images)
我有几个问题:首先,当我尝试运行 CNN 时(使用下面的脚本),它给出了一条错误消息“层序 4 的输入 0 与层不兼容:预期 ndim=4,发现 ndim=3。完整收到的形状:[None, 265, 3]”。
有人猜我做错了什么?此外,我想检查数据是否正确导入。有什么好的方法来评估吗?
我的 CNN 尝试如下所示:
model = Sequential()
model.add(Conv2D(64, (3,3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size = (2,2)))
model.add(Conv2D(64, (3,3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size = (2,2)))
model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dense(1))
model.add(Activation('sigmoid'))
model.compile(loss = 'binary_crossentropy', optimizer = 'adam', metrics = ['accuracy'])
model.fit(DATA)
提前致谢!
解决方案
您需要批量处理数据:
DATA= DATA.map(load_images).batch(16)
您可能会遇到错误,因为您的目标似乎是一个字符串。您可以使用这样的函数将路径转换为标签:
def load_images(path):
image = tf.io.read_file(path)
image = tf.io.decode_jpeg(image)
image = tf.image.convert_image_dtype(image, tf.float32)
image = tf.image.resize(image, (224, 224))
parts = tf.strings.split(path, os.path.sep)
bool_values = tf.equal(parts[-2], 'cats')
indices = tf.cast(bool_values, tf.int32)
return image, indices
完整示例:
import tensorflow as tf
import os
os.chdir('pictures')
files = tf.data.Dataset.list_files('*jpg')
def load_images(path):
image = tf.io.read_file(path)
image = tf.io.decode_jpeg(image)
image = tf.image.convert_image_dtype(image, tf.float32)
image = tf.image.resize(image, (224, 224))
parts = tf.strings.split(path, os.path.sep)
bool_values = tf.equal(parts[-2], 'cats')
indices = tf.cast(bool_values, tf.int32)
return image, indices
ds = files.map(load_images).batch(1)
next(iter(ds))
(<tf.Tensor: shape=(1, 224, 224, 3), dtype=float32, numpy=
array([[[[0.75831336, 0.8016107 , 0.72746104],
[0.8311225 , 0.87016815, 0.79833937],
[0.79161674, 0.8425971 , 0.77475995],
...,
[0.08725347, 0.10316982, 0.11867575],
[0.09943968, 0.1140053 , 0.1350136 ],
[0.1064626 , 0.12102822, 0.14707875]]]], dtype=float32)>,
<tf.Tensor: shape=(1,), dtype=int32, numpy=array([0])>)
推荐阅读
- java - Jersey 2 / JAX-RS 自定义协议 / 端口
- flutter - Flutter:键盘的选项卡按钮在 TextFormFields 中创建一个空间
- html - 从两侧环绕图像或形状的文本
- r - ggplot - 根据用于绘图的数据框中的变量添加标题
- unit-testing - 无法在颤振测试中加载资产
- c++ - 为什么它不更新我的函数变量?(带类的线程)
- pyspark - Pyspark F.当 X 不在 Y 中时
- azure - Azure 门户上的 SQL Server 防火墙规则 UI 似乎已损坏
- docker - GitHub Docker 操作拉取请求分支
- google-chrome-extension - LocalStorage 在我的 chrome 扩展中不起作用