tensorflow - 如何从视频数据集制作数据集(首先是tensorflow)
问题描述
每个人。
现在我有一个对象分类任务,我有一个包含大量视频的数据集。在每个视频中,一些帧(不是每一帧,大约 16 万帧)都有它的标签,因为一个帧可能有多个对象。
我对创建数据集有些困惑。我的想法是首先将视频转换为帧,然后将每个仅带有标签的帧制作为 tfrecord 或 hdf5 格式。最后,我会将每一帧的路径写入 csv 文件(训练和验证)以用于我的任务。
我的问题是: 1. 是否有足够的效率(tfrecord 或 hdf5)?在创建 tfrecord 或 hdf5 文件之前,我是否应该对每一帧进行预处理(例如压缩)以节省存储空间?2.有没有办法直接在tensorflow或pytorch中处理视频数据集?
我想找到一种有效且传统的方式来处理视频数据集。真的很期待每一个答案。
解决方案
我不是 TensorFlow 的人,所以我的回答不会涵盖这一点,抱歉。
由于利用了数据中的时间相关性,视频格式通常以更长的随机访问时间为代价来获得压缩。这是有道理的,因为人们通常按顺序访问视频帧,但如果您的访问完全是随机的,我建议您转换为 hdf5。否则,如果您访问视频的子序列,则保留视频格式可能是有意义的。
PyTorch 没有任何“有福”的视频 AFAIK 方法,但我用它imageio
来阅读视频并寻找特定的帧。一个简短的包装器使其遵循 PyTorch Dataset
API。该代码相当简单,但有一个警告,这是允许将其与 multiprocessing 一起使用所必需的DataLoader
。
import imageio, torch
class VideoDataset:
def __init__(self, path):
self.path = path
# explained in __getitem__
self._reader = None
reader = imageio.get_reader(self.path, 'ffmpeg')
self._length = reader.get_length()
def __getitem__(self, ix):
# Below is a workaround to allow using `VideoDataset` with
# `torch.utils.data.DataLoader` in multiprocessing mode.
# `DataLoader` sends copies of the `VideoDataset` object across
# processes, which sometimes leads to bugs, as `imageio.Reader`
# does not support being serialized. Since our `__init__` set
# `self._reader` to None, it is safe to serialize a
# freshly-initialized `VideoDataset` and then, thanks to the if
# below, `self._reader` gets initialized independently in each
# worker thread.
if self._reader is None:
self._reader = imageio.get_reader(self.path, 'ffmpeg')
# this is a numpy ndarray in [h, w, channel] format
frame = self._reader.get_data(ix)
# PyTorch standard layout [channel, h, w]
return torch.from_numpy(frame.transpose(2, 0, 1))
def __len__(self):
return self.length
此代码可以适应支持多个视频文件以及输出您想要的标签。
推荐阅读
- google-sheets - 对不同用户的 Google 电子表格 URL 使用 SpreadsheetApp.openByUrl() 和 set()* 方法
- javascript - 用于在 Google 表格中拆分查询参数的 Google App 脚本
- visual-studio - 禁用/重新启用 xaml 设计器后,Visual Studio 2017 无法构建空白应用程序?
- python - Heroku 部署错误:没有为 anaconda-client==1.6.14 找到匹配的发行版
- javascript - 如何分别遍历嵌套数组项
- node.js - no data in mongodb after insert
- java - Java / 解析新行字符串的 ArrayList 并将它们添加到新的 ArrayList
- matlab - 在 if 语句中比较多个文件类型
- python - RuntimeError:分类器未公开“coef_”或“feature_importances_”属性
- c++ - 如何从包含 C++ 字母的文本文件中提取某些数字?