python - 是否可以从 Google Cloud Storage Objects 创建 TFRecordDataset？

Question

我正在 Google Cloud Datalab 上的 Jupyter 笔记本中测试 Tensorflow 模型。该模型设置为使用一个TFRecordDataset文件TFRecord作为输入，我被引导相信这是组织模型输入的推荐方式。我想知道是否有一些受支持的方法可以TFRecordDataset从 列表中创建它Google Cloud Storage Objects，这些方法由google.datalab.storageAPI 提供，作为访问 Google Cloud 存储桶上数据的一种方式。

编辑：我发现通过调用并将这些uris传递给似乎是可能的.uri，但我不确定这是否是推荐的方式。Storage ObjectsTFRecordDataset

标签： pythontensorflowgoogle-cloud-platformgoogle-cloud-storagegoogle-cloud-datalab

Answer 1

通常，此类任务将具有设置，其中 Google Cloud Storage 将数据（例如图像）存储在存储桶中，并且用户希望将输入转换为 tfrecord 格式以训练/微调模型（例如分类/检测）。对于这样的任务，您必须创建一个文件，其中包含有关图像路径和合适的其他信息（例如标签、bbox 等）的信息。创建该文件后，您可以遍历您的文件，并使用这些输入的 google 存储路径文件访问 GCS 数据以对其进行处理并将其保存为 tfrecord。以流行的格式（图像数据的 COCO/Pascal VOC）创建文件很有用，因为您可以使用不易出错且速度更快的预制转换脚本。例如：COCO 到 TFrecord 的转换