google-cloud-platform - 使用python api根据上次修改日期字段对谷歌云存储中的blob进行排序

Question

我有一个场景，我想列出 blob，然后使用上次修改时间对其进行排序。

我正在尝试在 python api 中做到这一点。

我想执行这个脚本 n 次，并且在每次执行中我想列出 10 个文件并执行一些操作（例如复制）。我想将最后一个文件的日期保存在配置文件中，并希望在最后保存日期之后的另一个迭代中列出这些文件。需要一些建议，因为 google api 不允许我们在列出后对文件进行排序。

blobs = storage_client.list_blobs(bucket_name,prefix=prefix,max_results=10)

标签： google-cloud-platformgoogle-cloud-storage

Answer 1

我能想到的几种解决方案。

1. 每次创建文件时获取 pubsub 通知。每次读取 10 条消息或将主题数据保存到 bigquery。
2. 使用文件后，将其移动到包含元数据文件的另一个文件夹，或更新处理后的文件元数据。
3. 使用存储触发功能并将事件数据保存到数据库。
4. 如果您控制文件名和路径，则使用前缀参数将它们保存在易于查询的路径中。

我认为数据库解决方案必须灵活，它可以让您对数据进行最佳控制，并能够为您的数据创建仪表板。

更多地了解您的流程将有助于为您提供更细粒度的解决方案。