google-cloud-platform - 是否有用于查找特定文件类型是否存在于 Google 云存储中的传感器？

Question

我在作曲家中要求轮询任务，直到它在存储桶中找到一个 zip 文件并在满足条件后运行后续任务

我能得到的最好的是 GoogleCloudStoragePrefixSensor。但这是带前缀的，不适用于此要求。

标签： google-cloud-platformgoogle-cloud-storageairflowbucketgoogle-cloud-composer

Answer 1

如果您希望轮询，请考虑定期（按计划）列出存储桶中的文件并查看哪些以“.zip”结尾。或者，如果您愿意只接受到达的新文件，请考虑通过 PubSub 设置通知，这样当新文件到达存储桶时，会执行一个检查文件名的函数。