spotify-scio - 使用 SCIO 将 pubsub 数据导出到对象存储

Question

我正在尝试将 Cloud Pub/Sub 流导出到 Cloud Storage，如 Spotify 的这篇文章所述可靠地将 Cloud Pub/Sub 流导出到 Cloud Storage或 Google 的这篇文章使用 Cloud Pub/Sub、Cloud 简单备份和重播流事件存储和云数据流

PubSub 创建有界PCollection（或SCollection在 SCIO 中）但saveastextfile需要BoundedCollection.

有什么办法可以克服这个吗？

标签： spotify-scio

Answer 1

新的动态 IO模块应该支持将无限集合保存到文件。

但是请注意，该 Spotify 文章中的方法不使用 Dataflow，因为它有很多出于 SLA/bucketing/可靠性原因的自定义逻辑。所以YMMV。