google-cloud-platform - 从 GCP 控制台将 Pub/Sub 的自定义寡妇持续时间设置为 Cloud Storage 数据流上的文本文件

Question

我正在尝试从 GCP 控制台使用自定义窗口持续时间（例如 1 小时而不是 5 分钟（默认值））在 Cloud Storage 数据流模板上实现 Pub/Sub 到文本文件。

任何建议都会有很大帮助。谢谢你。

标签： google-cloud-platformgoogle-cloud-dataflow

Answer 1

由于已经提到过，在使用Google 提供的Dataflow模板时，无法更改与引入的运行时参数不同的管道参数，您可以考虑使用特定的Pub/Sub to Cloud Storage Text模板：

• 克隆模板源，将其集成到您自己的本地 Beam 项目中并调整所需默认参数的自定义：

   @Default.String("1h")
   String getWindowDuration();
   void setWindowDuration(String value)
  

或者

• 克隆源管道代码并在 ValueProvider接口中预定义窗口持续时间的运行时参数：

  ValueProvider<String> getWindowDuration(); void
  setWindowDuration(ValueProvider<String> value);