apache-beam - 在多个运行器（服务器）上运行 ApacheBeam Pipeline

Question

我已经编写了一个完全工作的基于 apacheBeam 的管道，并使用直接运行器在本地对其进行了测试。但是，我想知道是否可以在多台服务器上运行此管道？我看到 ApacheBeam 通常在具有自动缩放功能的 GCP 上运行。但是我想定义一组私有服务器作为我的运行器来运行我的管道。

任何指针或建议将不胜感激。

ps：这里是apache beam的文档：https ://beam.apache.org/releases/pydoc/2.20.0/_modules/apache_beam/options/pipeline_options.html

标签： apache-beamapache-beam-io

Answer 1

您可以在Flink等 OSS 运行器上以分布式方式运行 Beam 管道。请参阅兼容性矩阵中支持的一组跑步者。