apache-flink - 重用 Apache Beam 工作流图
问题描述
我正在使用 Apache Beam 在 Flink 上运行 Batch 管道，在 AWS EMR 上运行。
Beam Pipelines 正在创建并提交到一个长期运行的 Flink 集群。但是，我发现构建作业图并将其提交给 EMR 需要花费 2 分钟以上的时间。
我想减少这段时间，想知道是否有办法缓存/防止 Beam 在每次运行 Driver cronjob 时构建管道。
作业图有点复杂，所以 2 分钟的时间是合理的。只是在寻找减少/消除它每次发生的方法。
解决方案
推荐阅读
- html - 为什么我无法在此 HTML 文档中获取我的图像的图片？
- python - Telegram 命令在其他人启动时启动
- python - 最小欧几里得距离
- c# - C# Autoupdater.net 无法解压
- python - 在 discord.py 中获取 guild_id/member_id
- google-chrome - 为 *.localhost ('wildcard') 生成自签名证书的正确方法是什么
- c# - 带有 Faye Ruby 客户端的 AspNet SignalR Hub
- flutter - 颤振边界半径方面
- arrays - NumPy 将负值更改为零以及列中高于它的所有值
- python - 布尔表达式比较中的python优先级