amazon-web-services - EMR 上的 Flink JobManager HA

Question

堆栈 EMR：emr-6.1.0（1 个主节点，4 个核心节点） EMR 安装的应用程序：FLINK 1.11.0

AWS 文档说（https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-configure.html）：

Beginning with Amazon EMR version 5.28.0, JobManager high availability is also enabled automatically. No manual configuration is needed.

但是当我向 Flink jobmanager 发送终止信号yarn container -signal container_1601027657994_0003_01_000001 GRACEFUL_SHUTDOWN（与FORCEFUL_SHUTDOWN）纱线容器相同时，没有任何反应。Yarn 不会重新启动应用程序。

1. 我还需要启用 EMR Zookeeper 吗？（很可能是的，否则，我不明白 flink 将如何理解从哪个保存点重新启动应用程序）。
2. 我是否应该使用具有 3 个主节点的 EMR 集群来为 Flink 提供 HA？

标签： amazon-web-servicesapache-flinkamazon-emrhigh-availability

Answer 1

是的，要拥有 JobManager HA，您需要拥有一个具有 3 个主节点的 EMR，然后 emr 会自动将故障转移配置添加到flink-conf.yaml（使用 EMR 6.1.0 测试）