apache-flink - 在 Yarn 上运行 Flink 1.5

Question

我们在 hadoop 2.6 集群上运行 Flink 1.5.0 Yarn 会话。./bin/yarn-session.sh -n 4 -jm 1024 -tm 4096 -qu 但是这不会启动任何任务管理器。日志说 Flink JobManager 以领导者 id 000000 开始......在 JobManager Web 界面中也没有任务管理器。当我们向这个 jobManager 提交一个 flink 作业时，一些 taskmannagers 确实会在执行该作业的 Web 界面上生成。这是从 Flink1.5.0 开始的预期行为吗？以同样的方式运行 Flink1.4.2 确实从启动时产生了任务管理器。

标签： apache-flink

Answer 1

是的，被称为FLIP-6的 Flink 运行时的改造包含在 Flink 1.5 中，它具有您注意到的效果。有关 Flink 现在如何与 YARN 交互的简洁描述，请参阅文档的这一部分。

Flink 1.5 包含一个配置选项，用于使用以前的作业部署模型，称为legacy 模式。