apache-flink - 了解yarn环境下的TaskManager和Task slot

Question

我是 Flink 新手，没有机会阅读 Flink 源代码来了解源代码的 JobManager、TaskManager 和 Task Slot。

我一直以为TaskManager Process就像Spark的Executor Process，而JobManager就像Spark的Driver Process

但是当我查看图表时https://learning.oreilly.com/library/view/stream-processing-with/9781491974285/assets/components.png

看来我的想法是错误的？是在 YARN 容器中运行的 Task Slot 进程吗？也就是说，Task Slot 类似于 Spark 的 executor 进程。

我对 JobManager、TaskManager 和 TaskSlot 没有很好或清晰的了解

标签： apache-flink

Answer 1

Flink 文档解释了分布式运行时是如何组织的。粗略地总结一下，与 Spark 相比：

• 任务管理器：Spark Worker
• 任务槽：Spark 任务
• 应用：Spark驱动程序

至于 Flink 的 Job Manager，直到最近（Flink 1.6），它还是一个扮演许多角色的巨石。现在它已经被重构了，它仍然负责大多数与集群框架无关的集群范围的问题——这意味着诸如协调检查点和恢复以及调度之类的事情。

另请参阅此问题的答案。