时间戳

首页 > 解决方案 > 多节点集群上的 Flink 与 Spark 部署模式

apache-spark - 多节点集群上的 Flink 与 Spark 部署模式

问题描述

在 Spark 中，我熟悉的三个集群（非本地）部署选项：

可能有更多的集群部署选项，但我关心这三个。以上三种都支持客户端和集群部署模式。客户端模式涉及从边缘机器本身运行的驱动程序，而集群模式涉及在集群内的一个工作节点中启动驱动程序。

现在在 Flink 方面，我只有一个节点设置的经验，这是我从一些教程中学到的，这些教程并没有真正详细说明生态系统，并且更多地关注代码而不是“也”提供大图景。因此，我正在查看Flink 中的部署选项以了解这一点。文档讨论了所有三个选项：独立、Mesos 和 YARN，但从文档中不清楚它是否支持（我们在 Spark 的行话中将其称为）客户端模式或集群模式或两者或其他模式.

这个想法是用 Flink 替换 Spark 集群。我想在执行这些步骤时了解这些步骤。文档中提供了这些步骤。这些步骤背后的基本原理要么是隐含的（足以让我无法理解），要么就是不存在。

Apache Flink 专家/贡献者的解释会有所帮助。

标签： apache-sparkapache-flink

解决方案

最近在 Flink 邮件列表上有一个关于这个话题的讨论：

（题目名称：【讨论】per-job模式的语义与实现）

https://lists.apache.org/thread.html/6c688a73b281d38670a74f05d63f2858f59da1f37bc7211640de7ca8@%3Cuser.flink.apache.org%3E

目前，来自 flink CLI 的所有作业提交都像Spark 中的客户端模式一样工作。

将来可能会提供类似于集群模式的选择加入选项（正如邮件列表中所示），特别是由于 Kubernetes 集群中的 flink 部署数量迅速增加。

推荐阅读