apache-flink - Flink EMR 安装

Question

我是 flink 的新手，并试图在 EMR 集群上部署它。我使用了默认配置的 3 个节点集群（1 个主节点和 2 个从节点）。我没有做任何配置更改并坚持使用默认配置。

我很想了解以下几点：

1. 由于我没有在主节点的 conf/slaves 中提到任何 IP，所以主从如何相互通信？

2. 我可以在主节点（路径：/usr/lib/flink）中看到一个 flink 库，但在从节点中找不到 flink 库。我的代码如何在从节点上执行？

3. 如果需要，我将根据我在 conf/flink-config.yml 中的要求更改一些配置。除此之外，我是否需要在主节点或从节点上进行任何其他更改？

标签： apache-flinkamazon-emr

Answer 1

有关我们如何在 EMR 之上运行 Flink 流式作业的详细信息，请参阅在 EMR wiki 页面中运行 flink-crawler 。请注意，在这种模式下，Flink 是通过 YARN 运行的，因此conf/slaves不使用 Flink 文件。您还应该查看YARN 设置文档，以更好地了解 Flink 如何在 YARN 之上运行。