首页 > 解决方案 > 如何从 EMR Spark 集群连接到远程 Kafka 集群?

问题描述

我正在使用托管在 EC2 实例中的自我管理的 Kafka 集群。我想通过 EMR 集群(托管在同一区域)内的 spark 作业使用来自 Kafka 的数据。

但我遇到了一个Timeout expired while fetching topic metadata例外。而且我无法从主节点内部 ping 服务器。这意味着它无法到达服务器。

kafka-source.properties: bootstrap.servers=X.X.X.X:9092

我该如何解决这个问题?

标签: amazon-web-servicesapache-kafkaamazon-emr

解决方案


推荐阅读