amazon-web-services - Databricks 工作人员和 Elasticsearch 节点是否需要位于 AWS 的同一 VPC 中？

Question

我想从 Databricks 中将数据框写入 Elasticsearch。

我的 Elasticsearch 集群托管在 AWS 上，Databricks 正在启动具有特定角色的 EC2 实例。该角色有权与我的 Elasticsearch 集群进行交互，但由于某种原因，我似乎甚至无法 PING Elasticsearch 集群。

我是否需要想办法将我的 Databricks 工作人员和我的 Elasticsearch 集群压缩到同一个 VPC 中？听起来像是 CloudFormation 的噩梦。

标签： amazon-web-serviceselasticsearchdatabrickselasticsearch-hadoop

Answer 1

如果您让 ES 在另一个 VPC 中运行，那么您将需要私有链接或对等连接以确保工作人员可以访问它。为了隔离和避免您的工作人员的 IP 限制问题，最好将 ES 和 DB 保留在不同的 VPC 中。