amazon-emr - 当我使用 zeppelin 时，Amazon EMR 集群可能停止响应

Question

我将 EMR 6.2.0 与 Spark 和 Zeppelin 与 1 个 m4.large 主实例和 2 个 m4.large 核心实例一起使用，我可以毫无问题地提交 spark 作业，但是每次我尝试使用 Zeppelin 时，我的集群都会在一段时间后停止响应时间，即使集群状态仍然是“正在运行”。

起初，我认为那是因为我正在访问 master 并为其安装了一些 PySpark 依赖项，但在我最后的测试中，我尝试使用 scala 读取 delta 表，而没有直接在 master 上安装任何东西，只需在解释器中添加 delta 依赖项配置。

这是我用来读取表格的代码：spark.readStream.format("delta").load(table_path)

当我看到 AWS EMR 控制台时，监控指标停止刷新，我无法访问任何服务，SSH 连接也不起作用，唯一的解决方案是终止集群并创建一个新的。

我不知道要搜索或调查什么，或者我的问题可能是什么。有人可以告诉我从哪里开始吗？

谢谢！

标签： amazon-emr