apache-spark - spark-submit 无限运行 - 显示错误：请求删除执行程序 n - 要求删除不存在的执行程序 n+1

Question

我已经部署了一个带有一个驱动程序和 2 个执行程序的 spark 独立集群，每个执行程序都在单独的机器上运行。

每当我使用 向主服务器提交作业时spark-submit --master spark://driver_ip:7077 example/src/main/python/pi.py，它会无限运行并显示以下错误：

 BlockManagerMaster:54 - Removal of executor 50 requested
 CoarseGrainedSchedulerBackend$DriverEndpoint:54 - Asked to remove non-existent executor 50
 BlockManagerMasterEndpoint:54 - Trying to remove executor 50 from BlockManagerMaster.
 StandaloneAppClient$ClientEndpoint:54 - Executor updated: app-20181129123913-0003/52 is now RUNNING
 StandaloneAppClient$ClientEndpoint:54 - Executor updated: app-20181129123913-0003/51 is now EXITED (Command exited with code 1)
 StandaloneSchedulerBackend:54 - Executor app-20181129123913-0003/51 removed: Command exited with code 1
 StandaloneAppClient$ClientEndpoint:54 - Executor added: app-20181129123913-0003/53 on worker-20181129120029-10.0.1.101-36599 (10.0.1.101:36599) with 1 core(s)

每次数字Removal of executor递增并且程序不会结束。看起来执行者一直在拒绝工作。

谁能帮我弄清楚这个问题。

请注意，我可以看到 Spark 执行器已在 Spark Manager 的 Web UI 中注册到 Driver。

标签： apache-spark