时间戳

首页 > 解决方案 > KubernetesClusterSchedulerBackend$KubernetesDriverEndpoint: - 要求删除不存在的执行器

apache-spark - KubernetesClusterSchedulerBackend$KubernetesDriverEndpoint: - 要求删除不存在的执行器

问题描述

提交 Spark 作业以在 Kubernetes 集群上运行时出现此错误。

2018-12-21 21:54:28 INFO  ExecutorPodsAllocator:54 - Going to request 1 executors from Kubernetes.
2018-12-21 21:54:29 INFO  BlockManagerMaster:54 - Removal of executor 74 requested
2018-12-21 21:54:29 INFO  KubernetesClusterSchedulerBackend$KubernetesDriverEndpoint:54 - Asked to remove non-existent executor 74
2018-12-21 21:54:29 INFO  BlockManagerMasterEndpoint:54 - Trying to remove executor 74 from BlockManagerMaster.

它只是无限期地继续下去。

executor pod 在创建后失败并被删除，因此无法恢复失败原因。有人可以帮助解决问题。

标签： apache-spark

解决方案

推荐阅读