分割:,尝试次数:,apache-spark,apache-spark-sql"/>

首页 > 解决方案 > 作业的 TaskCommitDenied(驱动程序拒绝任务提交):分割:,尝试次数:

问题描述

我们的火花之一在循环中连续运行(永无止境),并带有“TaskCommitDenied(驱动程序拒绝任务提交),用于作业:1985,分区:886,尝试编号:7213”错误消息。这发生在 2 个工作中(我在 sparkUi 中找到了它)。我观察到“尝试次数”非常高。

请在下面的屏幕截图中找到包含确切错误的日志。

有错误的日志文件截图:

有错误的日志文件截图

我假设驱动程序在执行程序上异步杀死了 Fileoutputwriter,但执行程序仍在尝试完成将文件写入 hdfs 的任务。这是怎么回事?如果是,任何建议的修复?

标签: apache-sparkapache-spark-sql

解决方案


推荐阅读