apache-spark - 作业的 TaskCommitDenied(驱动程序拒绝任务提交):分割:,尝试次数:
问题描述
我们的火花之一在循环中连续运行(永无止境),并带有“TaskCommitDenied(驱动程序拒绝任务提交),用于作业:1985,分区:886,尝试编号:7213”错误消息。这发生在 2 个工作中(我在 sparkUi 中找到了它)。我观察到“尝试次数”非常高。
请在下面的屏幕截图中找到包含确切错误的日志。
有错误的日志文件截图:
我假设驱动程序在执行程序上异步杀死了 Fileoutputwriter,但执行程序仍在尝试完成将文件写入 hdfs 的任务。这是怎么回事?如果是,任何建议的修复?
解决方案
推荐阅读
- java - 从 JSON 数组收集数据的数组列表
- mysql - mysqldump 无法加载 libss
- spring-boot - 升级到 Spring Boot 版本 2 后 Prometheus 无法正常工作
- azure - 将存储在 DB 中的用户配置文件链接到 Azure Active Directory 帐户
- ios - 在iOS后台使用BLE开门
- java - 努力打印数组
- java - ATG-通过实用程序 java 调度程序发送电子邮件的问题
- automation - Windows Automaton - InvokePattern 阻止执行,直到一切都完成
- c# - 无法删除此列,因为它是表达式的一部分
- c# - 缩小 Xamarin.Form 实施的滞后