首页 > 解决方案 > 在完成的 Spark 作业中“失败”是什么意思?

问题描述

我有工作以镶木地板格式重新分区巨大的数据集,并且使用的文件系统是s3a(S3)。

浏览 Spark UI,我偶然发现了一个任务未完成但标记为成功的工作。

不同类别的工作:i) 活动,ii) 已完成,iii) 失败。我无法推断出这个失败的工作的原因,也无法断言这是否真的是一个失败的工作,因为失败的工作还有另一个类别。

在此处输入图像描述

我该如何解决这种歧义?

标签: apache-sparkpyspark

解决方案


推荐阅读