apache-spark - 在完成的 Spark 作业中“失败”是什么意思?
问题描述
我有工作以镶木地板格式重新分区巨大的数据集,并且使用的文件系统是s3a
(S3)。
浏览 Spark UI,我偶然发现了一个任务未完成但标记为成功的工作。
不同类别的工作:i) 活动,ii) 已完成,iii) 失败。我无法推断出这个失败的工作的原因,也无法断言这是否真的是一个失败的工作,因为失败的工作还有另一个类别。
我该如何解决这种歧义?
解决方案
推荐阅读
- python - 使用套接字的烧瓶应用程序(低级接口)
- python - 如何修复 json 加载错误(json.load 不起作用)
- firebase - 在已经初始化的 firebase 项目中创建 NextJS 应用程序
- linux - ld-linux-armhf.so.2 和 ld-linux-armhf.so.3 的区别
- python - 无法回答 Python 语法挑战
- visual-studio-2019 - 在 Mac 上的 Parallels/Windows10 中使用 Visual Studio 2019 找不到参考
- python - FFMPEG 命令在以下代码中如何工作?
- c++ - 使用 Ansys Scade Suite 将 float32 转换为 char[255]
- deep-learning - 在两个特征向量上训练网络?
- angular - 从弃用的 TSlint 迁移到 ESLint 后,哪个 ESLint 样式指南最接近 TSLint?