apache-spark - Spark shuffle 因 AccessDenied 异常而失败
问题描述
我在集群上运行 Apache Spark 流作业：
spark.master yarn
spark.submit.deployMode cluster
spark.shuffle.service.enabled true
spark.dynamicAllocation.enabled true
但它失败并导致：java.nio.file.AccessDeniedException：/tmp/hadoop-hadoop/nm-local-dir/usercache/hadoop/appcache/application_1590438937007_0020/blockmgr-ff867859- 36d0-4db7-8243-bfabfb3bd40d/0d/shuffle_0_3_0.index。我以hadoop用户身份运行它。我不明白为什么创建该文件的进程无法读取（或修改）它
解决方案
推荐阅读
- swift - 使用多种单元格类型重构 TableView
- java - 在 Android 上动画约束布局更改的最佳方式
- python - 如何使用多个嵌套的 for 循环加速 python 2 程序
- ms-access - 如何在不丢失setfocus的情况下将光标设置到文本框的末尾？
- c# - 在 C# 中使用接口实例化类
- python - 如何将对象实例移动到另一个类？
- java - 使用 Java Streams 和 Scanners 时出现意外行为
- azure - 诊断 Azure 事件网格中的故障？
- php - 如何在 cPanel 上运行 CRON 作业？
- javascript - NPM 全局安装失败