hadoop - 如何防止 hadoop 在每个运行的作业上上传相同的 jar 到暂存缓存

Question

我只是在 hadoop 中使用相同的 jar 依赖项环境运行不同的作业。在每个作业开始之前，yarn 将作业自己的 jar 文件上传到其暂存目录，女巫具有不同的作业 ID。由于属于每个作业的所有 jar 文件都是相同的，我可以告诉 hadoop 在一个公共目录下找到它们而不是再次上传它们吗？

Jar 文件上传目标目录如下：/tmp/hadoop-yarn/staging/root/.staging/job_1540620373764_0001/libjars/hadoop-common-2.8.4.jar

标签： hadoophadoop-yarn