linux - spark 作业在客户端模式下运行，但由于权限问题而不能在集群模式下运行

Question

我正在使用 spark-sbumit 脚本文件运行我的 spark-job，如下所示

export SPARK_HOME=/local/apps/analytics/spark-2.4.1-bin-hadoop2.7
$SPARK_HOME/bin/spark-submit \
--master yarn \
--deploy-mode client\

当我以集群模式运行它时，即

--deploy-mode client\ 

它给出如下错误：

INFO yarn.Client:
         client token: N/A
         diagnostics: User class threw exception: org.apache.hadoop.security.AccessControlException: Permission denied: user=analytics, access=WRITE, inode="/tmp/hadoop-egsadmin/nm-local-dir/usercache"
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:350)

如何解决这个问题？这里有什么问题？

标签： linuxapache-sparkapache-spark-sqlspark-streaminghadoop2