apache-spark - 增加 yarn-site.xml 中的 yarn.scheduler.maximum-allocation-mb 值

Question

yarn.scheduler.maximum-allocation-mb 值在 yarn-site.xml 中设置为 143360 MB。在 oozie 中运行 pyspark 作业时出现以下错误。我想增加它在 yarn-site.xml 中的值，但我无权增加它的值。

我有办法在 oozie 中设置 yarn.scheduler.maximum-allocation-mb 值吗？或将 yarn-site.xml（从服务器）复制到我的本地/hdfs 目录，增加其值，然后在 Oozie 工作流程中调用它？

错误：

Oozie Launcher 失败，主类 [org.apache.oozie.action.hadoop.SparkMain]，main() 抛出异常，所需的执行程序内存 (133120+22000 MB) 高于此集群的最大阈值 (143360 MB)！请检查 'yarn.scheduler.maximum-allocation-mb' 和/或 'yarn.nodemanager.resource.memory-mb' 的值。java.lang.IllegalArgumentException：所需的执行程序内存（133120+22000 MB）高于此集群的最大阈值（143360 MB）！请检查 'yarn.scheduler.maximum-allocation-mb' 和/或 'yarn.nodemanager.resource.memory-mb' 的值。

Oozie workflow :

 <action name="spark-node" cred="hcred">
        <spark xmlns="uri:oozie:spark-action:0.1">
            <job-tracker>${value}</job-tracker>
            <name-node>${value}</name-node>
            <configuration>
                <property>
                    <name>mapreduce.job.queue.name</name>
                    <value>${value}</value>
                </property>
            </configuration>
            <master>yarn</master>
             <mode>cluster</mode>
             <jar>xyz.py</jar>
            <spark-opts>${sparkopts}</spark-opts>
           </spark>

标签： apache-sparkmachine-learningpysparkhadoop-yarnoozie