时间戳

首页 > 解决方案 > 带有列表作为单个键值的 oozie 属性文件

apache-spark - 带有列表作为单个键值的 oozie 属性文件

问题描述

我有一个 spark 应用程序，我使用命令运行

/usr/hdp/spark2-client/bin/spark-submit \
  --name 'App' \
  --class 'someFolder.SomeApp \
  --master "yarn" \
  --deploy-mode "cluster" \
  --num-executors 4 \
  --executor-cores 3 \
  --executor-memory 4g \
  --conf spark.sql.shuffle.partitions=10 \
  --conf spark.default.parallelism=10 \
  --files 'hdfs:///file1','hdfs:///file2' \
  'assembly-0.25.0-3-ge05360d.jar' \
  'param1' 'param2'

但现在我想在 oozie 中运行它。我的问题是-如何在文件中表示诸如--files文件列表之类的参数job.properties？

标签： apache-sparkoozie

解决方案

如果你通过 oozie action shell 运行，那么：

<file>hdfs:///file1#file1</file>
<file>hdfs:///file2#file2</file>

推荐阅读