apache-spark - Spark集群模式下如何处理日志

Question

我是 Spark 的新手。我不知道如何在 Spark 集群模式下处理日志。我在 Spark 脚本中添加了以下属性。

spark.conf.set("yarn.log-aggregation-enable","true")
spark.conf.set("yarn.nodemanager.log-dirs","HDFS_LOCATION")
spark.conf.set("yarn.nodemanager.remote-app-log-dir","HDFS_LOCATION")
spark.conf.set("spark.eventLog.enabled", "true")
spark.conf.set("spark.eventLog.dir", "HDFS_LOCATION")
spark.conf.set("spark.scheduler.mode", "FAIR")

在运行 spark-submit 时，我添加了以下选项：

--driver-java-options "-Dlog4j.debug=true -Dlog4j.configuration=$LOCATION/log4j.properties"

但我得到以下异常：

Exception in thread "main" org.apache.spark.SparkException: Application

而且我无法在 HDFS 日志位置找到任何日志。

请帮忙，因为我被代码卡住了。

标签： apache-sparkapache-spark-sqllog4jbigdatahadoop2