时间戳

首页 > 解决方案 > Yarn ApplicationMaster 日志位置

apache-spark - Yarn ApplicationMaster 日志位置

问题描述

我在 Cloudera 上使用 Spark 启用了 Yarn Log 聚合，但是当 spark 作业失败时，我运行

yarn logs -applicaitonId <id>

或者

yarn logs -applicationId <id> -am ALL

我得到的只是工作登录stderr

但是在纱线故障诊断线中，我设法看到

Diagnostics:    User class threw exception: java.lang.reflect.InvocationTargetException

棘手的部分是我在任何地方都找不到这个异常，包括/var/log/hadoop-yarn每台机器上的日志文件夹位置。

我需要此异常详细信息，以便了解缺少哪个 Jar 或 spark 环境设置到底出了什么问题。

有什么想法可以找到这个日志位置吗？我在以下日志中发现了一些类似的问题：

17/08/16 02:28:06 ERROR yarn.ApplicationMaster: User class threw exception: java.lang.reflect.InvocationTargetException

java.lang.reflect.InvocationTargetException

            at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

            at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)

            at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

            at java.lang.reflect.Constructor.newInstance(Constructor.java:423)

因此，我试图定位 ApplicationMaster 日志位置，这可能与我们通常在容器日志上所做的不同。

标签： apache-sparkhadoop-yarn

解决方案

推荐阅读