scala - 通过 Spark-Shell 运行时获取分区日志
问题描述
我在 EMR 集群中使用 Spark-Shell 运行我的代码。示例是:
[hadoop@<IP> ~]$ spark-shell --jars <JAR_LIST> --num-executors 72 --executor-cores 5 --executor-memory 16g --conf spark.default.parallelism=360
...
scala> val args = Array(...)
scala> org.abc.MainClass(args)
... start ... execution
现在我有类似的代码
dataFrame.foreachPartition { dataSetPartition => {
val localLogger: Logger = Logger.getLogger("PartitionLogger")
logger.info("INFO")
...
logger.error("TEST")
...
问题是我无法获取分区日志。我该如何分析。
版本:
Spark: 2.2.1
Scala: 2.11
解决方案
查看 Executors 选项卡下的 spark UI,您将看到一个包含每个 exectuor 的 stderr 和 stdout 的日志列。
推荐阅读
- javascript - React Native - 无法将正文从 onPress 传递到上下文中的操作函数
- c# - 我在我的 c# 应用程序中遇到此错误找不到 column2
- antd - 如何自定义ant design pro顶部导航
- windows - 如何通过命令提示符查看远程服务器的磁盘空间
- java - 为什么在activemq createConnection中不尊重用户名和密码
- mysql - 如何在不执行sql查询的情况下解锁mysql中的用户?
- angular - 是否有可以启用对来自外部模块的隐式类型错误的 linting 规则(或编译器检查)?
- python - 当表格不是使用 HTML 'table' 标签构造时,如何使用 selenium 从网页中提取表格?
- swift - 键盘隐藏/显示通知时 UITextView 的滚动视图问题
- python - pyinstaller、poppler 和其他依赖项