时间戳

首页 > 解决方案 > 将 pyspark stderr 从控制台写入特定目录中的日志文件

logging - 将 pyspark stderr 从控制台写入特定目录中的日志文件

问题描述

我正在使用 spark2-submit test.py 以客户端模式（本地）提交 pyspark 程序

我想将生成的所有 STDERR 写入日志文件到我想要的目录。

有没有办法做到这一点。

我知道下面会将stderr写入与程序相同的目录中的文本文件

spark2-submit something.py > results.txt 2>&1

但是有没有办法将它写入我拥有的特定日志目录？

标签： loggingpyspark

解决方案

您可以只提供 log_file 的完整路径，如下所示

spark-submit something.py >> /path/to/directory/and/log_file_name 2>&1

推荐阅读