apache-spark - 如何自定义日志火花节俭服务器日志

我们正在尝试使用由 spark thrift 服务器生成的日志。我们在工作中使用 EMR。目前我们可以通过 spark UI 查看这些日志。但是当集群终止时，这些日志不可用。

我们主要需要日志中的查询及其持续时间

除了 UI 之外，我们还有什么地方可以获取这些 thrift 服务器日志？或者我们可以自定义日志节俭服务器日志吗？

请帮忙

提前致谢

标签： apache-sparkapache-spark-sqlspark-thriftserver