时间戳

首页 > 解决方案 > livy retreives 从哪里触发工作日志？

apache-spark - livy retreives 从哪里触发工作日志？

问题描述

我知道我们可以通过以下 livy rest api 检索 Spark 作业日志

 curl -X GET "http://localhost:8998/batches/1/log"

我有以下问题：

  1. 我在哪里可以在 livy 服务器或 spark 服务器上找到这些日志以进行调试？我在 livy/logs 或 spark/logs 下找不到任何日志。该文件也没有说太多相同的内容。

  2. 当批处理终止时，这些日志会发生什么？我注意到，在 livy 终止会话一段时间后，您无法使用上述 api 调用来检索有关先前提交的作业的信息。这对调试不利。

谢谢。将不胜感激任何回应！

标签： apache-sparklivy

解决方案

推荐阅读