apache-spark - 一个 livy 会话在头节点内存中维护多长时间？

Question

将工作发布到 livy 后，它会为其创建一个会话。然后 spark-submit，将作业提交给 yarn，然后 yarn 执行作业。直到什么时候会话由 livy in memory 维护？直到提交给纱线还是直到它的执行由纱线完成？

标签： apache-sparkhadoop-yarnlivy

Answer 1

基本上它取决于您通过的设置。

非活动会话将在之后停止livy.server.session.timeout

查看这些属性以在 livy.conf 中设置

# Enabled to check whether timeout Livy sessions should be stopped.
# livy.server.session.timeout-check = true

# Time in milliseconds on how long Livy will wait before timing out an idle session.
# livy.server.session.timeout = 1h
#
# How long a finished session state should be kept in LivyServer for query.
# livy.server.session.state-retain.sec = 600s