时间戳

首页 > 解决方案 > AWS EMR Livy 会话状态已终止

amazon-web-services - AWS EMR Livy 会话状态已终止

问题描述

我将 EMR 与 livy 一起使用，但 Livy 杀死了一些会话，有没有办法等待其他任务完成而不是杀死这些会话？谢谢，

以下是这些杀戮会话的输出：

警告：忽略非火花配置属性：maximizeResourceAllocation=true 19/04/23 12:07:11 WARN SparkConf：配置键 'spark.yarn.executor.memoryOverhead' 自 Spark 2.3 起已被弃用，可能会在未来。请改用新密钥“spark.executor.memoryOverhead”。19/04/23 12:07:11 WARN SparkConf：从 Spark 2.3 开始，配置键“spark.scheduler.listenerbus.eventqueue.size”已被弃用，将来可能会被删除。请改用新密钥“spark.scheduler.listenerbus.eventqueue.capacity”。19/04/23 12:07:11 WARN NativeCodeLoader：无法为您的平台加载 native-hadoop 库......在适用的情况下使用内置 java 类 19/04/23 12:07:12 INFO RMProxy：连接到 ResourceManager 在ip-172-18-29-18.ec2.internal/172.18.29.18：8032 19/04/23 12:07:13 INFO 客户端：使用 4 个 NodeManager 从集群请求新应用程序 19/04/23 12:07:13 INFO 客户端：验证我们的应用程序请求的内存容量不超过集群（每个容器 491520 MB） 19/04/23 12:07:13 INFO 客户端：将分配 AM 容器，具有 22000 MB 内存，包括 2000 MB 开销 19/04/23 12:07:13 INFO 客户端：设置容器启动我们的 AM 的上下文 19/04/23 12:07:13 INFO 客户端：为我们的 AM 容器设置启动环境 19/04/23 12:07:13 INFO 客户端：为我们的 AM 容器准备资源 19/04/23 12:07:14 警告客户端：spark.yarn.jars 和 spark.yarn.archive 均未设置，回退到上传 SPARK_HOME 下的库。19/04/23 12:07:16 INFO 客户端：上传资源文件：spark_libs__3546840914405417444.zip -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/__spark_libs__3546840914405417444.zip 19/04/2 客户端：3上传资源文件：/usr/lib/livy/rsc-jars/netty-all-4.0.37.Final.jar -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/ livy/.sparkStaging/application_1556020828433_0008/netty-all-4.0.37.Final.jar 19/04/23 12:07:17 INFO 客户端：上传资源文件：/usr/lib/livy/rsc-jars/livy-rsc- 0.5.0-incubating.jar -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/livy-rsc-0.5.0-incubating.jar 19 /04/23 12:07:17 INFO 客户端：上传资源文件：/usr/lib/livy/rsc-jars/livy-api-0.5.0-incubating.jar -> hdfs://ip-172-18- 29-18.ec2.internal:8020/user/livy/。sparkStaging/application_1556020828433_0008/livy-api-0.5.0-incubating.jar 19/04/23 12:07:17 INFO 客户端：上传资源文件：/usr/lib/livy/repl_2.11-jars/livy-core_2.11 -0.5.0-incubating.jar -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/livy-core_2.11-0.5.0-incubating .jar 19/04/23 12:07:17 INFO 客户端：上传资源文件：/usr/lib/livy/repl_2.11-jars/livy-repl_2.11-0.5.0-incubating.jar -> hdfs:/ /ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/livy-repl_2.11-0.5.0-incubating.jar 19/04/23 12:07:17 信息客户端：上传资源文件：/usr/lib/livy/repl_2.11-jars/commons-codec-1.9.jar -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/ livy/.sparkStaging/application_1556020828433_0008/commons-codec-1.9.jar 19/04/23 12:07:17 信息客户端：上传资源文件：/etc/spark/conf/hive-site.xml -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/hive-site .xml 19/04/23 12:07:17 INFO 客户端：上传资源文件：/usr/lib/spark/R/lib/sparkr.zip#sparkr -> hdfs://ip-172-18-29-18 .ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/sparkr.zip 19/04/23 12:07:17 INFO 客户端：上传资源文件：/usr/lib/spark/python/lib/pyspark.zip -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging/application_1556020828433_0008/pyspark.zip 19/04/23 12:07:17 INFO 客户端：上传资源文件:/usr/lib/spark/python/lib/py4j-0.10.7-src.zip -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/.sparkStaging/ application_1556020828433_0008/py4j-0.10.7-src.zip 19/04/23 12:07:17 信息客户端：上传资源文件：/mnt/tmp/spark-9e521492-1bdf-4115-a0d1-d3c278f7058f/__spark_conf__8433272661836653995.zip -> hdfs://ip-172-18-29-18.ec2.internal:8020/user/livy/ .sparkStaging/application_1556020828433_0008/__spark_conf.zip 19/04/23 12:07:17 INFO SecurityManager：将视图 acls 更改为：livy 19/04/23 12:07:17 INFO SecurityManager：将修改 acls 更改为：livy 19/04/23 12:07:17 INFO SecurityManager：将视图 acls 组更改为：19/04/23 12:07:17 INFO SecurityManager：将修改 acls 组更改为：19/04/23 12:07:17 INFO SecurityManager：SecurityManager：身份验证已禁用；ui acls 禁用；具有查看权限的用户：Set(livy)；具有查看权限的组：Set()；具有修改权限的用户：Set(livy)；具有修改权限的组：Set() 19/04/23 12:07:17 INFO Client：提交应用程序 application_1556020828433_0008 到 ResourceManager 19/04/23 12:07:17 INFO YarnClientImpl：提交的应用程序 application_1556020828433_0008 19/04/23 12:07 :17 INFO 客户端：application_1556020828433_0008 的申请报告（状态：接受）19/04/23 12:07:17 信息客户端：客户端令牌：N/A 诊断：[Tue Apr 23 12:07:17 +0000 2019] 应用程序已激活，等待为 AM 分配资源。详细信息：AM 分区 = ; 分区资源 = ; 队列的绝对容量 = 100.0 % ; 队列的绝对使用容量 = 93.24219 % ; 队列的绝对最大容量 = 100.0 % ; ApplicationMaster 主机：N/A ApplicationMaster RPC 端口：-1 队列：默认开始时间：1556021237796 最终状态：未定义跟踪 URL：s 绝对使用容量 = 93.24219 %；队列的绝对最大容量 = 100.0 % ; ApplicationMaster 主机：N/A ApplicationMaster RPC 端口：-1 队列：默认开始时间：1556021237796 最终状态：未定义跟踪 URL：s 绝对使用容量 = 93.24219 %；队列的绝对最大容量 = 100.0 % ; ApplicationMaster 主机：N/A ApplicationMaster RPC 端口：-1 队列：默认开始时间：1556021237796 最终状态：未定义跟踪 URL：http://ip-172-18-29-18.ec2.internal:20888/proxy/application_1556020828433_0008/ 用户：livy 19/04/23 12:07:17 INFO ShutdownHookManager：称为 19/04/23 12 的关闭挂钩： 07:17 INFO ShutdownHookManager：删除目录/mnt/tmp/spark-a5a3a313-9040-4c1c-b2d2-f51fd429064b 19/04/23 12:07:17 INFO ShutdownHookManager：删除目录/mnt/tmp/spark-9e521492-1bdf- 4115-a0d1-d3c278f7058f

块引用

YARN 诊断应用程序 application_1556020828433_0008 在 172.18.29.18 被用户 livy 杀死

标签： amazon-web-servicesapache-sparklivy

解决方案

livy.server.session.timeout 值到期后，非活动会话将被终止。

使用以下属性在 livy.conf 中设置以配置会话超时

# Enabled to check whether timeout Livy sessions should be stopped.
# livy.server.session.timeout-check = true

# Time in milliseconds on how long Livy will wait before timing out an idle session.
# livy.server.session.timeout = 1h
#
# How long a finished session state should be kept in LivyServer for query.
# livy.server.session.state-retain.sec = 600s

推荐阅读