时间戳

首页 > 解决方案 > 火花停止后，阿兹卡班的工作没有完成

apache-spark - 火花停止后，阿兹卡班的工作没有完成

问题描述

我使用 azkaban 运行 spark 作业，在我使用 com.lucidworks.spark SparkSupport 更改以索引到 solr 后，azkaban 中的作业没有完成。

更改前的最后日志行：

22-04-2021 15:08:57 CEST indexer INFO - zkClient has connected
22-04-2021 15:08:57 CEST indexer INFO - Updated live nodes from ZooKeeper... (0) -> (2)
22-04-2021 15:08:57 CEST indexer INFO - Cluster at x.x.x.x,x.x.x.x,x.x.x.x ready
22-04-2021 15:08:57 CEST indexer INFO - EventThread shut down
22-04-2021 15:08:57 CEST indexer INFO - Stopped Spark@5626d18c{HTTP/1.1,[http/1.1]}{0.0.0.0:4040}
22-04-2021 15:08:58 CEST indexer INFO - Process completed successfully in 443 seconds.
22-04-2021 15:08:58 CEST indexer INFO - output properties file=/home/spark/azkaban-solo-server-3.48.0-4-g9a42cb20/executions/2324/importer2/indexer_output_1529571608051881978_tmp
22-04-2021 15:08:58 CEST indexer INFO - Finishing job indexer at 1619096938782 with status SUCCEEDED

更改后的最后一个日志行：

26-04-2021 11:17:11 CEST indexer INFO - zkClient has connected
26-04-2021 11:17:11 CEST indexer INFO - Updated live nodes from ZooKeeper... (0) -> (2)
26-04-2021 11:17:11 CEST indexer INFO - Cluster at x.x.x.x ready
26-04-2021 11:17:14 CEST indexer INFO - Opened connection [connectionId{localValue:6, serverValue:8963484}] to 195.201.220.241:27017
26-04-2021 11:17:22 CEST indexer INFO - Stopped Spark@45e9b12d{HTTP/1.1,[http/1.1]}{0.0.0.0:4041}

火花作业已完成并完全完成，我在 spark-master UI 中看到，但在 azkaban 中，该进程仍然存在，仅被调度最大运行时间杀死。我不知道为什么，你能帮帮我吗？

谢谢

标签： apache-sparkazkaban

解决方案

推荐阅读