时间戳

首页 > 解决方案 > 如何结束 Spark 提交和接受状态

apache-spark - 如何结束 Spark 提交和接受状态

问题描述

我正在使用 apache griffin 运行数据清理工作：https ://griffin.apache.org/docs/quickstart.html

并在提交火花作业后

spark-submit --class org.apache.griffin.measure.Application --master yarn --deploy-mode client --queue default \ --driver-memory 1g --executor-memory 1g --num-executors 2 \ / home/bigdata/apache-hive-2.2.0-bin/measure-0.4.0.jar \ /home/bigdata/apache-hive-2.2.0-bin/env.json /home/bigdata/apache-hive-2.2 .0-bin/dq.json

我的工作提交如下：

20/04/08 13:18:30 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：ACCEPTED）20/04/08 13:18:31 INFO yarn.Client：application_1586344612496_0247（状态：ACCEPTED）的应用报告 20/ 04/08 13:18:32 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：ACCEPTED）20/04/08 13:18:33 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：ACCEPTED）20/04/ 08 13:18:34 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：ACCEPTED）20/04/08 13:18:35 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：ACCEPTED）20/04/08 13 :18:36 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：ACCEPTED）20/04/08 13:18:37 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：ACCEPTED) 20/04/08 13:18:38 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：ACCEPTED） 20/04/08 13:18:39 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：ACCEPTED） 20/04/08 13:18:40 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：已接受）

并且永不停止：

当我检查纱线的状态时：

bigdata@dq2:~$ yarn application -status application_1586344612496_0231 20/04/08 13:16:31 INFO client.RMProxy: 在 /0.0.0.0:8032 连接到 ResourceManager 应用程序报告：应用程序 ID：application_1586344612496_0231 应用程序名称：batch_accu 应用程序-类型：SPARK 用户：大数据队列：默认开始时间：1586348775760 完成时间：0 进度：0% 状态：接受最终状态：未定义跟踪 URL：N/A RPC 端口：-1 AM 主机：N/A聚合资源分配：0 MB 秒，0 vcore 秒诊断：

工作不动，任何人都可以帮忙....

标签： apache-sparkhadoophadoop-yarn

解决方案

根据我的经验，这个问题可能有很多原因，但你应该做的第一个检查如下：

  • 您的防火墙可能会阻止 Hadoop 集群内节点之间的某些端口，因此计算永远不会启动。尝试暂时禁用专用接口的防火墙，然后再次尝试排除此问题（如果这是问题，请重新激活防火墙并确定您需要打开的端口！）
  • Spark 可能配置不正确（即资源需求）

推荐阅读