首页 > 解决方案 > 在子进程中的java应用程序中提交spark作业,子进程永远不会退出

问题描述

我试图通过在 Windows 环境中以下列方式创建一个新的子进程来向另一个 java 应用程序中的纱线集群提交一个火花作业

        String command = "spark-submit --class package.runner --master yarn-cluster example.jar";        
        p = Runtime.getRuntime().exec(command);
        p.waitFor();

然后我按命令提交了这个 java 应用程序,我检查了纱线管理器 UI,它显示 spark 作业已成功运行。但是,似乎 java 应用程序在 p.waitFor() 处被阻止,任何人都可以指出是什么问题?

标签: javaapache-sparkhadoop-yarn

解决方案


推荐阅读