apache-spark - 在没有 spark-submit 但使用 java 的情况下在 YARN 上运行 Spark
问题描述
在使用 YARN 的 HDP 2.4 Hadoop 集群中，我想知道是否可以在没有使用spark-submit --master=yarn程序的情况下运行 Java Apache Spark 程序，而是直接通过 Java 运行？（或者如果这真的是一个不好的做法）。
我的用例是有一个 Java 守护程序，它带来一个 HTTP API 来在不同的 HDP 集群上执行 Spark 作业。
解决方案
推荐阅读
- r - ggplot2 分组箱线图不会将不同时间点的组分开
- amazon-web-services - Redmine数据库yml中的AWS RDS SSL连接错误mysql2
- python - 这个模块'utils'的具体包是什么？
- haskell - 具有来自 IO 的第一个值的列表
- php - 我想从我的 php 表中提取值。我已在表格中嵌入表格，但无法使用 $_POST 获取值
- c - 运行 C 输出时拒绝访问
- javascript - 如何防范编码 URL XSS 攻击
- postgresql - org.postgresql.util.PSQLException：列索引超出范围
- java - 我没有错误，但我的应用程序不断关闭
- python - 使用 Selenium webdriver.Chrome 导致 PermissionError: [WinError 5] Access is denied