java - 如何在使用 Spark Submit 时提交 args?
问题描述
我在使用 spark-submit 方面需要帮助。
./bin/spark-submit --master spark://127.0.0.1:7077 --class Main --jars jars/test.jar firstArgs secondArgs
这是我的 spark 命令,用于启动 spark-submit 并运行我的 test.jar Main 方法。
我的 test.jar 是带有示例代码的 java 文件,例如
public class Main {
public static void main(String[] args) {
System.out.println("Hello World, Im testing my patience");
System.out.println("TEST ! : " + args[0]);
System.out.println("TESTEST ! : " + args[1]);
}
}
这个。
所以我理想的结果应该是
测试 !: firstArgs 测试!:第二个参数
但是,相反,我得到
DependencyUtils: Local jar /home/me/server/spark-3.1.1-bin-hadoop3.2/firstArgs
好像当我输入我的应用程序参数时
~~ --jars jars/test.jar firstArg secondArg
spark-submit 尝试将 firstArg 作为 jar 文件而不是作为参数:(
如何修复我的命令行以使其正确解析我的 firstArg 和 secondArg ?
我已经尝试查看有关如何使用 --application-arguments 的帖子,但所有示例代码看起来与我的没有任何不同。(至少在我看来)我似乎无法在命令行中找到问题所在。请帮我 :(
解决方案
如果你通过这个 https://spark.apache.org/docs/latest/submitting-applications.html
spark-submit 的最后一个参数是jar
(不带--jars
),然后后面的所有内容都是您的程序的参数。
尝试:
./bin/spark-submit --master spark://127.0.0.1:7077 --class Main jars/test.jar firstArgs secondArgs
推荐阅读
- yocto - 更新 bitbake 文件后,旧版本的库包含在图像中
- go - 像'\u7cfb'这样的多个unicode与普通字符串混合,如何转换为普通文本
- node.js - 针对意外错误的 Angular 常规错误处理
- sql - 包含子组的总计
- python - 使用python在多行中查找交点
- sql-server - SQLEXPRESS 连接字符串失败:错误 4060
- c# - 实体框架:外国实体不要求外国实体实际存在实体存在
- javascript - 使用动态键名设置对象状态的最佳方法?- 反应js
- python - 将axes.table多索引划分为不同的列
- android - 模拟和存根 System.getProperty ,Mockito 无法模拟/监视,因为“最终”类