hadoop - `hadoop jar` 会在 NameNode 或 DataNode 上执行吗?
问题描述
当我提交 hadoop jar 命令以运行没有任何 MR 代码的简单 jar 时,我有一个问题,hadoop jar 命令是在边缘节点(名称节点或主节点)上运行 jar 还是选择数据节点作为类似于 Oozie 的执行器?还是我需要使用 hadoop-streaming jar 来运行 java jar 应用程序?
hadoop jar /home/bin/myjar-1.0-SNAPSHOT-jar-with-dependencies.jar com.test.ImpalaJdbcConnectionTest
解决方案
如果您的 Java 程序没有实例化YarnClient
,并且YarnClient
没有Application
在 YARN 中创建 ,那么它就像您简单地调用 一样运行java -jar <your-jar-file>
,即在您执行它的节点上本地运行。
推荐阅读
- pine-script - 是否有基于时间选择蜡烛的内置功能?
- reactjs - 从前端服务器重定向到后端服务器
- java - 如何在 java 中使用 utf-8 字符串而不分配新的 String 对象,而是作为字节数组的一部分?
- cmake - CMake 无法编译“针对符号重定位 R_X86_64_PC32”
- security - 如何管理智能家居的服务帐户密钥 json 文件
- java - 在 Java 中创建哈希
- python - 从烧瓶中动态创建的文件夹中渲染模板
- c++ - 如何在主线程和库回调之间共享互斥锁?
- asp.net - 如何从母版页上的用户控件访问母版页中定义的数据集?
- react-native - 使用嵌套导航器时,initialRouteName 无法正常工作