hadoop - 在 Spring 云数据中运行 MapReduce Jar

Question

我需要在 spring 云数据流中运行一个 mapreduce spring boot 应用程序。通常在 scdf 中注册的应用程序使用“java -jar jar-name”命令执行。但是我的程序是一个mapreduce，它必须使用“hadoop jar jar-name”来执行。我该如何做到这一点？在 scdf 中运行 mapreduce 应用程序的更好方法是什么？是否可以直接注册 mapreduce 应用程序？

我正在使用本地数据流服务器来注册应用程序。

标签： hadoopmapreducehadoop2spring-cloud-streamspring-cloud-dataflow

Answer 1

在 SCDF 中，运行 JAR 文件的命令格式由部署者管理。例如，有本地部署者。Cloud Foundry 等......有/曾经有 Hadoop/YARN，但我相信它已经停产了。鉴于部署器本身是一个 SPI，您可以轻松实现自己的，甚至分叉/扩展本地部署器并只修改需要的内容。