java - 如何在 MapReduce 中将信息从一个 reducer 传递到另一个 reducer

Question

我有两个映射器和两个减速器（1 和 2）。我的驱动程序类运行两个作业，它们接受两个不同的输入文件并输出两个不同的输出文件（同样，1 和 2）。所以job1关联了inputfile1、outputfile1、map1和reduce1；对于job2也是如此。

Reduce1 使用 context.write 输出形式为 (id, number) 的数据。我的目标是在 Reduce2 中访问这些键值对，但我不知道如何。我尝试在 reduce1 中执行 conf.setInt，但这些值没有传递到 reduce2，因为我在执行 conf.getInt 时没有得到它们。

标签： javahadoopmapreduce

Answer 1

回到这一点，根据我的经验，您将输出写入一个路径，然后以该路径作为输入运行另一个作业......

waitForCompletion理论上，如果在第一个 Job 的方法之后添加更多代码，则可以在一个程序中创建两个Job