首页 > 解决方案 > 从 Hadoop 的 MultipleInputs 和 MultipleOutputs 生成单个文件

问题描述

当我使用 2 个文件MultipleInputs和 2 个文件时,MultipleOutputs我得到 2 个文件作为减速器输出。如何设置仅获取 1 个单个文件作为减速器输出?唯一的可能是使用SequenceFile

MultipleInputs.addInputPath(job,  new Path(args[0]), TextInputFormat.class);
MultipleInputs.addInputPath(job,  new Path(args[1]), TextInputFormat.class);

FileOutputFormat.setOutputPath(job, new Path(args[2]));
MultipleOutputs.addNamedOutput(job, "outMin", TextOutputFormat.class, Text.class, DoubleWritable.class);
MultipleOutputs.addNamedOutput(job, "outMax", TextOutputFormat.class, Text.class, DoubleWritable.class);

标签: javahadoopmapreduce

解决方案


推荐阅读