mapreduce - Apache Crunch：如何设置多个输入路径？

Question

我有一个问题：我在使用 Apache Crunch 时无法设置多个输入路径。我怎么解决这个问题？

标签： mapreducehadoop2apache-crunch

Answer 1

您可以通过在列表中指定所有输入路径来将多个输入文件添加到 crunch。

public class Name {

public static void main(String[] args) {
    Pipeline pipeline =  new MRPipeline(Name.class, jobName, conf);
    List<Path> inputPathList = new ArrayList<>(); // Add your InputPaths here
    PCollection<String> source = From.sequenceFile(inputPathList, Text.class);
  }
}