时间戳

首页 > 解决方案 > 如何在 Hadoop 中对自定义可写类型进行排序

java - 如何在 Hadoop 中对自定义可写类型进行排序

问题描述

我有一个自定义类型，其中包含 Hadoop 本机类型的字段（例如Text和IntWritable），并且需要在随机/排序阶段将其用作键和排序。有类似的问题this one和this one，但它们是关于使用本机类型的。如何与自定义类型达到同样的效果，需要满足哪些要求？

标签： javasortinghadoopmapreducehadoop2

解决方案

实现这一结果存在细微差别，有些是显而易见的，有些则不是。我将尝试用几个简短的点来解释它们：

  1. 首先，自定义类型必须实现WritableComparable而不仅仅是Writable，当然，还要定义compareTo()方法。

  2. 来自Hadoop 的非常重要的说明：权威指南：

    所有 Writable 实现都必须有一个默认构造函数，以便 MapReduce 框架可以实例化它们，然后通过调用 readFields() 填充它们的字段。

    也许最容易出错的部分是默认构造函数应该实例化该字段（如果它们未初始化），因为它们不能为空。

  3. 如果您对默认排序不满意，这一点是关于创建自定义比较器。在这种情况下，您需要创建一个新类，该类扩展WritableComparator并覆盖其compare()方法。在此之后，您有两种方法可以使用此比较器而不是默认方法：或者您将此类设置为在 Job 的setSortComparatorClass方法的帮助下使用：

    job.setSortComparatorClass(YourComparator.class)

    或在您的自定义类型的静态块中注册它：

    static {  
    WritableComparator.define(CustomType.class, new YourComparator());
}

    静态块注册原始比较器，这样每当 MapReduce 看到该类时，它就知道将原始比较器用作其默认比较器。

这是具有静态嵌套比较器的此类的示例。

推荐阅读