CarbonData-1：common

　　最近公司需要对CarbonData进一步应用，或许封装进产品，或许是为了解析CarbonData元数据，于是开始预研CarbonData，下面将保持每天一篇以上的阅读CarbonData源码博客，由于自己基础薄弱，会记录自己所有觉得有价值的点，内容或旁杂或简单，海涵。

　　阅读方式以example或test类为入口，后期熟悉整体项目后将走完整流程，并与parquet进行对比。

　　源码整体结构如下：

　　第一篇 common package

一：首先浏览Test类LoggingServiceTest_FT，主要是carbon对日志服务进行了一些定制，在这里我看到了MDC, MDC（Mapped Diagnostic Context，映射调试上下文）是 log4j 和 logback 提供的一种方便在多线程条件下记录日志的功能。即用户个体的行为日志是不完整的，多用户多线程的情况下，打印出来的日志会参杂断续，比如:

2018-12-15 00:00:00 did something (userA)

2018-12-15 00:00:01 did something (userB )

2018-12-15 00:00:02 did something (userA)

除非用户自己定义将用户姓名打印到日志中，否则很难维护整个项目全量的日志，MDC的作用就是一个map映射，根据kye去取出相应的value。

然后是对日志的封装：

在MDC内部实现中有ThreadLocalMap，之前就听说过这个是为了让多线程中每个线程都有自己的变量副本，不受其他线程的影响。实现方式也是一个Map，只是这里的kye非常特殊，是线程本身，value就是复制的变量值。今天点进去发现ThreadLocalMap继承inheritableThreadLocal，这个类的作用正如其名，inheritable父进程的value值，也就是说在某个线程中，new了一个新的线程，该线程在原map中是没有的，所以返回是null，但是有了这个类，就使得它拥有和父进程一样的value。

Hashtable ht = (Hashtable)((ThreadLocalMap)this.tlm).get();

public final class ThreadLocalMap extends InheritableThreadLocal {
    public ThreadLocalMap() {
    }

    public final Object childValue(Object parentValue) {
        Hashtable ht = (Hashtable)parentValue;
        return ht != null ? ht.clone() : null;
    }
}

二：LogServiceFactoryTest_UT，主要是定义了一个final standardLogService，即日志标准类，对日志的开发定义规范，部门也可以借鉴，现在各个系统，系统内部的日志格式都不统一，一个是存在无法快速定位问题，第二个是无法对接外部日志系统。

测试类就这两个，接下去整体看下所有类

三：

annotations,自定义注解；

LoggerAction 是对badrecord的处理枚举，badrecord发生在Data Load之后，即数据load失败，如数据的列与目的表的列数不一致，就会出现bad，处理的当时就在这个枚举中定义，目前有四种，如将错误数据转换为null，或者不做处理直接写入，或者不写入，最后一种是当出现bad，整个data load失败。 badrecord会存在一个指定目录下 CarbonProperties.getInstance().addProperty("carbon.badRecords.location","hdfs://master:9000/data/carbondata/badrecords/")。

标准日志输出，StandardLogService 如设置日志开头，打印Thread.name,partitionId、hostName、UserName（Hadoop-common包中）

CarbonIterator,implements Iterator 作用是去除了Iterator的remove方法，并且定义了其他的abstract方法，改变各类的遍历方式

Maps，对map中的null定义了default value

Stings 为Scala增加了mkString方法

Common Package结束

CarbonData-1：common

推荐阅读