首页 > 技术文章 > HDFS客户端读写流程以及元数据、namenode和secondarynamenode checkpoint原理

theyang 2020-02-29 19:00 原文

1.HDFS客户端写流程

 

2.HDFS客户端读流程

 

3. 元数据

“元数据”是Namenode的一块内存空间,记录了每个文件数据块(Block)的位置信息。Namenode主要维护两个文件,一个是fsimage,一个是edits log。

edits log :主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录,HDFS客户端执行所有的写操作都会被记录到editlog中。

fsimage :保存NameNode节点中某一时刻内存中的元数据(即目录树),edits保存这一时刻之后的对元数据的更改信息。

在NameNode运行时会将内存中的元数据信息存储到所指定的文件,即$/current目录下的fsimage文件,此外还会将另外一部分对NameNode更改的日志信息存储到$/current目录下的edits文件中。fsimage文件和edits文件可以确定NameNode节点当前的状态。

 

4.Namenode和SecondaryNameNode、checkpoint原理

namenode :单一主元数据服务器,其中包含每个文件、文件位置以及这些文件及其所在的DataNode内的所有数据块的内存映射。

secondarynamenode : secondarynamenode 其实是namenode的备份,只不过secondarynamenode 在特定的时间间隔给namenode做备份

我们在hdfs-site.xml配置文件中添加SecondaryNameNode的地址:

<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadop52:50090</value>
</property>

 

以下即是checkpoint过程:

  1. 辅助Namenode请求主Namenode停止使用edits文件,暂时将新的写操作记录到一个新文件中,如edits.new。
  2. 辅助Namenode节点从主Namenode节点获取fsimage和edits文件(采用HTTP GET)
  3. 辅助Namenode将fsimage文件载入到内存,逐一执行edits文件中的操作,创建新的fsimage文件
  4. 辅助Namenode将新的fsimage文件发送回主Namenode(使用HTTP POST)
  5. 主Namenode节点将从辅助Namenode节点接收的fsimage文件替换旧的fsimage文件,用步骤1产生的edits.new文件替换旧的edits文件(即改名)。同时更新fstime文件来记录检查点执行的时间

 

推荐阅读