首页 > 技术文章 > 20210907日报

Clark-Shao 2021-09-07 07:49 原文

HDFS

HDFS自动保存多个副本,移动计算。缺点是小文件存取占用namenode内存,写入只支持追加,不能随机修改。它存储的逻辑空间称为block,文件的权限类似linux。整体架构分三种节点,NN,SNN,DN

  • NN 负责读写操作保存metadata(Ownership Permission blockinfo)
  • SNN 负责辅助NN合并fsimage和edits,减少nn启动时间
  • DN 负责存数据,每个数据(文件)分割成若干block,每个block默认3个副本。启动后像NN发送心跳保持联系

NN保存的metadata在hdfs启动后加载到计算机内存,除block位置信息的metadata保存在OS文件系统中的fsimage文件中,对metadata的操作日志保存在OS文件系统中的edits文件中。block位置信息是hdfs启动后由DN上报NN再加载到内存的。

推荐阅读