HDFS
HDFS自动保存多个副本,移动计算。缺点是小文件存取占用namenode内存,写入只支持追加,不能随机修改。它存储的逻辑空间称为block,文件的权限类似linux。整体架构分三种节点,NN,SNN,DN
- NN 负责读写操作保存metadata(Ownership Permission blockinfo)
- SNN 负责辅助NN合并fsimage和edits,减少nn启动时间
- DN 负责存数据,每个数据(文件)分割成若干block,每个block默认3个副本。启动后像NN发送心跳保持联系
NN保存的metadata在hdfs启动后加载到计算机内存,除block位置信息的metadata保存在OS文件系统中的fsimage文件中,对metadata的操作日志保存在OS文件系统中的edits文件中。block位置信息是hdfs启动后由DN上报NN再加载到内存的。