首页 > 技术文章 > 分布式文件系统架构HDFS、FastDFS、Haystack

justblue 2020-07-26 22:26 原文

HDFS

hadoop的文件系统HDFS主要解决大数据并行计算中分布式存储的问题。面向大文件>2G,采用了分块存储的方式

FastDFS

FastDFS主要用于大中网站,为小文件上传和下载提供在线API。所以在负载均衡、动态扩容等方面都支持得比较好,FastDFS不支持文件进行分块存储,节点不具备运算功能,不支持断点续传。

FastDFS 系统中存在三种节点:Client、Tracker、Storage,

在底层存储上通过逻辑的分组概念,使得通过在同组内配置多个Storage,从而实现软RAID10,提升简单负载均衡、并发IO的性能、及数据的冗余备份;

同时通过线性的添加新的逻辑存储组,从容实现存储容量的线性扩容。

推荐阅读