hadoop - 为什么 HDFS 将文件拆分成块？

Question

我试图了解 HDFS 将文件拆分为块所获得的好处。

我本来希望通过并发读取多个块来提高读取性能。但是，我一直在阅读论文，说从 HDFS 读取/写入 HDFS 实际上比本地文件系统上的单个文件要慢。

HDFS 将文件拆分成块可以带来哪些性能优势？

标签： hadoophdfs

Answer 1

我一直在阅读论文，说从 HDFS 读取/写入 HDFS 实际上比本地文件系统上的单个文件要慢。

如果您可以在一台机器上读取文件，那么您不需要 Hadoop。Hadoop 是用于大型数据集的分布式处理框架。

HDFS 将文件拆分为块，因为它旨在处理太大而无法在一台机器上处理的文件。这不是要提高小文件的处理速度，而是要为您提供一种方法来处理您无法在一台机器上处理的文件。