java - 有效地处理不同类型的文件？

Question

我正在开发一个处理大量不同大小文件的 Java 应用程序。（例如：数百万行的文件或数百万行的单个文件）。处理这两种情况的最有效方法是什么？

标签： javaiostreamfilestream

Answer 1

处理数百万个文件的最有效方法是拥有一个快速的 SSD 驱动器。打开和关闭每个文件的成本很高，并且可能成为瓶颈。HDD 可能只允许您每秒读取约 100 个文件，无论它们有多小。

对于以千兆字节为单位的文件处理，您可能希望同时处理文件的某些部分，但具体操作方式取决于格式以及您需要对文件执行的操作。您应该能够以大约 50 - 200 MB/s 的速度读取文件，具体取决于您使用它执行的操作。