java - 将非常大的内容放入字符串或字符串构建器中

Question

我想获取一个非常大的 html 页面，但是当我尝试使用 jsoup 解析页面时，它报告了很多错误，因为页面太大了。

我还将此页面保存为文本文件（生成 225mb 文件），但文件太大，超出了 String 和 StringBuilder 的 2147483647 个字符限制。

我该如何处理这么大的字符串？

标签： java

Answer 1

下载文件并将其保存在本地。然后使用缓冲文件读取器逐行读取文件并进行处理。考虑到它的大小，将整个文件读入一个字符串似乎是个坏主意，而且您仍然无法有效地分析数据。