python - Pyspark RDD 的最大文件大小

Question

我正在工作中在 Pyspark shell 中练习 Pyspark（独立），这对我来说很新。是否有关于我机器上的最大文件大小和 RAM（或任何其他规格）的经验法则？使用集群的时候呢？

我正在练习的文件大约有 1200 行。但我很想知道在机器规格或集群规格方面可以将多大的文件大小读入 RDD。

标签： pythonlinuxapache-sparkpyspark

Answer 1

您可以处理的数据大小没有硬性限制，但是当您的 RDD（弹性分布式数据集）大小超过 RAM 的大小时，数据将被移动到磁盘。即使在数据被移动到磁盘之后，spark 也同样能够处理它。例如，如果您的数据为 12GB，可用内存为 8GB，则 spark 会将剩余数据分发到磁盘并无缝处理所有转换/操作。话虽如此，您可以适当地处理等于磁盘大小的数据。

单个 RDD 的大小当然有大小限制，即 2GB。换句话说，一个块的最大大小不会超过 2GB。