apache-spark - Spark：如何读取镶木地板

Question

一个问题是为了了解 spark 是如何工作的。当您使用：

spark.read.parquet(sourcePath).{transformation}.{action}

如何读取镶木地板文件？它是在驱动程序上完成，然后分派给每个执行者吗？还是每个文件都发送给负责读取的执行程序？

如果 parquet 被快速压缩，解压缩在哪里以及如何完成？

我想知道镶木地板文件在被读取后是否会留在驱动程序内存中。

标签： apache-sparkdriverparquetsnappy