apache-spark - 如何在 Spark Structured Streaming 中控制输出文件的大小

Question

我们正在考虑在一个项目中使用 Spark Structured Streaming。输入和输出是 S3 存储桶上的拼花文件。是否可以以某种方式控制输出文件的大小？我们的目标是输出大小为 10-100MB 的文件。据我了解，在传统的批处理方法中，我们可以通过根据输入数据集的大小调整分区数量来确定输出文件的大小，在结构化流中是否有类似的可能？

标签： apache-sparkspark-structured-streaming

Answer 1

在 Spark 2.2 或更高版本中，最佳选项是设置spark.sql.files.maxRecordsPerFile

spark.conf.set("spark.sql.files.maxRecordsPerFile", n)

wheren被调整以反映行的平均大小。

看

• SPARK-18775 -限制每个文件写入的最大记录数。
• apache/spark@354e936187708a404c0349e3d8815a47953123ec