python - Pyspark 外部表压缩不起作用

Question

我正在尝试以镶木地板格式从 PySpark 保存一个外部表，我需要对其进行压缩。我使用的 PySpark 版本是 2.4.7。我在初始创建后更新表并以循环方式附加数据。

到目前为止，我已经设置了以下选项： .config("spark.sql.parquet.compression.codec", "snappy") df.write.mode("append").format("parquet").option("compression","snappy").saveAsTable(...) df.write.mode("overwrite").format("parquet").option("compression","snappy").saveAsTable(...) 还有什么我需要设置的还是我做错了什么？

谢谢

标签： pythonpysparkhiveapache-spark-sqlhiveql