python - Pyspark - dataframe..write - AttributeError：'NoneType'对象没有属性'mode'

Question

我正在尝试使用 pyspark 将 csv 文件转换为镶木地板。

parquet_file = s3://bucket-name/prefix/

parquet_df.write.format("parquet").option("compression", "gzip").save(parquet_file).mode(SaveMode.Overwrite)

我正在尝试覆盖镶木地板文件，但出现以下错误。能否请你帮忙。

发生错误 - 'NoneType' 对象没有属性 'mode'

回溯（最后一次调用）：文件“/tmp/ma-test-csv-to-parquet-glue-job-2”，第 173 行，结果 = write_to_parquet(nn_df1) 文件“/tmp/ma-test-csv -to-parquet-glue-job-2"，第 147 行，在 write_to_parquet parquet_df.write.format("parquet").option("compression", "gzip").save(parquet_file).mode(SaveMode.Overwrite) AttributeError：“NoneType”对象没有属性“模式”

标签： pythonpysparkapache-spark-sqlpyspark-dataframesaws-glue-spark

Answer 1

写入模式应指定为DataFrameWriternot after save（不返回任何“None”，因此返回错误消息）：

parquet_df.write.mode(SaveMode.Overwrite).format("parquet").option("compression","gzip").save(parquet_file)