python - 无法在 AWS EMR 上使用 PySpark Dataframe 保存 CSV 文件

Question

我想用 gzip 压缩保存一个 CSV 文件。代码成功运行，但它静默失败 -即我看到提供的路径上没有文件。

我尝试读取应该成功保存的文件，但是运行命令后我得到的是“找不到这样的文件” file -i <path_to_the_file>。

我编写 csv 文件的代码是：

>>> df
DataFrame[id: int, name: string, alignment: string, gender: string, eyecolor: string, race: string, haircolor: string, publisher: string, skincolor: string, height: int, weight: int, _paseena_row_number_: bigint, _paseena_timestamp_: timestamp, _paseena_commit_id_: string]
>>> df.write.csv('check_csv_post_so.csv')
>>>

现在，当我检查时，不存在文件。

我会使用一些 dfs 未知的方法，但问题是，我在其他机器上使用过 spark 并没有发现这样的问题。

我希望文件存在或代码失败并显示错误。

标签： pythoncsvapache-sparkpysparkamazon-emr

Answer 1

我认为文件存储在 HDFS 上。尝试使用file://或保存文件s3://。或用于hdfs dfs -ls查看文件是否存在。