python - 无法将镶木地板文件读入 jupyter 笔记本

Question

我从 zeppelin 将 parquet 文件上传到 amazon s3，我想用 python 将它下载到 jupyter notebooks 中。

这是我在 scala 中的上传代码

myFile.write.parquet("s3://company/myFile")

这是我在python中的下载代码

import pandas
import pyarrow.parquet as pq
import s3fs
s3 = s3fs.S3FileSystem()

pandas_dataframe = pq.ParquetDataset('s3://company/myFile', filesystem=s3).read_pandas().to_pandas()
pandas_dataframe.to_csv("myFile.csv")

它给了我这个错误

ArrowNotImplementedError：尚不支持从 Parquet 文件中读取结构列表：key_value: list not null> not null

标签： pythonscalajupyter-notebookparquetapache-zeppelin