python-3.x - 如何在 python 的 S3 中从 pandas 数据帧写入镶木地板文件

Question

我有一个熊猫数据框。我想将此数据框写入 S3 中的镶木地板文件。我需要一个相同的示例代码。我试图用谷歌搜索它。但我无法获得有效的示例代码。

标签： python-3.xamazon-s3parquet

Answer 1

供您参考，我有以下代码工作。

s3_url = 's3://bucket/folder/bucket.parquet.gzip'
df.to_parquet(s3_url, compression='gzip')

为了使用to_parquet，您需要pyarrow或被fastparquet安装。此外，请确保您在文件夹中的config和credentials文件中有正确的信息。.aws

编辑：另外，s3fs需要。见https://stackoverflow.com/a/54006942/1862909