时间戳

首页 > 解决方案 > 使用 gzip 压缩将 pandas df 保存到类似文件的对象中

python - 使用 gzip 压缩将 pandas df 保存到类似文件的对象中

问题描述

我正在尝试将 pandas DF 保存到内存中json_buffer，并使用以下代码将文件加载到 S3：

json_buffer = StringIO()
df.to_json(json_buffer, orient='records', date_format='iso', compression='gzip')
json_file_name = file_to_load.split(".")[0] + ".json"
s3_conn.put_object(Body=json_buffer.getvalue(), Bucket=s3_bucket, Key=f"{target_path}{json_file_name}")

当我尝试应用压缩时，出现此错误：

RuntimeWarning: compression has no effect when passing a non-binary object as input.\

如何仍然应用压缩并将 JSON 文件保存到具有 .gz 压缩的 S3？

谢谢！

标签： pythonjsonpandasgzipstringio

解决方案

让它工作，我将分享我如何使用BytesIO和gzip：

json_buffer = BytesIO()

with gzip.GzipFile(mode='w', fileobj=json_buffer) as gz_file:
  df.to_json(gz_file, orient='records', date_format='iso')

json_file_name = file_to_load.split(".")[0] + ".json.gz"
s3_conn.put_object(Body=json_buffer.getvalue(), Bucket=s3_bucket, Key=f"{target_path}{json_file_name}")

推荐阅读