首页 > 解决方案 > 使用python在aws s3中解析gz文件

问题描述

我正在尝试将表从 SnowFlake 批量复制到 postgreSQL。从 SnowFlake 中,我能够使用 COPY 提取 CSV 格式的表格。COPY 在 aws s3 中以 gz 格式压缩提取。

现在第二步是在 postgreSQL 中加载这些文件。我打算使用 postgreSQL COPY 实用程序来摄取数据。但是,我不想解压缩文件。我宁愿直接从 gz 文件中缓冲数据,并将缓冲文件作为 psycopg2 copy_from 函数的输入。

有没有办法使用 python 解析 AWS S3 中的 gz 文件?提前致谢!

标签: python-3.xboto3

解决方案


推荐阅读