python-3.x - 使用python在aws s3中解析gz文件
问题描述
我正在尝试将表从 SnowFlake 批量复制到 postgreSQL。从 SnowFlake 中,我能够使用 COPY 提取 CSV 格式的表格。COPY 在 aws s3 中以 gz 格式压缩提取。
现在第二步是在 postgreSQL 中加载这些文件。我打算使用 postgreSQL COPY 实用程序来摄取数据。但是,我不想解压缩文件。我宁愿直接从 gz 文件中缓冲数据,并将缓冲文件作为 psycopg2 copy_from 函数的输入。
有没有办法使用 python 解析 AWS S3 中的 gz 文件?提前致谢!
解决方案
推荐阅读
- javascript - 当用户将元素滚动到视口中时触发一个函数 – Vanilla JavaScript
- nginx - 入口规则未重定向到部署
- email - 带有文本引用的 SAS 电子邮件
- reactjs - 反应遵循什么架构模式?
- dialogflow-es - 验证插槽填充输入
- android - 如何绕过 JSON 中的“空”值?
- python - numpy中对内存最少的上三角元素求和的最快方法
- postgresql - Heroku Postgres 数据库推送冻结
- jekyll - Jekyll 液体被“---”分割
- javascript - jQuery - 无法获取使用 load() 方法从另一个文件加载的标题的高度