boto3 - 分块读取压缩的 S3 对象
问题描述
我目前有一些代码正在使用 boto3 通过使用s3_object.get()["Body"].iter_lines(). 有什么方法可以用 gzip 压缩的文本文件做类似的事情吗？我见过诸如https://stackoverflow.com/a/59635286/177333之类的示例，但据我所知，他们将整个文件加载到内存中。有没有办法分块做到这一点？我希望 boto3 能够检测到 gzip 标头并自动执行，但是在尝试解码时我得到了预期的UnicodeDetectError: 'utf-8' codec can't decode byte 0x8b in position 1错误。
解决方案
推荐阅读
- asp.net - 当页面重定向到asp.net中的同一页面时保留文本框值
- angular - mydaterangepicker angular4 如何与输入字段绑定？
- add-in - Enterprise Architect 加载项 ConstLayOutStyles 用法
- vba - ActiveDocument.Paragraphs(1).Range.Font.color 在 word 2013 中不可用？
- rest - Backbone.js - 我应该使用模型还是集合来完成这项工作？
- javascript - 链接中的链接
- c# - 检查模型和两个不同对象之间是否同时发生碰撞
- git - Visual Studio 在 git changes/diff 中显示浅棕色/米色线
- java - 如何在 SecurityConfig.java 中使用 setter 而不是 New JWTAuthenticationFilter
- angular - 在 IE11 中部署到生产后的角度清除缓存