amazon-s3 - 如何在不使用火花的情况下在 s3 中压缩镶木地板文件
问题描述
我有一个位于 S3 parquet 文件上的 AWS 分区 Athena 表，并且我正在运行插入到 select语句中。这工作正常，但它为每个分区创建相对较小的文件。我看到有可能将这些文件压缩为更大的文件以获得更好的性能。我看到的示例仅处理我没有的火花发动机。问题 - 有没有办法在没有 spark 的帮助下执行压缩，而是在其他一些 python 包的帮助下？
解决方案
推荐阅读
- ansible - 如何在不同的服务器上部署不同的conf而不每次都重复任务
- ios - Xcode 中的 CalendarKit 使用问题“pod 框架”和“没有这样的模块”
- css - 如何将变量传递给 React 中的内联 css 函数
- c# - 开发实体框架兼容的数据模型
- unit-testing - 如何轻松找出哪些测试失败
- python - 使用类（Scrapy）在锚标记内查找文本的 Xpath
- c# - Unable to send real-time notifications saved in database
- spring - Spring Boot 测试 - 减少控制台输出
- html - 如何在保持角度不变的情况下创建响应式线性渐变？
- mysql - 在 MySQL 中存储配置的最佳方式