amazon-web-services - 在 Athena Query 中获取 S3 文件创建/更新日期
问题描述
是否有任何内置的 athena 函数可以显示查询结果中给定行的基础 S3 文件创建/修改日期?我们有一个包含许多不同文件格式的大型数据湖,很难将这些信息添加到所有文件格式中。
解决方案
Amazon Athena 支持 Presto$path
伪列,它显示了从中获取行的文件的名称,例如:
SELECT DISTINCT "$path" FROM table
有人要求向 Presto 添加更多伪列,例如Last Modified和File Size,但是(在撰写此答案时)它们在 Presto 中不可用。一旦他们进入 Presto,他们可能会在一段时间后找到通往 Athena 的路。
看:
推荐阅读
- java - 在 VSCode 中使用代码运行器扩展编译和运行 Java 代码
- azure - 用于导出超过 90 天处于非活动状态的 Sharepoint 站点的 Power shell 脚本
- image - 如何检查 Docker 映像中的单个层?
- cassandra - Cassandra 如何快速读取一个分区中的一列?
- ssl - .NET CORE 5、VUE 2x、Docker、JWT 总是返回 401
- typescript - 如何在 Typescript 中转换字符串数组
- magento2 - 如何在流程创建订单的管理面板中添加按钮
- java - 在 Java 中设置泛型变量值
- postgresql - AWS RDS SSL - 每个 RDS 实例的 ssl 服务器证书是否不同或相同?
- angular - 入口控制器注释以支持多个 cors 来源