amazon-web-services - 按日期过滤 s3 中的对象,而不是最后一次修改
问题描述
Redshift 以以下结构存储审计日志:
Amazon Redshift 审计日志记录的存储桶结构 默认情况下,Amazon Redshift 使用以下存储桶和对象结构组织 Amazon S3 存储桶中的日志文件:AWSLogs/AccountID/ServiceName/Region/Year/Month/Day/AccountID_ServiceName_Region_ClusterName_LogType_Timestamp.gz
例如:AWSLogs/123456789012/redshift/us-east-1/2013/10/29/123456789012_redshift_us-east-1_mycluster_userlog_2013-10-29T18:01.gz
如果我想过滤这些对象并且只检索两个日期之间的对象......我必须遍历日期范围之间的日期,将日期作为字符串,然后使用对象的文件名进行正则表达式匹配或字符串匹配,对吗?我不想使用last_modified
日期。这是唯一的方法对吗?
顺便说一句,这个对象路径是什么?我可以将其视为文件夹吗?它们真的是文件夹还是只是对象名称的一部分?
解决方案
推荐阅读
- java - Java 8 Date API - 同一天的一年中的一周不同但时间不同
- pyspark - 如何在 AWS Glue / Py Spark 脚本中将列取消透视到行
- mongodb - 如何为 MEAN 应用程序编写集成测试
- dom - 输入字段数据对用户可见,但对 Chrome 开发工具显然不可见?我怎样才能得到它?
- python - 如何从 ISO 8601 日期时间格式中获取小时-分钟-秒?
- r - 有什么方法可以强制 R 识别特殊字符?
- c# - 如何在 Unity 中的场景之间传递数据?
- javascript - 左移导致Javascript中的负数
- servicenow - 如何通过更改请求字段过滤任务的 GlideRecord 查询
- linux - 使用 grep 从文件夹中的文件中删除确切的字符串