时间戳

首页 > 解决方案 > 使用 s3 路径的子字符串进行分区

amazon-web-services - 使用 s3 路径的子字符串进行分区

问题描述

我们有一个 s3 存储桶，其中包含以下格式的文件：

6ugdasznp56o_2020-09-04T140000_6081c358e0417bdd81284b0cf7a6b321_2853a9.csv.gz

是否可以定义storage.location.template如下：

6ugdasznp56o_${year}-${month}-${date}T${hour}0000_6081c358e0417bdd81284b0cf7a6b321_2853a9.csv.gz

在这个 s3 存储桶中对我的文件进行分区？

标签： amazon-web-servicesaws-glueamazon-athena

解决方案

分区不能发生在文件级别，而只能发生在文件夹结构上，另请参阅Amazon S3 中的表位置：

请勿使用以下任何项目LOCATION为您的数据指定 。

  • 不要使用文件名、下划线、通配符或 glob 模式来指定文件位置。

不起作用的例子：

...
s3://path_to_bucket/mySpecialFile.dat
s3://bucketname/prefix/filename.csv
...

推荐阅读