amazon-web-services - 如何查询 AWS Athena 分区表
问题描述
问题摘要
当我尝试
SELECT
使用子句查询分区表时WHERE
,Athena 产生错误。
log
我的表中有 4 种类型的分区。
- 年
string
- 月
string
- 天
string
- 小时
string
我尝试SELECT
对分区表进行查询。但收到以下错误消息。
错误信息
GENERIC_INTERNAL_ERROR: No value present
This query ran against the "default" database, unless qualified by the query.
我尝试过的 SELECT 查询
SELECT *
FROM logs
WHERE year='2020'
AND month='10'
AND day ='05';
和
SELECT *
FROM "default"."logs"
WHERE year='2020'
AND month='10'
AND day ='05';
由于有关 的错误消息No value present
,我检查了分区结果。
SHOW PARTITIONS logs;
结果
year=2020/month=10/day=05/hour=17
year=2020/month=10/day=05/hour=11
year=2020/month=10/day=05/hour=19
year=2020/month=10/day=05/hour=04
year=2020/month=10/day=05/hour=18
year=2020/month=10/day=05/hour=15
year=2020/month=10/day=05/hour=14
year=2020/month=10/day=05/hour=16
year=2020/month=10/day=05/hour=13
year=2020/month=10/day=05/hour=21
year=2020/month=10/day=05/hour=05
year=2020/month=10/day=05/hour=08
year=2020/month=10/day=05/hour=20
year=2020/month=10/day=05/hour=12
year=2020/month=10/day=05/hour=03
year=2020/month=10/day=05/hour=01
year=2020/month=10/day=05/hour=10
year=2020/month=10/day=05/hour=02
year=2020/month=10/day=05/hour=09
year=2020/month=10/day=05/hour=22
year=2020/month=10/day=05/hour=23
year=2020/month=10/day=05/hour=06
year=2020/month=10/day=05/hour=07
year=2020/month=10/day=05/hour=00
year=2020/month=10/day=04/hour=00
非常感谢您的帮助。
更多信息
CREATE TABLE
我使用的命令
创建表
CREATE EXTERNAL TABLE `logs`(
`date` date,
`time` string,
`location` string,
`bytes` bigint,
`request_ip` string,
`method` string,
`host` string,
`uri` string,
`status` int,
`referrer` string,
`user_agent` string,
`query_string` string,
`cookie` string,
`result_type` string,
`request_id` string,
`host_header` string,
`request_protocol` string,
`request_bytes` bigint,
`time_taken` float,
`xforwarded_for` string,
`ssl_protocol` string,
`ssl_cipher` string,
`response_result_type` string,
`http_version` string,
`fle_status` string,
`fle_encrypted_fields` int)
PARTITIONED BY (
`year` string,
`month` string,
`day` string,
`hour` string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
WITH SERDEPROPERTIES (
'input.regex'='^(?!#)([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)\\\\s+([^ \\\\t]+)$')
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
's3://mybucket/path'
TBLPROPERTIES (
'projection.date.format'='yyyy/MM/dd',
'projection.date.interval'='1',
'projection.date.interval.unit'='DAYS',
'projection.date.range'='2019/11/27, NOW-1DAYS',
'projection.date.type'='date',
'projection.day.type'='string',
'projection.enabled'='true',
'projection.hour.type'='string',
'projection.month.type'='string',
'projection.year.type'='string',
'skip.header.line.count'='2',
'storage.location.template'='s3://mybucket/path/distributionID/${year}/${month}/${day}/${hour}/',
'transient_lastDdlTime'='1575005094')
解决方案
您的表使用分区投影,但您的配置与分区不匹配。分区投影是一个相当新的功能,文档仍有一些不足之处,所以我完全理解它令人困惑。我想我明白你在做什么。
分区投影配置必须与表的分区键完全匹配。在您的情况下,表有四个分区键,分区投影配置提到了五个。除了四种类型错误之外,没有string
分区投影类型。
您可以通过进行两项更改来解决此问题。首先像这样更改分区键:
PARTITIONED BY (
`date` string,
`hour` string
)
这将删除“年”、“月”和“日”分区键,取而代之的是“日期”键。没有必要仅仅因为它们是单独的“目录”而拥有单独的日期组件,并且仅仅拥有一个“日期”键将使查询更容易编写。
然后将表属性更改为:
TBLPROPERTIES (
'projection.date.format' = 'yyyy/MM/dd',
'projection.date.interval' = '1',
'projection.date.interval.unit' = 'DAYS',
'projection.date.range' = '2019/11/27, NOW-1DAYS',
'projection.date.type' = 'date',
'projection.hour.type' = 'integer',
'projection.hour.range' = '0-23',
'projection.hour.digits' = '2'
'projection.enabled' = 'true',
'storage.location.template'='s3://mybucket/path/distributionID/${date}/${hour}/',
'skip.header.line.count' = '2'
)
这告诉 Athena “日期”分区键的类型为date
,并且它的格式为“YYYY/MM/DD”(对应于 S3 URI 中的格式,这很重要)。它还告诉 Athena,“小时”分区键是一个integer
范围为 0-23 的分区键,格式为两位数(即填充零)。最后,它指定这些分区键如何映射到 S3 上的分区位置。当查询中的日期为“2020/10/06”时,该字符串将逐字插入位置模板中。
通过这些更改,您应该能够运行如下查询(“日期”是保留字,当它是列名时必须引用):
SELECT *
FROM logs
WHERE "date" = '2020/10/06'
SELECT *
FROM logs
WHERE "date" BETWEEN '2020/10/01' AND '2020/10/06'
AND hour BETWEEN 9 AND 21
请注意,日期格式必须与分区投影配置中的格式完全相同,即YYYY/MM/DD
.
推荐阅读
- python - 如何处理不同的图像尺寸
- python - 使用 Jenkinsfile 在“sidecar”模式下运行两个 docker 容器
- javascript - Ajax 调用范围 $. 异步请求
- wpf - RibbonSplitButton 找不到资源
- gstreamer - 将 udpsrc 动态添加到 rtpbin 导致流停止,原因未链接 (-1)
- c# - 使用 IF/ELSE 在 Razor 中显示和选项卡
- java - Travis CI 未从 GitHub 正确部署到 Azure 战争文件
- ios - 如何从目标c调用快速方法
- python - 如何从文本文件中将数组数据读入 numpy 数组?
- r - 在r中的for循环中覆盖的数据框