时间戳

首页 > 解决方案 > Hive中基于Partition和非partition列的查询

hive - Hive中基于Partition和非partition列的查询

问题描述

我有一个外部 Hive 表，如下所示：-

CREATE external TABLE sales (
ItemNbr STRING,
itemShippedQty INT,
itemDeptNbr SMALLINT,
gateOutUserId STRING,
code VARCHAR(3),
trackingId STRING,
baseDivCode STRING
)
PARTITIONED BY (countryCode STRING, sourceNbr INT, date STRING)
STORED AS PARQUET
LOCATION '/user/sales/';

其中表由 3 列（国家代码、来源Nbr、日期）划分。我知道如果我基于这 3 个分区列进行查询，我的查询会更快。

我对其他查询模式有一些疑问：-

  1. 如果我在执行 sql 查询时添加非分区列以及 countryCode、sourceNbr、date、ItemNbr等分区列作为 where 条件的一部分，它将扫描整个表还是仅在基于 countryCode、sourceNbr、date 的文件夹内扫描并查找在 where 条件中指定的 itemNbr 属性值？

  2. 提供所有列是过滤记录或子过滤器所必需的，就像我只提供前 2 列（countryCode、sourceNbr）作为 where 条件的一部分。在这种情况下，它会扫描整个表，还是会根据 2 列条件（countryCode、sourceNbr）仅在文件夹内搜索？

标签： hiveparquethadoop-partitioninghive-partitions

解决方案

分区修剪适用于所有情况，无论所有分区列都在 WHERE 还是仅部分列，其他过滤器都不会影响分区修剪。

要检查它使用EXPLAIN EXTENDED命令，请参阅https://stackoverflow.com/a/50859735/2700344

推荐阅读