hive - Hive - 每个日期选择不同的唯一 ID，无需创建外部表或使用 JOINS

Question

我正在处理具有以下列的数据集：

unique_ID       Date
a               2018_09_08
a               2018_09_18
a               2018_09_28
d               2018_09_08

我希望选择在所有三个日期（即 2018_09_08、2018_09_18 和 2018_09_28）都发生的那些 Unique_ID。

我的输出应该只是'a'。

这个问题有一个很长的解决方案 - 每个日期提取 unique_IDs 并在所有三个之上创建外部表，然后在三个表上使用连接来获取所有三个日期的唯一 ID。我相信应该有一个更好的解决方案，因为在这种情况下我们只有 3 个日期，可能会在以后上升，所以我正在寻找一个更通用的解决方案。

这是我编写的查询 -select distinct(unique_ID) from table_name where Date = '2018_09_08' and Date = '2018_09_18' and Date = '2018_09_28'返回 null。

我也在尝试编写子查询，但我怀疑 HIVE 在这种情况下是否支持此类子查询。这是我写的：

select count(distinct(unique_ID)) from (
(select distinct(unique_ID) from table_name where Date = '2018_09_08') a
union all
(select distinct(unique_ID) from table_name where Date = '2018_09_18') b
union all
(select distinct(unique_ID) from table_name where Date = '2018_09_28') c
);

我收到以下解析错误：FAILED: ParseException line 3:0 missing ) at 'union' near ')' line 4:87 missing EOF at 'b' near ')'

在这种情况下，我们如何获得 Unique_IDs ？

标签： hivebigdatahiveqlhadoop2

Answer 1

这可以通过group by和来完成having。

select unique_id,count(distinct date)
from tbl
where date in ('2018_09_08','2018_09_18','2018_09_28')
group by id 
having count(distinct date) = 3