hadoop - Hive/Impala - 在层次结构表中查找结束子节点
问题描述
我有一个场景,从具有 parent_node_id 和 child_node_id 的层次结构表中找到最低级别的子节点,如下所示。源表在 Hive 和 Impala 数据库中。请建议 hive/impala 查询以找出源表中每个父节点的最低级别子节点。
我尝试在 Impala 中使用 CTE 递归查询,但我想它不受支持。
先感谢您!
源表:
+-------------+--------------+
|child_node_id|parent_node_id|
+-------------+--------------+
| C1 | P1 |
+-------------+--------------+
| C2 | P2 |
+-------------+--------------+
| C11 | C1 |
+-------------+--------------+
| C12 | C11 |
+-------------+--------------+
| 123 | C12 |
+-------------+--------------+
预期输出:
+-------------+--------------+
|parent_node |lowest_l_child|
+-------------+--------------+
| P1 | 123 |
+-------------+--------------+
| P2 | C2 |
+-------------+--------------+
| C1 | 123 |
+-------------+--------------+
| C11 | 123 |
+-------------+--------------+
| C12 | 123 |
+-------------+--------------+
解决方案
由于 hive 不支持递归 CTE 查询。
请参阅 [ https://blog.pythian.com/recursion-in-hive/][1]了解一种选择。
其他选择是使用 shell 脚本循环和查询以找到所有父母的最低孩子。
步骤 - 1> 初始化(一次运行)
create temporary table hier_temp as select * from Hier;
create table if not exists res as select * from hier where false;
2)查询以找到最低级别的孩子
insert into table res
select
H1.parent, H1.Child
from hier_temp H1 left outer join hier_temp H2
on H1.Child=H2.Parent where H2.Child is null;
3)用下一级子覆盖临时表
insert overwrite table hier_temp
select
H1.Parent Parent, coalesce(H3.child, H2.child) as child
from hier_temp H1 left outer join hier_temp H2 on H1.Child=H2.Parent
left outer join res H3 on H2.child=H3.parent
where H2.Child is not null;
创建一个 shell 脚本,它将在循环中依次执行步骤 2 和 3(带有 break 和 continue 的条件语句将完成这项工作),直到我们在 hier_temp 表中没有任何数据。
以下是给定测试数据的 res 和 hier_temp 表的结果。
hive> select * from res;
OK
Time taken: 0.131 seconds
hive> select * from hier_temp;
OK
C1 C11
C11 C12
C12 123
P1 C1
P2 C2
Time taken: 0.108 seconds, Fetched: 5 row(s)
步骤 2 和 3 中提到的查询的 loop1 之后的结果
hive> select * from res;
OK
C12 123
P2 C2
Time taken: 0.137 seconds, Fetched: 2 row(s)
hive> select * from hier_temp;
OK
P1 C11
C1 123
C11 123
Time taken: 0.155 seconds, Fetched: 3 row(s)
步骤 2 和 3 中提到的查询的 loop2 之后的结果
hive> select * from res;
OK
C12 123
P2 C2
C1 123
C11 123
Time taken: 0.11 seconds, Fetched: 4 row(s)
hive> select * from hier_temp;
OK
P1 123
Time taken: 0.111 seconds, Fetched: 1 row(s)
步骤 2 和 3 中提到的查询的结果循环 3
hive> select * from res;
OK
P1 123
C12 123
P2 C2
C1 123
C11 123
Time taken: 0.115 seconds, Fetched: 5 row(s)
hive> select * from hier_temp;
OK
Time taken: 0.16 seconds
这将为您提供所需的结果,但您可能必须考虑执行所花费的时间。
希望这可以帮助
推荐阅读
- javascript - 如何在我的网站上显示来自在线购物网站的产品?
- sql - Postgres 索引函数似乎根据调用时间创建不同的值
- javascript - 开玩笑的单元测试。模拟函数返回,监视函数调用
- google-apps-script - 如何将具有多行的 2 列单元格拆分为唯一的行,保留/复制周围的数据?
- git - 为什么我在 Git 上的一些提交是以我的用户名签名的,而其他的则是我的名字?
- r - 通过粘贴两个因子变量创建一个新变量
- javascript - 将 DirectionalLight 附加到玩家对象时的漂移阴影
- java - GridDB JAVA API 中的异常
- powershell - 从文件夹中删除用户权限
- javascript - 有没有人在不使用 SharePoint 框架的情况下将 React 或 TypeScript 或两者与 SharePoint 一起使用?