首页 > 解决方案 > Hive - 增量更新物化视图

问题描述

假设我有一个事务表 t1 作为

1,abc,4.5
2,xyz,3.7

我创建了一个物化视图:

> create materialized view t1_mv as select * from t1;

然后我更新表格:

> insert into t1 values (3,"lmn",4.7)

现在,当我想更新视图时,我必须执行以下查询:

> ALTER MATERIALIZED VIEW t1_mv REBUILD;

在上述查询重建操作中触发对 t1 表的全扫描并重写物化视图。

根据 Hive 文档:“ Hive 支持增量视图维护,即仅刷新受原始源表更改影响的数据。增量视图维护将减少重建步骤的执行时间。此外,它将保留 LLAP 缓存以供现有物化视图中的数据。文档链接

然而,关于物化视图的增量更新,没有提到确切的过程,

我的问题是:

  1. 如何增量更新物化视图?
  2. LLAP缓存在增量更新过程中的作用是什么?

标签: hadoophivebigdatahiveqlmaterialized-views

解决方案


推荐阅读