首页 > 解决方案 > hive 最大分区数

问题描述

我的配置单元表中有 1500 个分区,但是在进行查询时,它花费的时间比预期的要多。在 hive 表中可以创建的最大分区数。

标签: hivebigdatahiveqlhadoop2hadoop-partitioning

解决方案


当前具有 RDBMS 元存储后端的 Hive 版本应该能够处理10000+分区。

出于多种原因,社区正在放弃这种设计以利用 HBase 作为元存储。关注 https://issues.apache.org/jira/browse/HIVE-9452

总体设计文档可在此处获得:https ://issues.apache.org/jira/secure/attachment/12697601/HBaseMetastoreApproach.pdf


推荐阅读