hadoop - 获取 HIVE 分区表的总大小
问题描述
我们有 HDP 2.6 集群和 HIVE 2.0。我们在 HIVE 中创建了集群分区内部表。我们需要知道 HIVE 中总表的大小。
我们已经针对相同的问题发出了 ANALYZE 命令。
ANALYZE TABLE A_ITT_ITEM_SALES COMPUTE STATISTICS FOR COLUMNS;
当我们尝试检查尺寸时 -
describe extended a_itt_item_sales
在详细的表格信息中,我得到 -
...parameters:{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[], skewedColValueLocationMaps:{}), storedAsSubDirectories:false), partitionKeys:[FieldSchema(name:trans_date, type:date, comment:null)], parameters:{transient_lastDdlTime=1529059590, last_modified_time=1529059590, last_modified_by=admin, serialization.null.format=}, viewOriginalText:null, viewExpandedText:null, tableType:MANAGED_TABLE)...
当它被集群分区/压缩时,我们如何获得表的总大小?
解决方案
hdfs dfs -du -s -h /users/hive/warehouse/A_ITT_ITEM_SALES
(使 HDFS 路径适应您的部署设置)
推荐阅读
- django - 如何解决“ValidationError”对象没有属性“strip”问题?
- bazel - Windows 10 上的 pkg_rules 问题
- python - 熊猫 ffil 和 bfill 以 groupby 为条件
- coldfusion - 用更好的技术编写 cfc
- python - 当我使用随机搜索 cv 时形状奇怪
- html - 如何制作一个不会将我的所有内容向下推的导航栏?
- ios - 如何在 iOS 中捕捉 50m 内可靠且电池友好的“离家”事件?
- python - Scrapy python - 我不断爬取 0 页
- python - 来自 NLTK 的 ne_chunk 和 NER 的节之间的区别?
- haskell - 递归使用 Either