sql - 如何获取 Hive SQL 中每行的实际数据大小?
问题描述
可以计算 Hive SQL 中每行的实际数据大小是多少?我为 MS SQL Server 找到了这个 DBA 问题。我无法将接受的答案翻译成 Hive SQL。
我有兴趣计算行 IN-MEMORY 大小——而不是每行的磁盘空间使用量。我将不胜感激任何帮助。
解决方案
hadoop fs -du -s /hive/warehouse/managed/dp_oi.db/ | sed -r 's/ .*//g' | awk '{space+=$1} END{printf("%d GB\n",space/1024/1024/1024)}'
推荐阅读
- json - Jolttransformjson 无法从多记录 json 文件中工作
- python - 如何在烧瓶表中制作具有相同文本的按钮?
- python - 为我的 shell 中的每个项目获取多个图像 url,但只为我的 csv 中的每个项目导入一个 url
- javascript - Upload a CSV file using AJAX in Django
- planning - PDDL2.1:“总体”的目的
- python - Plotly Sankey:如何避免将所有节点自动放置到右侧?
- vba - 如何从电子邮件线程的原始消息中获取详细信息?
- django - django 中的表单不保存在 Psql 中
- python - 我有一个数据集,其中列是 int 格式,但是当我执行 data.columns.dtype 时,它会显示 dtype('O')。如何将其更改为 int?
- tensorflow - create_pretraining_data.py 在训练自定义 BERT 模型时将 0 条记录写入 tf_examples.tfrecord