首页 > 技术文章 > Hive的配置及优化

zdgui 2021-05-28 16:27 原文

配置:

1、使用shell脚本导出数据为 *.csv 格式的表 显示表中字段配置

正常的输出数据是不带字段的。只是导出数据,为了实现字段名和数据对应着输出,做以下配置:

hive中导出查询结果的时候控制是否true | false (输出字段名 | 不输出字段名)

hive -e "SET hive.cli.print.header=true;select * from yewu.data1 limit 0;" | sed -e "s/\t/,/g;s/data\.//g" | grep -v "WARN" > fileds.csv

先设置hive参数,SET hive.cli.print.header=true 输出时打印表头, 表名.字段名

sed -e “s/\t/,/g;s/data.//g” 使用sed命令将\t分隔符替换成逗号,将表名.删除
grep -v "WARN"这个是过滤掉WARN信息

1.2、使用hive查询显示表中的字段配置

hive> -- 数据上显示 【表名.字段名】
    > set hive.cli.print.header=true;
-----------------------------------------------------

hive> -- 数据上只显示 【字段名】
    > set  hive.resultset.use.unique.column.names=false;

1.3、在Hive配置安装的时候配置,实现永久显示字段名

在hive-site.xml文件中添加配置信息:

  <property>
    <name>hive.cli.print.header</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.resultset.use.unique.column.names</name>
    <value>false</value>
  </property>

 配置完成后需要重启服务配置项才生效

 

============================================================

优化:

 

 

 

------有待进一步更新

推荐阅读