首页 > 技术文章 > Spark:用saveAsTable保存为hive默认纯文本文件

xuejianbest 2019-01-03 16:19 原文

spark中Dataset的的saveAsTable方法可以把数据持久化到hive中,其默认是用parquet格式保存数据文件的,若是想让其保存为其他格式,可以用format方法配置。

如若想保存的数据文件格式为hive默认的纯文本文件:

df.write.mode(SaveMode.Append).format("hive").saveAsTable("test")

format支持的格式有:

hive (hive默认格式,数据文件纯文本无压缩存储)
parquet (spark默认采用格式)
orc
json
csv
text(若用saveAsTable只能保存只有一个列的df)
jdbc
libsvm

推荐阅读