时间戳

首页 > 解决方案 > 使用 SaveAsTable 将记录加载到现有表

scala - 使用 SaveAsTable 将记录加载到现有表

问题描述

由于InsertInto与运行相比需要更多时间的语句SaveAsTable，我想SaveAsTable与下面的用例一起使用。

我正在使用 spark 版本2.2，我想在我的 spark 代码的开头使用下面提到的结构创建我的表。最后，我准备好了要使用with和 with Text 格式DF(df_all_rec)写入test表格的内容。SaveasTablePartition(my_part)

create table test(a varchar(50),
b varchar(50))
partitioned by (my_part int) 
ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '^'
  NULL DEFINED AS ''
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

请建议如何实现

df_all_rec.write.mode("overwrite")

...？

标签： scalaapache-sparkhive

解决方案

推荐阅读