apache-spark - 将选择性列插入配置单元

Question

我想将选择性列插入 Hive，但我无法这样做。这就是我通过火花尝试的

val df2 = spark.sql("SELECT Device_Version,date, SUM(size) as size FROM table1 WHERE date='2019-06-13' GROUP BY date, Device_Version")

df2.createOrReplaceTempView("tempTable")

spark.sql("Insert into table2 PARTITION (date,ID) (Device_Version) SELECT Device_Version, date, '1' AS ID FROM tempTable")

我的目标是只向表 t2 插入选择性字段。表 t2 有许多其他列，我想将它们填充为空。只要我可以指定顺序，我就可以进行填充。我不希望订单被默认执行。就像是 ...

spark.sql("Insert into table2 PARTITION (date,cuboid_id) (Device_Version,OS) SELECT Device_Version, null as os, date, '10001' AS CUBOID_ID FROM tempTable")

有没有办法做到这一点？欢迎任何选择。

标签： apache-sparkhive