hive - 将旧数据保留在分区配置单元表上

Question

将历史数据保存到分区表中

团队，

我在这里有一个场景 - 我有 2 个表 - 一个是非分区的，另一个是一个日期字段上的分区表分区。

已将非分区表中的数据加载到分区表中，并且我已将以下参数设置为加载到分区表中。

write.partitionBy(“date”) \
.format(“orc”) \
.mode(“overwrite”) \
.saveAsTable(“schema.table1”)

现在两个表计数匹配，其中有 3 年的数据。正如预期的那样。

现在我只刷新了最近一年的数据并尝试加载分区表，但它只加载了 1 年的数据，因为我需要分区表中的所有 3 年数据。

我在这里缺少什么.. 我只需刷新 1 年的数据并将其加载到分区表并保持构建历史。

请建议。谢谢

write.partitionBy(“date”)
.format(“orc”)
.mode(“overwrite”)
.saveAsTable(“schema.table1”)

需要每天记录最新数据刷新的历史记录。

标签： hive