时间戳

首页 > 解决方案 > PySpark Databricks 使用增量合并时如何仅获取更改的行以匹配条件

python - PySpark Databricks 使用增量合并时如何仅获取更改的行以匹配条件

问题描述

我不想更新匹配时的记录。希望仅将与当前时间戳匹配的更改记录分开，并将这些记录的旧版本也在 delta 文件中以跟踪更改。例如：名为 Ab 的记录有一个更新，我不希望它被更新，而是将它作为一个新行，更新日期为快照日期

ID | Name | Address | snapshot Date
____________________________________
1. |Ab.   | USA.    | 2019-03-21
2. |CD.   | Germany.| 2021-01-21
1. |Ab.   | UK.     | 2021-03-15

标签： pythonpysparkdatabricksdelta-lake

解决方案

推荐阅读