apache-spark - 如何在 Databricks Delta Multi Cluster 环境中维护主键列
问题描述
我正在尝试复制 SQL DB 之类的功能，即在 Databrciks Delta 方法中维护主键，其中数据被写入 Blob 存储，例如 ADLS2 或 AWS S3。
我想要使用 Databricks Delta 的自动增量主键功能。
现有方法 -使用最新的行数并维护主键。但是，这种方法不适合主键获取重复数据的并行处理环境。
我正在尝试复制 SQL DB 之类的功能，即在 Databrciks Delta 方法中维护主键，其中数据被写入 Blob 存储，例如 ADLS2 或 AWS S3。
我想要使用 Databricks Delta 的自动增量主键功能。
现有方法 -使用最新的行数并维护主键。但是，这种方法不适合主键获取重复数据的并行处理环境。
标签： apache-sparkpysparkapache-spark-sqldatabricksazure-databricks