databricks - 我们如何从 Databricks 中的 delta Lake 获取读取查询的日志？

Question

Delta Lake 具有事务日志，其中包含有关 deltalake 发生的写入的信息。是否有某种审计日志用于读取 Deltalake 上发生的查询？

类似于：笔记本 X 在时间 T 发布了关于 Deltalake 的阅读。

用例：此信息将帮助我了解数据集和沿袭中涉及的相关笔记本之间的沿袭。

PS：我的 deltalake 存储在 ADLS 中（安装在数据块中）

标签： databricksazure-databricksdelta-lake

Answer 1

作为对表所做的每一次更改的最终记录，Delta Lake 事务日志为用户提供了可验证的数据沿袭，这对于治理、审计和合规性目的很有用。它还可用于将管道中的无意更改或错误的起源追溯到导致它的确切操作。

用户可以运行DESCRIBE HISTORY来查看所做更改的元数据。

有关更多详细信息，请参阅深入 Delta Lake：解包事务日志。