apache-spark - Databricks Delta 和 Hive 事务表

Question

我从两个来源看到，现在您无法以任何有意义的方式与 Spark 的 HIVE 事务表进行交互。

蜂巢酸

Spark 无法读取 Hive 事务表

我看到 Databricks 发布了一个名为Databricks Delta的事务功能。现在是否可以使用此功能读取 HIVE 事务表？

标签： apache-sparkhivedatabricksdelta-lake

Answer 1

没有。不是 Hive 事务表。您创建了一种名为 Databricks Delta Table（镶木地板的 Spark 表）的新型表，并利用 Hive 元存储来读取/写入这些表。

它是一种外部表，但更像是模式的数据。更多 Spark 和 Parquet。

您的问题的解决方案可能是读取配置单元文件并在 Databricks 笔记本中相应地实施架构，然后将其保存为 databricks 增量表。像这样：df.write.mode('overwrite').format('delta').save(/mnt/out/put/path) 您仍然需要编写一个指向该位置的 DDL。仅供参考 DELTA 表是事务性的。