external - Azure Databricks 高并发 + 表访问控制 + 外部配置单元元存储 + ADLS 直通

Question

不再支持具有外部 hive 元存储 + ADLS 直通 + 表访问控制的 Databricks 高并发集群 ‍♂️</p>

关于如何实现以下功能的任何想法

由于我们从 HDInsight 迁移到 Databricks，因此需要外部配置单元元存储。使用外部 hive 元存储显然有许多优势（其中之一是我们可以迁移到任何 Hadoop 集群而无需担心元数据，这就是我们从 HDInsight 迁移到 Databricks 的方式）。

需要表访问控制来授予对 hive 数据库的细粒度访问。我的用户需要在某些配置单元数据库上阅读、读写。

用户需要通过 ADLS 对 ADLS 执行读/写操作。（这是配置单元数据库指向的地方）

标签： externaldatabricksazure-data-lakeazure-databrickshive-metastore

Answer 1

我想您正在寻找有关如何执行此操作的答案，但是您不能这样做，至少目前不能。

基于此： https://docs.microsoft.com/en-us/azure/databricks/data/data-sources/azure/adls-passthrough#known-limitations Passthrough 和 Table ACL are not supported " Azure 授予的权力Data Lake Storage 凭据直通可用于绕过表 ACL 的细粒度权限，而表 ACL 的额外限制将限制您从 Azure Data Lake Storage 凭据直通中获得的某些功能。”您至少需要删除一个这两个。外部 Hive 和高并发功能之间也存在问题，但这可能是可以通过的。