azure-data-factory - 是否可以从 adf 连接到 databricks deltalake 表

Question

我正在寻找一种能够从 ADF 和其他 Azure 服务（如数据目录）连接到 Databricks deltalake 表的方法。我没有看到 ADF 数据源中列出的 databricks 数据存储。

关于类似的问题 -是否可以从 Azure 数据工厂读取 Azure Databricks 表？

@simon_dmorias 似乎建议使用 ODBC 连接来连接到数据块表。

我尝试设置 ODBC 连接，但它需要设置 IR。创建 IR 时我看到了 2 个选项。自托管和链接 自托管。我尝试创建自托管 IR，但它需要安装在我的本地桌面上，并且可能更适用于本地 odbc 连接。我无法在我的链接服务上使用 IR。

我已经能够将 powerbi 与 databricks deltalake 表连接起来，并计划在这里使用相同的凭据。这是参考链接 -

https://docs.azuredatabricks.net/user-guide/bi/power-bi.html

任何指导都会有所帮助

标签： azure-data-factoryazure-databricksdelta-lake

Answer 1

你可以，但它很复杂。您需要将 Azure 数据工厂中的 ODBC 连接器与自托管运行时一起使用。

ADF 可以使用 ODBC ( https://docs.microsoft.com/en-us/azure/data-factory/connector-odbc ) 进行连接。它确实需要一个自托管的 IR。假设您安装了正确的驱动程序，您可以配置与 Databricks 集群的 ODBC 连接。

可以在 Databricks 工作区 ( https://docs.microsoft.com/en-us/azure/azure-databricks/connect-databricks-excel-python-r )的群集设置屏幕中找到 ODBC 设置的连接详细信息。

该过程与您为 PowerBI 发布的过程非常相似。