时间戳

首页 > 解决方案 > Databricks-Connect 错误 - SparkClientManager：无法获取 SparkClient

scala - Databricks-Connect 错误 - SparkClientManager：无法获取 SparkClient

问题描述

我想在我的本地机器上设置 Databricks-Connect，以便我可以远程使用 Databricks 集群。我首先通过运行配置客户端

databricks-connect configure

按照这里的指示。但是，当我尝试通过执行来测试连接时

databricks-connect test

我在屏幕截图中得到了错误

错误1 ​​错误 2 错误3

（注意：由于“看起来像垃圾邮件”标志，无法插入代码）

该错误表明我指定了一个与任何现有集群都不对应的集群 ID，尽管它是正确的。我仔细检查了我的 Azure Databricks 群集配置详细信息（在高级选项 -> 标记下）。

在我试图找到解决方案的过程中，我在Databricks 论坛、56389816和60511139上遇到了类似的问题，但由于安装的 Databricks Runtime 不同，这些问题并没有多大帮助。

额外细节：

  1. 我正在运行 Ubuntu 18.04 并在安装了 Python 3.7.x 和 Java openjdk-8-jre-headless (1.8.0_292) 的虚拟环境中进行设置。

  2. 我已经设置了一个 Microsoft Azure Databricks 工作区，其中包含一个运行 Databricks Runtime 7.3 LTS（包括 Apache Spark 3.0.1、Scala 2.12）的集群。根据此处的 Databricks 文档，此运行时运行 Python 3.7.5，应该与我的兼容。

我一直在努力解决这个问题，所以任何帮助将不胜感激！

标签： scalaapache-sparkhadooppysparkdatabricks-connect

解决方案

推荐阅读