scala - 如何在火花罐中使用 dbutils.secrets

Question

所以我目前正在尝试为我的 Databricks 开发环境设置秘密。我已经使用 Databricks-cli 成功设置了这些。我现在正尝试在我的 spark jar 中使用这些（用 scala 编写）。然而，它需要在本地编译和在 ci/cd 管道中才能被实时推送。

但是我找不到位于哪个包dbutils中。

... = dbutils.secrets.get(scope = "SCOPE", key = "VARIABLE")

这是我正在尝试实现的用例，不胜感激！

标签： scalaazureapache-sparkdatabricksazure-databricks

Answer 1

你试过com.databricks.dbutils_v1.DBUtilsHolder.dbutils吗？我的 SBT 构建有一个"com.databricks" %% "dbutils-api" % "0.0.3"依赖项，它似乎引入了dbutils.