azure - 如何更改在 Azure Databricks 中运行的 Spark 用户作业？

Question

我在 Azure Databricks 5.5 上使用 Spark。我通过 Jobs、Notebooks 和 Spark-submit 通过 Databricks 工作区 UI 提交 Spark 作业。作业已成功提交，并且正在生成 Databricks 新集群或正在使用现有集群。但是，在 executor 节点上运行作业的用户默认是root。是否可以更改在 Azure Databricks 上运行作业的用户（其本身不允许 SSH 访问）？

通常，当我在具有 Shell 访问权限的集群上使用 spark-submit CLI 时；我使用 sudo: 更改用户sudo -u exampleuser spark-submit...。在此示例中，用户“exampleuser”出现在集群的所有节点上。因此，我想知道是否可以更改在 Azure Databricks 集群中运行 Spark 作业的用户。

标签： azureapache-sparkpysparkdatabricksazure-databricks

Answer 1

在与 Azure Databricks 团队讨论后，更改运行 spark 作业的用户的正确方法是在集群创建期间设置环境变量HADOOP_USER_NAME 。这会将运行 Spark 作业的有效用户从 root 更改为用户 $HADOOP_USER_NAME