databricks - 如何使用 Databricks CLI 使用 Job Id 获取 Run id

Question

我试图databricks runs list在 CLI 上使用 Run id，但没有得到每天运行的所有作业的 Run id，我只有前 20 个 Run id，但后来我得到了所有使用的作业的 Job id，databricks jobs list --output json现在我想得到 Run使用作业 ID 的所有作业的 ID。请帮我解决这个问题，我是databricks的新手。

标签： databricksazure-databricksdatabricks-connect

Answer 1

不幸的是，databricks cli 不提供运行 ID 的信息。

注意：只有 Databricks 执行程序启动的作业使用阶段中指定的作业 ID 显示。作业的所有实例的作业 ID 都是相同的。

您可以在 Data Collector 日志中找到特定实例的运行 ID。

Databricks 执行器还将作业的运行 ID 写入事件记录。要记录所有运行 ID，请为阶段启用事件生成。

有不同的方法可以获取任何给定作业的 RunId：

Azure Databricks 门户（用户界面）：通过单击作业选项卡，您可以查看您创建的所有作业。

选择任何 Job 以获取每次运行的详细 RunId。

Azure 门户（用户界面）使用 Kusto 查询语言：如果您已配置诊断日志传递，则可以使用 KQL 查询来获取 JobID 和 RunID：

Databricks REST API：您可以使用以下 REST API 命令获取作业和运行列表。

curl "https://centralus.azuredatabricks.net/api/2.0/jobs/runs/list" -X GET -H "Authorization: Bearer dapiXXXXXXXXXXXXXXXXXXXXXXXXXXXXX4a"