python - 如何将与 Databricks 作业相关的所有参数运行到 python 中？

Question

我正在尝试获取与 Databricks 作业相关的所有参数并将它们导入 python。这些参数应包括日期、开始时间、持续时间、作业状态（成功或失败）以及与之相关的所有其他参数。

我想使用这些参数使用 python 生成每日报告，该报告必须包含一周中每天成功或失败的所有作业的详细信息。

标签： pythondatabricksazure-databricks

Answer 1

您可以为此使用Databricks Jobs REST API - 您可以列出所有作业，并为每个作业获取所有运行。主要问题是您将一次又一次地抓取该 API。

另一种可能性是从Azure 上的诊断日志或AWS 上的审计日志中获取有关已执行日志的信息- 从中​​您可以获取有关哪些作业运行以及哪些 ID 与它们相关联的提取信息。然后，您可以使用get run API获取更详细的信息。

或者，您可以在您的工作空间中设置一个名为Overwatch的工具，它会为您收集所有这些信息，以及更多对于寻找非最佳工作、提供成本估算和许多其他功能非常有用的信息。