时间戳

首页 > 解决方案 > 作业终止后如何将生成的文件从 Azure Databricks 导出到 Azure DevOps？

azure - 作业终止后如何将生成的文件从 Azure Databricks 导出到 Azure DevOps？

问题描述

我们正在使用 Azure DevOps 向 Databricks 提交训练作业。训练作业使用笔记本来训练机器学习模型。我们正在使用databricksCLI 从 ADO 提交作业。

在笔记本中的步骤中，我们创建了一个.pkl文件，我们希望将其下载到构建代理并将其作为工件发布到 Azure DevOps 中。我们如何做到这一点？

标签： azureazure-devopsdatabricksazure-databricksdatabricks-cli

解决方案

这实际上取决于该文件的存储方式：

  1. 如果它只是保存在 DBFS 上，您可以使用databrics fs cp 'dbfs:/....' local-path
  2. 如果文件存储在本地文件系统上，则将其复制到DBFS（例如，通过使用dbutils.fs.cp），然后使用上一项
  3. 如果模型由 MLflow 跟踪，那么您可以通过MLflow API（或REST API）显式将模型导出到 DBFS（您也可以直接对 DevOps 执行此操作，只需要具有正确的凭据等）或使用此工具将模型/实验/运行导出到本地磁盘

推荐阅读