azure - 具有特定路径的 Databricks Notebook 上的 DevOps

Question

我正在尝试在 databricks 笔记本上实现 azure DevOps。

我的开发实例数据块笔记本与 git 存储库集成，它位于以下文件夹结构中。

我创建了一个构建管道，它将使用构建管道中的Trigger选项卡检测每个代码（CodeA 和 CodeB）的Databricks文件夹中的更改，如下所示。

但是在发布工件时，我们如何才能选择仅从每个代码中获取数据块文件的路径，如上述文件夹结构所示？

如果我必须选择包含 CodeA和 CodeB的 databricks 文件的父文件夹Code是不可能的，那么如何将其部署到具有以下文件夹结构的 Databricks UAT 实例的共享文件夹中？

理想情况下应该如下图所示。

有什么办法可以做到这一点？任何线索表示赞赏。

标签： azureazure-devopsazure-data-factoryazure-databricks

Answer 1

您只需选择Code/包含要在构建管道中发布的 CodeA 和 CodeB 的数据块文件的父文件夹。

然后您需要创建发布管道并使用第三方任务Databricks Deploy Notebooks来部署笔记本。

创建发布管道时，单击添加以选择您的构建管道并添加工件

在发布管道中添加一个阶段。Databricks Deploy Notebooks在阶段作业中添加任务。

单击字段3dots的Source files path以选择数据块。输入Target files path您的天蓝色数据块。

在这里，您可以选择将每个 databricks 文件部署到 azure databricks 中相应文件夹的路径。见下文。

然后配置身份验证方法。请参阅此处的文档以获取databricks bearer token任务。

添加多个Databricks Deploy Notebooks任务并相应地更改Source files path和Target files path字段以部署到不同的数据块。

您可以查看本教程以获取更多信息。