时间戳

首页 > 解决方案 > 如何在数据工厂中使用 Databricks 现有集群 ID 的参数？

azure - 如何在数据工厂中使用 Databricks 现有集群 ID 的参数？

问题描述

对于某些背景，我正在开发 Azure 数据工厂，我使用生成的 ARM 模板部署到其他测试/产品环境。

我遇到的问题是尝试在我的 Azure Databricks 链接服务中引用现有群集 ID 时。此集群 ID 被传递到集群不存在的不同帐户中。此链接服务用于多个管道，因此我希望能够在一个地方进行更改。

我希望能够拥有一个可以在 Azure DevOps 发布管道期间覆盖的参数，以映射到正确的环境集群。但是当数据工厂生成 ARM 模板时，我对它没有太多控制权。

这是手臂模板的外观示例。

"name": "[concat(parameters('factoryName'), '/my-linked-service')]",
"type": "Microsoft.DataFactory/factories/linkedServices",
"apiVersion": "2018-06-01",
"properties": {
    "description": "Databricks connection",
    "parameters": {
        "test": {
            "type": "string"
        }
    },
    "annotations": [],
    "type": "AzureDatabricks",
    "typeProperties": {
        "domain": "https://australiaeast.azuredatabricks.net",
        "accessToken": {
            "type": "AzureKeyVaultSecret",
            "store": {
                "referenceName": "keyName",
                "type": "LinkedServiceReference"
            },
            "secretName": "secretName"
        },
        "existingClusterId": "1234-56789-abc123"
    }

Databricks 链接服务

标签： azureazure-devopsazure-data-factoryazure-databricks

解决方案

默认情况下，只有某些字段被参数化。但是您可以设置模板来自定义它们。它不是很漂亮 - 完整指南在这里：https ://docs.microsoft.com/en-us/azure/data-factory/continuous-integration-deployment#use-custom-parameters-with-the-resource-manager -模板

对于您的示例，我有一个如下所示的模板：

{
    "Microsoft.DataFactory/factories/linkedServices": {
        "*": {
            "properties": {
                "typeProperties": {
                    "existingClusterId": "="
                }
            }
        }
    }
}

该文件必须命名为 arm-template-parameters-definition.json 并放置在您的存储库的根目录中。

推荐阅读