azure - 下游调度程序启动中具有多个下游活动缓慢的 Azure 数据工厂管道

问题描述

我创建了一个包含两个链接活动的 ADF 管道，第一个活动运行存储过程，第二个活动（复制数据）将数据从 Azure DW 复制到 Azure SQL DB 表。为了将这两者联系起来，我将存储过程的输出数据集作为复制数据活动的输入，即使该数据集没有被使用（有一个单独的数据集）。

现在的问题是当我进入“监控和管理”并使用“在管道中重新运行上游”运行第二个活动时，第一个存储过程活动快速运行，然后第二个活动等待大约 5 分钟，然后更改为进行中。为什么会这样？是因为时间切片问题吗？管道代码如下：

{
"name": "RunADLAProc",
"properties": {
    "description": "This will run the procedure for ADLA",
    "activities": [
        {
            "type": "SqlServerStoredProcedure",
            "typeProperties": {
                "storedProcedureName": "dbo.BackUpDatabaseLog",
                "storedProcedureParameters": {}
            },
            "outputs": [
                {
                    "name": "AzureSQLDatasetOutputforProc"
                }
            ],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1,
                "retry": 3
            },
            "scheduler": {
                "frequency": "Day",
                "interval": 1
            },
            "name": "StoredProcedureActivityTemplate"
        },
        {
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "SqlDWSource",
                    "sqlReaderQuery": "select * from dbo.DatabaseLog"
                },
                "sink": {
                    "type": "SqlSink",
                    "writeBatchSize": 10000,
                    "writeBatchTimeout": "60.00:00:00"
                }
            },
            "inputs": [
                {
                    "name": "AzureSqlDWInput"
                },
                {
                    "name": "AzureSQLDatasetOutputforProc"
                }
            ],
            "outputs": [
                {
                    "name": "AzureSQLDatasetOutput"
                }
            ],
            "policy": {
                "timeout": "7.00:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Day",
                "interval": 1
            },
            "name": "CopyActivityTemplate"
        }
    ],
    "start": "2018-05-09T00:00:00Z",
    "end": "2018-05-12T00:00:00Z",
    "isPaused": false,
    "hubName": "testdatafactory-v1_hub",
    "pipelineMode": "Scheduled"
}}

标签： azureazure-data-factory

azure - 下游调度程序启动中具有多个下游活动缓慢的 Azure 数据工厂管道

问题描述

解决方案

推荐阅读