azure-data-lake - Azure Datalake Analytics U-SQL 与 Azure Datalake Storage Gen 2

问题描述

问题：将 ADLA (U-SQL) 与 ADLS(Gen2) 一起使用的前进道路是什么？

我一直在美国东部地区通过 Azure 数据工厂 (ADF v2) 和 Azure Data Lake Store Generation 1 运行 Azure Data Lake Analytics (U-SQL) 作业已有一段时间了

我计划部署另一个实例来满足加拿大客户的需求，并希望设置 Azure Data Lake Store Generation 1

我尝试了什么：

我无法在加拿大中部（或任何加拿大地区）创建 Azure Datalake Storage Gen 1 帐户
我尝试迁移到 Azure Datalake Storage Gen2，但随后遇到了 Azure 数据工厂 - U-SQL 活动无法与 Gen2 存储链接服务链接以获取 U-SQL 脚本的问题

我偶然发现了有关此主题的多个链接：

这实质上是说 U-SQL / ADLA 不会支持 ADLS Gen2

我有点困惑，因为没有关于 ADLA 方向的官方文件

标签： azure-data-lakeazure-data-factory-2u-sqlazure-data-lake-gen2

更新：

这是我的 u-sql 活动的结构。它可以工作并成功处理：（您可以尝试创建一个新的 u-sql 活动 json 来替换您的 u-sql 活动。）

{
    "name": "pipeline4",
    "properties": {
        "activities": [
            {
                "name": "U-SQL1",
                "type": "DataLakeAnalyticsU-SQL",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "scriptPath": "test1/u-sql.txt",
                    "scriptLinkedService": {
                        "referenceName": "LinkTo0730",
                        "type": "LinkedServiceReference"
                    }
                },
                "linkedServiceName": {
                    "referenceName": "AzureDataLakeAnalytics1",
                    "type": "LinkedServiceReference"
                }
            }
        ],
        "annotations": []
    }
}

原答案：

我无法在加拿大中部（或任何加拿大地区）创建 Azure Datalake Storage Gen 1 帐户

就我而言，我也无法在加拿大中部地区创建 datalake gen1。这是我订阅的限制。但是您可以检查一下您身边的资源管理器，也许可以。（Azure 数据湖 gen1 是“Microsoft.DataLakeStore”）

所有区域都支持资源管理器，但可能并非所有区域都支持您部署的资源。此外，您的订阅可能存在限制，导致您无法使用支持该资源的某些区域。资源浏览器显示资源类型的有效位置。

请检查此文件：

https://docs.microsoft.com/en-us/azure/azure-resource-manager/management/resource-providers-and-types

我尝试迁移到 Azure Datalake Storage Gen2，但随后遇到了 Azure 数据工厂 - U-SQL 活动无法与 Gen2 存储链接服务链接以获取 U-SQL 脚本的问题

在我这边，似乎它正在读取 gen2 中的 u-sql 脚本，你有没有得到一些错误？

azure-data-lake - Azure Datalake Analytics U-SQL 与 Azure Datalake Storage Gen 2

问题描述

我尝试了什么：

解决方案

推荐阅读