首页 > 解决方案 > 在 Azure 数据工厂 v1 活动中指定非默认 YARN 队列

问题描述

我们有一个带有 HDInsightHive 类型活动的 ADFv1 管道,该活动将配置单元脚本提交到 Hadoop HDIndight 集群。查看管道的 JSON,似乎没有任何方法可以指定作业应提交到的 YARN 队列。

所以它假设作业总是被提交到默认队列。我在 ADFv1 文档中没有找到任何指定队列名称的内容(假设我们实际上使用容量调度程序在集群上创建了更多 YARN 队列)。

如果可能的话,有人可以提供示例 JSON 以在活动中指定 YARN 队列吗?另外,我的要求是专门针对 ADFv1,我也想知道这是否是 ADFv1 的限制,在 ADFv2 中是否已修复?

标签: azureazure-data-factoryazure-hdinsight

解决方案


目前,Azure 数据工厂不支持将活动提交到特定队列。

Azure 数据工厂活动始终提交到默认队列。

我建议您对另一个 Azure 客户提交的想法进行投票。

https://feedback.azure.com/forums/270578-data-factory/suggestions/32956186-hdinsightspark-activity-should-support-additional

你在这些论坛中分享的所有反馈都将由负责构建 Azure 的 Microsoft 工程团队进行监控和审查。


推荐阅读