azure - 在 Azure 数据工厂 v1 活动中指定非默认 YARN 队列
问题描述
我们有一个带有 HDInsightHive 类型活动的 ADFv1 管道,该活动将配置单元脚本提交到 Hadoop HDIndight 集群。查看管道的 JSON,似乎没有任何方法可以指定作业应提交到的 YARN 队列。
所以它假设作业总是被提交到默认队列。我在 ADFv1 文档中没有找到任何指定队列名称的内容(假设我们实际上使用容量调度程序在集群上创建了更多 YARN 队列)。
如果可能的话,有人可以提供示例 JSON 以在活动中指定 YARN 队列吗?另外,我的要求是专门针对 ADFv1,我也想知道这是否是 ADFv1 的限制,在 ADFv2 中是否已修复?
解决方案
目前,Azure 数据工厂不支持将活动提交到特定队列。
Azure 数据工厂活动始终提交到默认队列。
我建议您对另一个 Azure 客户提交的想法进行投票。
你在这些论坛中分享的所有反馈都将由负责构建 Azure 的 Microsoft 工程团队进行监控和审查。
推荐阅读
- sql-server - 如何在 Excel 文件中获取值并多次重复执行存储过程?
- python - 当矩阵与向量一起存储时,进行无循环矩阵乘法
- javascript - 如何使用 getUserMedia videoConstraints 在 Firefox 中更改相机视频的宽度和高度?
- python - KivyMD BoxLayout:框布局中的 MDButtons 和工具栏问题
- babeljs - 重新导出 - SyntaxError:意外的令牌“导出”
- r - 如何使情节对用户输入做出反应?
- python - 无法在 AWS EMR Spark 应用程序上运行 MapReduce 作业
- python - 如何在滚动时重试 429 错误
- c# - .NET Framework 3.5 的 MEF 等效项?
- django - 使用 M2M 字段 (DRF) 请求后如何进行计算