时间戳

首页 > 解决方案 > AWS Glue 作业中的资源不可用错误

amazon-web-services - AWS Glue 作业中的资源不可用错误

问题描述

我们正在使用 AWS Glue 服务将 json 文件转换为 parquet。间歇性胶水作业因资源不可用错误而失败。任何人都可以帮助我们如何解决同样的问题吗？

标签： amazon-web-servicesaws-glue

解决方案

我也经历过几次“资源不可用”异常，但它在他们身边（服务），他们正在积极努力改进它。

我已经就这个例外开了一张支持票，他们说：

Glue 在后端创建一个新的 spark 环境，以便运行根据账户 ID、IAM 角色、子网 ID 和安全组提交的作业。在不同的 IAM 用户下运行 Glue 作业可能有助于缓解此问题。通过这样做，Glue 在后端创建一个新的 spark 环境，以便运行由不同 IAM 角色或不同 accountID 提交的作业。

因此，如果您的帐户有多个同时运行的作业并且“资源不可用”错误不断出现，我建议您创建不同的 IAM 角色并在它们之间拆分作业以缓解此特定问题。

推荐阅读