时间戳

首页 > 解决方案 > AWS Glue：无法识别 --extra-files 参数

amazon-web-services - AWS Glue：无法识别 --extra-files 参数

问题描述

我--extra-files在 Glue 上指定为作业参数，但前端对此不满意，如下图所示：

--前端无法识别的额外文件

无论如何，我能够保存我的工作并成功运行它：

def read_yaml(config_file_name: str) -> dict:

    with open(config_file_name, 'r') as stream:
        try:
            return yaml.safe_load(stream)
        except yaml.YAMLError as exc:
            logger.info(exc)

config = read_yaml(config_file_name=CONFIG_FILE_NAME)
logger.info(config)

然后非常奇怪的是，如果我再次检查作业参数，然后-extra-files消失，如果我再次运行作业，它仍然会读取我存储在 S3 中的配置文件。

任何人都可以解释：（1）为什么会--extra-files产生前端错误，以及（2）为什么作业虽然--extra-files没有设置但运行顺利？

谢谢！

标签： amazon-web-servicesamazon-s3aws-glue

解决方案

这只是 AWS Glue 的怪癖之一。'--extra-files' 相当于 UI 控制台上的 'Referenced Files Path'。

通常，在使用 CLI 或 CloudFormation 创建新的 Glue 作业时，我们使用“--extra-files”来设置此值。但是，在控制台上，可以在“安全配置、脚本库和作业参数”部分中设置此参数--->“参考文件路径”

成功设置后，您将不再将其视为“作业参数”部分中的单独键。相反，它将在作业详细信息选项卡中显示（信不信由你）一个全新的名称 - “其他库路径”

推荐阅读