时间戳

首页 > 解决方案 > 当 aws 胶水作业运行时间超过阈值时间时如何发送失败通知

amazon-web-services - 当 aws 胶水作业运行时间超过阈值时间时如何发送失败通知

问题描述

当 aws 胶水作业运行时间超过预期时，我有实现 sns 通知任务的方案。我怎样才能做到这一点

标签： amazon-web-services

解决方案

AWS Glue 中的CloudWatch Events 事件示例显示了来自 AWS Glue 的名为Timeout的事件：

{
    "version":"0",
    "id":"abcdef00-1234-5678-9abc-def012345678",
    "detail-type":"Glue Job State Change",
    "source":"aws.glue",
    "account":"123456789012",
    "time":"2017-11-20T20:22:06Z",
    "region":"us-east-1",
    "resources":[],
    "detail":{
        "jobName":"MyJob",
        "severity":"WARN",
        "state":"TIMEOUT",
        "jobRunId":"jr_abc0123456789abcdef0123456789abcdef0123456789abcdef0123456789def",
        "message":"Job run timed out"
    }
}

AWS Glue 现在支持 ETL 作业的超时值：

AWS Glue 现在允许您为提取、转换和加载 (ETL) 作业设置超时值，以防止作业失控...当达到指定的超时限制时，Glue 将终止 ETL 作业，停止对作业，并向 Amazon CloudWatch发送作业超时通知。

但是，如果您只想在给定时间段后收到通知，而不是终止工作，则此选项不适合。为此，您需要编写自己的系统来监控持续时间，这可能由作业的开始触发。

另请参阅：使用 CloudWatch 事件自动化 AWS Glue

推荐阅读