airflow - AWS Airflow 上的作业失败
问题描述
我最近开始研究 Amazon MWAA,并且能够设置环境并上传 DAG。当我尝试运行该作业时,它会失败而不会创建任何日志。 失败任务的快照
如果有人可以看一下,将不胜感激:)
下面是 DAG 代码:
from airflow.operators.python_operator import PythonOperator
from datetime import datetime, timedelta
from airflow.operators.sensors import TimeDeltaSensor
import boto3
import json
default_args = {
'owner': 'AM',
'start_date': datetime(2021, 3, 25)
}
glue_client = boto3.client('glue', region_name='us-east-1')
def run_glue_job():
glue_client.start_job_run(JobName='RunJob')
with DAG('runglue', default_args=default_args, schedule_interval=timedelta(days=30)) as dag:
rungluejob = PythonOperator(task_id='task1',python_callable=run_glue_job)
rungluejob
解决方案
推荐阅读
- sql-server - 使用唯一 ID 更新数千条 SQL 记录的脚本
- javascript - 如何从
- database - Laravel 迁移:不同连接(不同数据库)上的外键
- php - 谷歌解析 URLS 电子表格和更改字符
- python - 来自 nipype.interfaces.ants 导入 N4BiasFieldCorrection 的 python 问题
- xamarin - 第一次在 Xamarin.Android 中访问资源很慢
- java - 如果不是所有字符串都是可解析的,则强制 DecimalFormat 抛出 ParseException
- python - TypeError:输入必须是元组的列表/序列
- java - Java程序未输出等式的正确值
- perl - 如何拆分字符串