amazon-s3 - 使用 s3 连接的 EKS 上的 Airflow 1.10.6 kubernetes 执行器，任务通过测试但 dag 运行失败

Question

我试过： - 从 value.yaml 配置 s3 连接：

• 连接：
  • id：aws_default
    类型：aws
    登录名：xxxaws_access_key_idxxx
    密码：xxxxxxxxxxxxxxxaws_secret_access_keyxxxxxxxxxxxxxxxxxx
    
  • id：my_s3
    类型：s3
    登录：xxxaws_access_key_idxxx
    密码：xxxxxxxxxxxxxxxaws_secret_access_keyxxxxxxxxxxxxxxxxxx
    

2. 编写使用 s3Hook 的 DAG 并将字符串写入 s3。
   
3. 从调度程序 pod 运行测试：
   /入口点气流测试 dag_id task_id date_before_the_start_data_of_DAG
   
4. 文件已创建，内容正常
   
5. @ Airflow UI 激活
   DAG 并运行它已排队并失败。
   有什么建议么？
   

顺便说一句，DAG ARGS：

args = {
    'owner': 'airflow',
    'start_date': airflow.utils.dates.days_ago(0),
    'trigger_rule': 'dummy',
    #'pool': 'my_workers_pool',
    'catchup': False, # dont fill back
}

此外，我在导致 DAG 失败的任务中添加了 5 分钟睡眠，并在 kubectl 上观察了 pod 创建，但任务开始了几秒钟并消失了。任何想法如何调试这个问题？

来自任务 pod 的日志：

kubectl 日志 postgressexamplesababaegozimpostgress-7322d44cb2684a09bef95ad3080b9505 -n airflow-research-p-8482f --tail=200 [2020-08-24 12:04:44,262] {{settings.py:252}} INFO - settings.configure_orm()：使用池设置。pool_size=5, max_overflow=10, pool_recycle=1800, pid=1 /usr/local/lib/python3.7/site-packages/psycopg2/init .py:144: UserWarning : The psycopg2 wheel package will be rename from release 2.8 ; 为了继续从二进制安装，请改用“pip install psycopg2-binary”。有关详细信息，请参阅：http: //initd.org/psycopg/docs/install.html#binary-install-from-pypi。""") [2020-08-24 12:04:44,833] {{ init .py:51}} 信息 - 使用执行器 LocalExecutor [2020-08-24 12:04:44,834] {{dagbag.py:92} } 信息

• 在 import boto3 ModuleNotFoundError: No module named 'boto3' args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/utils/cli.py", line 74, in wrapper return f (*args, **kwargs) 文件“/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py”，第 529 行，运行 dag = get_dag(args) 文件“/usr/ local/lib/python3.7/site-packages/airflow/bin/cli.py"，第 148 行，在 get_dag 'parse.'.format(args.dag_id)) 气流.异常.AirflowException：dag_id 找不到： postgress_example。dag 不存在或无法解析。第 529 行，在运行中 dag = get_dag(args) 文件“/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py”，第 148 行，在 get_dag 'parse.'.format(args .dag_id））airflow.exceptions.AirflowException：找不到dag_id：postgress_example。dag 不存在或无法解析。第 529 行，在运行中 dag = get_dag(args) 文件“/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py”，第 148 行，在 get_dag 'parse.'.format(args .dag_id））airflow.exceptions.AirflowException：找不到dag_id：postgress_example。dag 不存在或无法解析。

标签： amazon-s3kubernetesairflowkubernetes-pod