redis - 带有redis的气流芹菜 - 6小时后超时

Question

我在使用作为经纪人时遇到了airflow 1.9.0一些麻烦CeleryExecutor。redis

我需要完成一项需要超过 6 个小时才能完成的工作，而我正在失去我的芹菜工人。查看 GitHub 中的气流代码，有一个硬编码配置：

https://github.com/apache/incubator-airflow/blob/d760d63e1a141a43a4a43daee9abd54cf11c894b/airflow/config_templates/default_celery.py#L31

我怎么能绕过这个问题？

标签： redisairflow

Answer 1

这可以在气流.cfg 部分下进行配置celery_broker_transport_options。

请参阅添加这种可能性的提交https://github.com/apache/incubator-airflow/commit/be79f87f36b6b99649e0a1f6ab92b41640b3beaa