airflow - 从 Airflow DAG 记录到单独的自定义日志文件中
问题描述
我们有许多 python 进程,它们都实现了一个通用的记录器设置,它将所有内容记录到同一个文件并每天轮换文件。
我们最近开始改用 Airflow。最初我们使用 BashOperators,但我们想开始使用 PythonOperators 以利用 Airflow 的更多功能。但是,当我们从 DAG 调用日志记录设置时,日志记录设置似乎没有得到应用。我尝试了许多方法,从our_custom_logging.setup()
在 DAG 顶部调用到将其放入 python 可调用对象中:
def python_callable():
our_custom_logging.setup()
run_job()
似乎这仍然总是在标准 Airflow 日志位置结束。我知道我们可以如何更改 Airflow 日志记录配置,但我们仍然希望将这些日志存储并在 UI 中可见,因此理想情况下,我们只想在 Airflow 旁边添加额外的日志处理。这有可能吗?
解决方案
推荐阅读
- swift - 尝试将 Result 类型与委托一起使用时出错
- javascript - 如何通过ajax用默认对象填充选择
- progressive-web-apps - Angular PWA 离线存储
- sql - 我将如何在 MVC 控制器中使用 SQL 查询,并获取在 PDF 中显示的值
- python - 有没有办法在 PyCharm 调试器中查看变量中的最后 100 个元素?
- visual-studio-code - VSCode 状态栏 - 这个符号是什么意思
- java - 无法使用 OracleDB 实例化持久化程序 org.hibernate.persister.entity.JoinedSubclassEntityPersister
- reactjs - 如何将状态传递给 React JS 高阶组件
- c - 在循环内声明时数组基地址正在更改
- react-hooks - 样式不能应用于按钮 - React Hooks