airflow - 如何检查气流测试的输出?
问题描述
我尝试了气流教程 DAG,它与调度程序一起使用,我可以看到调度运行生成的日志。但是如果我使用命令行测试,我没有看到输出:
airflow test my_tutorial_2 templated 2018-09-08
[2018-09-10 15:41:43,121] {__init__.py:51} INFO - Using executor SequentialExecutor
[2018-09-10 15:41:43,281] {models.py:258} INFO - Filling up the DagBag from /Users/xiang/Documents/BigData/airflow/dags
[2018-09-10 15:41:43,338] {example_kubernetes_operator.py:54} WARNING - Could not import KubernetesPodOperator: No module named 'kubernetes'
[2018-09-10 15:41:43,339] {example_kubernetes_operator.py:55} WARNING - Install kubernetes dependencies with: pip install airflow['kubernetes']
这就是所有的输出,而我的输出不在那里。
气流版本是:
▶ pip list
Package Version
---------------- ---------
alembic 0.8.10
apache-airflow 1.10.0
解决方案
如果您使用 Ariflow v1.10,您可以将 taskinstance logger 的传播属性设置为 True,然后日志记录将传播到使用控制台处理程序的根 logger,并打印到 sys.stdout。
ti.log.propagate = True
在第 589 行之后添加到site-packages/airflow/bin/cli.py可以做到这一点。
推荐阅读
- css - 字体 IranSansX 在 chrome 中无法正常工作
- c# - MongoDB和Oracle之间难以理解的问题(动态组装)
- c# - 发布抽象单元测试,以帮助确保 3rd 方接口实现的质量?
- linux - 如何从 Linux 中的 shell 脚本调用另一个 shell 脚本
- kubernetes - 用户系统描述/扩展部署时出现禁止错误:node:ip.xx
- python - 如何将所有已安装在 Python 轮中的依赖项包含在内?
- python - 如何重塑数据以修复“RuntimeError:内核大小不能大于实际输入大小”
- python - 我试图用标题垂直打印 csv 数据,但它总是以水平线打印。有人可以看看我的代码吗
- symfony - Twig 变量在块外的扩展页面上不可用?
- django - 我们如何才能在 django-simple-history 中只保留删除操作