airflow - DagBag 没有按预期填充 dag
问题描述
我想测试我的 dag 以确保它们具有某些默认参数,并确保所有 dag 都没有导入错误。
我正在使用 DagBag 填充 dag,然后遍历每个 dag 并检查每个 dag 的值以确保它们是我想要的。
因为 DagBag 还可以获取气流附带的示例 dag,所以我正在传递参数,include_example = False
但是当我这样做时,我意识到我的任何 dag 都没有被拉入 dagbags。
我是否错误地使用了 DagBag?还是在测试时有另一种更好的方法来拉动和检查 dags?
我的代码
def test_no_import_errors():
dag_bag = DagBag(include_examples=False)
assert len(dag_bag.import_errors) == 0, "No Import Failures"
解决方案
当您构造 DagBag 对象时,您可以传递文件夹列表,DagBag 应该在其中查找 dag 文件。我想这是问题所在
推荐阅读
- r - get_timeline 与 rtweet 和最大值。推文号
- openlayers-3 - 如果这些图块不存在,则阻止在 OpenLayers 3 中加载图块
- python - Word2vec 词索引与 keras 分词器词索引不同
- python - 为什么我在循环中使用 Keras 顺序神经网络得到不同的预测?
- kubernetes - Kubernetes 控制计划 - 所有 kubectl 命令都失败并显示 403 Forbidden
- c# - unity 物体平滑旋转
- linux - 当发出 Vulkan 栅栏信号时,是否有一种简单的方法可以唤醒我的程序?
- wso2 - 如何在 WSO2 IS 中正确退出 OIDC
- python - Python/Selenium - 无法以无头模式下载文件
- python - ffmpeg 无法从 python subprocess.Popen 在 windows 中访问 USB 网络摄像头