python - kedro-airflow 创建抛出错误的 DAG
问题描述
我正在使用 kedro-airflow 为气流创建 DAG,但创建的 DAG 引发错误(见下文)。该流程只是一个测试流程 - 非常简单 - 使用 kedro 运行它运行时不会出错。Airflow 也可以毫无问题地运行其他 DAGS。
/home/ubuntu/anaconda3/envs/kedro-environment/lib/python3.7/site-packages/fsspec/implementations/local.py:33: FutureWarning: The default value of auto_mkdir=True has been deprecated and will be changed to auto_mkdir=False by default in a future release.
FutureWarning,
2020-06-19 15:29:56,812 - airflow.models.dagbag.DagBag - ERROR - Failed to import: /home/ubuntu/airflow/dags/b_dag.py
Traceback (most recent call last):
File "/home/ubuntu/anaconda3/envs/kedro-environment/lib/python3.7/site-packages/airflow/models/dagbag.py", line 236, in process_file
m = imp.load_source(mod_name, filepath)
File "/home/ubuntu/anaconda3/envs/kedro-environment/lib/python3.7/imp.py", line 171, in load_source
module = _load(spec)
File "<frozen importlib._bootstrap>", line 696, in _load
File "<frozen importlib._bootstrap>", line 677, in _load_unlocked
File "<frozen importlib._bootstrap_external>", line 728, in exec_module
File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
File "/home/ubuntu/airflow/dags/b_dag.py", line 98, in <module>
runner.run(pipeline, data_catalog)
File "/home/ubuntu/anaconda3/envs/kedro-environment/lib/python3.7/site-packages/kedro/runner/runner.py", line 97, in run
if self._is_async:
AttributeError: 'AirflowRunner' object has no attribute '_is_async'
有谁知道为什么会这样?
谢谢!
- 使用的 Kedro-Airflow 插件版本:0.2.2
- 气流版本:1.10.10
- 使用的 Kedro 版本(pip show kedro 或 kedro -V):0.16.2
- 使用的 Python 版本(python -V):3.7.7
- 操作系统和版本:macOS 版本 10.15.5 和 Ubuntu 18.04.4 LTS
解决方案
推荐阅读
- deep-learning - CNN中密集层的神经元数量
- python - 取消/中止请求
- javascript - 使用 formik 在 React 中将数据从一个组件传递到另一个组件
- html - 如何将按钮与“折扣”div 的底部对齐?
- python - 如何在通过断言检查 type() 时解决 AssertionError?
- c++ - 如何使用 QDataStream 从文件中读取二进制数据?
- javascript - 如何根据先前选择的下拉选项过滤数据?
- sql - SQL 仅返回另一个表中的数据不相同的条目
- autoit - HotKeySet() 问题
- database - 如何从appscript中的firestore获取对象数组