python - 气流无法导入气流.providers

Question

我想导入 Airflow Google 提供商。所以我安装了它。

pip3 install apache-airflow-backport-providers-google

我能够看到包目录下的所有钩子和所有内容。

/usr/local/lib/python3.7/dist-packages/airflow/providers/google/cloud/transfer

但是当我运行导入命令时它失败了。

from airflow.providers.google.cloud.transfers.sql_to_gcs import BaseSQLToGCSOperator


Error:
Traceback (most recent call last):
  File "test1.py", line 8, in <module>
    from custom.custom_PostgresToGCSOperator import custom_PostgresToGCSOperator
  File "/root/airflow/dags/custom/custom_PostgresToGCSOperator.py", line 8, in <module>
    from airflow.providers.google.cloud.transfers.sql_to_gcs import BaseSQLToGCSOperator
ModuleNotFoundError: No module named 'airflow.providers'

标签： pythonairflow

Answer 1

升级到 2.0.0a1 时我遇到了同样的问题，我做了什么：

• 安装提供程序包
• 下载升级版本：
  • wget https://dist.apache.org/repos/dist/dev/airflow/2.0.0a1/apache-airflow-2.0.0a1-bin.tar.gz
• pip install apache-airflow-2.0.0a1-bin.tar.gz
• 气流数据库升级
• 气流调度器-D；气流网络服务器-D

另请参阅此https://cwiki.apache.org/confluence/display/AIRFLOW/AIP-8+Split+Providers+into+Separate+Packages+for+Airflow+2.0