时间戳

首页 > 解决方案 > Apache Airflow - BigQuery 运算符问题

python - Apache Airflow - BigQuery 运算符问题

问题描述

我正在使用以下库：

airflow.contrib.operators.bigquery_operator

在 Airflow UI 上，它会引发以下错误：

损坏的 DAG：[/home/vagrant/airflow/dags/data/gcp_bq_dag.py] (setuptools 28.8.0 (/home/vagrant/.sandbox/lib/python3.5/site-packages), Requirement.parse('setuptools >=34.0.0'), {'google-api-core'})

我已经安装了setuptools库，我拥有的版本是49.2.0.

Name: setuptools
Version: 49.2.0
Summary: Easily download, build, install, upgrade, and uninstall Python packages
Home-page: https://github.com/pypa/setuptools
Author: Python Packaging Authority
Author-email: distutils-sig@python.org
License: UNKNOWN
Location: /home/vagrant/.sandbox/lib/python3.5/site-packages
Requires: 
Required-by: zope.deprecation, python-daemon, protobuf, kiwisolver, jsonschema, ipython, google-auth, google-api-core

你能建议那里出了什么问题吗？

标签： pythongoogle-bigqueryairflow

解决方案

好的，它在气流用户界面上显示的错误似乎是一个重头戏：

损坏的 DAG：[/home/vagrant/airflow/dags/data/gcp_bq_dag.py] (setuptools 28.8.0 (/home/vagrant/.sandbox/lib/python3.5/site-packages), Requirement.parse('setuptools >=34.0.0'), {'google-api-core'})

实际问题是它缺少 pandas_gbq 包。这已记录在网络服务器日志中。我已经安装了 pandas_gbq 并解决了这个问题。

推荐阅读