时间戳

首页 > 解决方案 > 无法在 GCP Composer 上安装 pypi 包（google-cloud-bigquery）

google-cloud-composer - 无法在 GCP Composer 上安装 pypi 包（google-cloud-bigquery）

问题描述

我正在尝试google-cloud-bigquery==1.5.0在 GCP composer 上安装 PyPI 包，以便最近创建了一个新环境。我收到此错误：

Successfully installed google-cloud-bigquery-1.5.0 google-cloud-core-0.28.1 pypd-1.1.0 strict-rfc3339-0.7
+ [[ -z fail ]]
+ python3 -m pipdeptree --warn fail
Warning!!! Possibly conflicting dependencies found:
* google-cloud-translate==2.0.1
 - google-cloud-core [required: >=1.1.0,<2.0dev, installed: 0.28.1]
* google-cloud-storage==1.29.0

我尝试了另一个版本（2.2.0），它与其他一些谷歌预装的软件包有冲突。新的环境映像版本是composer-1.12.2-airflow-1.10.6. 几个月前创建了另一个环境，所有 pypi 包都安装成功，airflow dags 运行顺利，它的镜像版本是composer-1.10.0-airflow-1.10.6.

问题1：我认为当前问题与映像版本有关，可能我必须使用旧映像版本重新创建新环境，对吗？

问题 2：要创建新环境，我只有三个图像版本选项，即composer-1.12.2-airflow-1.10.6、composer-1.12.2-airflow-1.10.9、composer-1.12.2-airflow-1.10.10。如何使用图像版本 composer-1.10.0 创建环境？我们还有其他几个具有相同位置/区域但使用 composer-1.10.0 的项目和环境

标签： google-cloud-composer

解决方案

请查看Cloud Composer 支持的 Apache Airflow 和 Python 版本的官方文档。你可以参考Python 包自带的部分composer-1.12.2-airflow-1.10.6。特定的 Cloud Composer Airflow 版本已经附带了一组包含的软件包。当您升级/降级特定安装的 PyPi 包或尝试使用任何其他包时，您可能会遇到冲突。

就目前而言，没有办法在 Cloud Composer 环境中提前检查冲突。我想建议您调整您的软件包，以便能够在 Composer 环境之一中使用composer-1.12.4-airflow-1.10.10： composer-1.12.4-airflow-1.10.9或composer-1.12.4-airflow-1.10.6.

推荐阅读