github - 是否可以在 Google Cloud Composer 上安装 github 存储库
问题描述
作为标题,我们可以在requirements.txt文件中设置 pypi 包并使用命令
gcloud beta composer environments update env_name --update-pypi-packages-from-file requirements.txt --location location
更新云作曲家环境。
但是它是否支持在 requirements.txt 中安装自定义 github repo?我尝试添加如下链接:
pkg_name @ git+ssh://git@github.com/my_account/pkg_repo.git#master
它不起作用。
谢谢!
更新: 我有一个解决方法是将库放入插件中。但在我们的案例中,我认为最好的策略是从 github 安装一个包。
解决方案
不,它不支持以这种方式安装自定义库。在此处的文档中,您可以看到如何 --update-pypi-packages
仅与Python 包索引中的库一起使用:
您可以通过 Google Cloud Platform Console 从 Python 包索引安装 Python 依赖项,或者使用 gcloud 命令行工具向环境发出部分更新请求。
您有三个备选方案:
安装本地 Python 库。
使用插件功能。
使用 KubernetesPodOperator。
使用本地 Python 库安装非常简单: 1. 在您的 composer GCS 存储桶中,在 dags 文件夹中创建一个dependencies
文件夹并在其中添加您的库模块(不要忘记添加必要的“ init .py”文件) )。2.然后只需执行以下操作:
from dependencies import your_module
推荐阅读
- jmeter - 在 Jmeter 中是否有一个只报告事务控制器响应的侦听器?
- java - 并发:乘法矩阵。有人可以详细说明 concurrent.multi 以及为什么它在我的代码中不起作用
- oracle11g - Oracle - 如何以最小/最大速率显示 [Apartments] 总数(嵌套聚合函数问题)
- salesforce - 如何使用测试未运行检查为代码块创建测试场景
- java - 我无法通过命令提示符运行基本程序,但我可以通过 IDE 运行它
- airflow - 计划的 DAG 未运行。我如何诊断问题?
- python - 拆分文本而不丢失分隔符
- php - 将 ID 重写为 .htaccess 中的斜线
- python - 为什么这是遍历 MultiWidget 的子小部件的正确方法?
- c - 这种“结构继承”技术是否保证有效,还是依赖于实现?