google-cloud-platform - 在 GC Composer DAG 中使用 Cloud Functions 作为运算符

Question

各位码农，

对于一个项目，我有兴趣使用Google Cloud Composer处理多个工作流，这些工作流由可以在工作流之间共享的操作组成。

在我看来，Cloud Functions 是在 Composer DAG中执行这些操作的完美方式。

就我的理解而言，我需要一个操作员来调用具有特定 DAG 中任务的特定数据的云函数。

我在Airflow 文档中找到了一个 Google Cloud Function 运算符，但是，这些仅用于部署和删除云功能，而不是用于调用它们。

关于从云函数调用 DAG 的文章很多，但似乎没有关于将云函数用作 DAG 中的操作的文章。

示例用例：
每次将文档放在某个存储桶中时，我都想启动 DAG 工作流来分析该文档。该 DAG 可以包含各种任务，例如提取文档的发件人、对徽标进行分类或搜索特定单词。对于这些单独的任务，我想创建单独的云函数，这些函数在 DAG 中拼接在一起以构成我的工作流。

问题：
如何从 Google Composer DAG 中调用云函数？
人们是否有这方面的经验或有可用的示例代码？

提前致谢。

标签： google-cloud-platformgoogle-cloud-functionsgoogle-cloud-composer

Answer 1

HTTP 触发器可用于运行 Cloud Functions，因此您可以使用HTTP 运算符从 DAG 调用它们。DAG 运行调用 Cloud Function 触发器的任务，然后运行该函数。