google-cloud-platform - 在 GCP 中创建参数化 Vertex AI 管道

Question

在我们的应用程序中，我们目前公开了一个 UI，用户可以在其中选择一些基本设置（模型类型、输入特征、超参数）来指定预测模型。每次用户指定这样的模型时，后端 python 应用程序都会查看这些设置，从相关数据库中提取训练数据，训练相关模型并存储模型文件，然后在预测时使用该文件。然后根据固定频率重新训练模型。我们正在寻求用 GCP 替换整个流程，但我不确定这方面的正确方法。我最初的想法是将整个后端应用程序编写为单个 VertexAI 管道，只要用户指定模型，管道就会运行并创建和部署模型（自定义或 AutoML），然后在预测时使用该模型。我不确定我是否可以执行以下操作：

1. 由于每次用户指定模型时都会运行一个管道，因此需要对管道进行参数化。假设用户为指标 A 指定模型，管道创建并部署模型 1，然后对于指标 B，管道部署模型 2，依此类推。所以管道需要参数化。
2. 我们真的可以从管道中的不同来源（BigQuery、Cloud Storage 除外）提取数据吗？
3. 我如何分别为每个模型安排管道运行，即模型 A 需要每两周训练一次，模型 B 需要每周训练一次等。由于只有 1 个管道和许多已部署的模型，我什至不知道如何设置管道的调度。

我对 GCP Vertex AI 和探索事物还比较陌生，所以我不确定我是否走在正确的道路上。这个用例的单个管道是否有意义，或者我是否应该考虑编写一个自定义 python 应用程序，然后在每次请求模型时创建一个新管道？

标签： google-cloud-platformkubeflow-pipelinesgoogle-cloud-vertex-ai