时间戳

首页 > 解决方案 > 如何自动启动 AI 平台作业？

google-cloud-platform - 如何自动启动 AI 平台作业？

问题描述

我创建了一个训练作业，我从大查询中获取我的数据，执行训练和部署模型。我想在这两种情况下自动开始训练：

  1. 超过 1000 个新行添加到数据集中
  2. 有时间表（例如，每周一次）

我检查了 GCP Cloud Scheduler，但它似乎不适合我的情况。

标签： google-cloud-platformgcp-ai-platform-training

解决方案

Cloud Scheduler 是按计划触发培训的正确工具。我不知道你的拦截器是什么！！

对于你的第一点，你不能。您不能放置触发器（在 BigQuery 或其他数据库上）以在 X 新行之后发送事件。为此，我建议您这样做：

  • 使用 Cloud Scheduler 安排作业（例如每 10 分钟）
  • 该作业在 BigQuery 中执行请求并检查自上次培训作业以来的行数（上次培训作业的日期必须在某个地方，我建议在另一个 BigQuery 表中）
    • 如果行数> 1000，则触发您正在运行的作业
    • 否则，退出函数

如您所见，这并不容易，并且有几个警告：

  • 部署模型时，还必须写下最近一次训练的日期
  • 您必须对 BigQuery 执行多次请求。正确分区表以限制成本

这对你有意义吗？

编辑

gcloud 命令是 API 调用的“简单”包装器。尝试将参数添加--http-log到您的 gcloud 命令中，以查看调用了哪个 API 以及使用了哪些参数。

无论如何，您可以通过调用此API开始工作，如果您愿意，可以使用--http-loggcloud SDK 的参数！

推荐阅读