google-cloud-platform - 无论如何，是否可以根据计划而不是 GCP（谷歌云平台）中 dataproc 的策略自动扩展

Question

这是直截了当的。我正在开发的系统将在 dataproc（谷歌云平台）中提供，并且由于我们系统的一些业务特性，我们可以计算出未来处理的预期数据。所以，我只想基于它做横向扩展数据处理。

有什么想法可以通过我们这边实现的调度程序或 API 来横向扩展 dataproc 吗？

提前致谢。

标签： google-cloud-platformgoogle-cloud-dataproc

Answer 1

对于这种情况，您应该结合使用云调度程序和手动横向扩展方法。

创建云调度程序作业运行手动横向扩展 API 调用，如下所示。

您必须了解cron 语法才能将 cron 调度用于您的缩放作业。

在这种情况下，您只能指定集群使用的节点数，而不是增量节点数。这是此解决方案的限制。下面是 API 调用的示例。

PATCH /v1/projects/project-id/regions/us-central1/clusters/example-cluster?updateMask=config.worker_config.num_instances,config.secondary_worker_config.num_instances
{
  "config": {
  "workerConfig": {
  "numInstances": 4
},
"secondaryWorkerConfig": {
  "numInstances": 2
}
  },
  "labels": null
}

有关 Dataproc API 的详细说明，请参阅此处。