google-cloud-run - Google Cloud Run 有一天会支持 GPU/TPU 吗？

Question

到目前为止，Google Cloud Run 支持 CPU。有计划支持 GPU 吗？如果 GPU 可用，那就太酷了，然后我可以演示 DL 项目，而无需真正运行超级昂贵的 GPU 实例。

标签： google-cloud-run

Answer 1

到目前为止，Google Cloud Run 支持 CPU。有计划支持 GPU 吗？如果 GPU 可用，那就太酷了，然后我可以演示 DL 项目，而无需真正运行超级昂贵的 GPU 实例。

我严重怀疑。GPU/TPU 是专用硬件。Cloud Run 是一种托管容器服务，它：

1. 使您能够运行可通过 HTTP 请求调用的无状态容器。这意味着不支持 CPU 密集型应用程序。在 HTTP 请求/响应之间，CPU 空闲到接近于零。您昂贵的 GPU/TPU 会闲置。
2. 根据每秒的请求数自动缩放。在几秒钟内启动 10,000 个实例很容易实现。想象一下，如果客户可以推出这么多 GPU/TPU 和账单规模，谷歌将是一场计费支持的噩梦。
3. 以 100 毫秒的时间间隔计费。大多数请求适合几百毫秒的执行。对于 CPU/GPU/TPU 集成来说，这不是一个好的执行或商业模式。
4. 提供一种计费模型，可在不使用时将 Web 服务的成本显着降低到接近于零。您只需支付存储容器映像的费用。当在服务 URL 处接收到 HTTP 请求时，容器图像被加载到执行单元中并继续处理请求。一旦请求停止，计费和资源使用也会停止。

GPU/TPU 类型的数据处理最好由保护和管理这些处理器设备提供的处理能力和成本的后端实例提供。