amazon-web-services - 并行运行数千个容器的云计算服务

Question

有没有提供开箱即用的选项的提供商？我需要为复杂的 UI 测试运行至少 1K 的无头 Web 浏览器（firefox）并发会话（docker 容器）。我有一个 Docker 映像，我只想在几秒钟内部署并扩展到 1000 个 1CPU/1GB 实例，无需花时间维护服务器集群（我需要在工作完成后将它们全部关闭），只需专注在代码上。到目前为止，我发现的最接近的是 Amazon ECS/Fargate，但它们的限制对我来说毫无意义（“在生产中运行容器化应用程序”-> 最大限制：50 个任务-> 生产-> ok）。我错过了什么吗？

标签： amazon-web-servicesdockergoogle-cloud-platformcluster-computingdevops

Answer 1

我认为AWS Batch可能是您的用例的更好解决方案。您定义一个提供一定容量级别的“计算环境”，然后提交在该计算环境上运行的任务。

我认为您不会找到任何可以在“一秒”内启动环境并部署大量任务的东西：根据我的经验，Batch 大约需要一两分钟的启动时间，尽管一旦机器已启动并运行，它们能够快速排序作业。您还应该考虑同时运行所有 1,000 个作业是否有意义；这将取决于你试图从你的测试中得到什么。

您还需要注意可能会限制您的任何地方（例如，从 AWS Parameter Store 检索配置）。去年纽约峰会的这次演讲涵盖了演讲者在部署数千个并发任务时遇到的一些问题。