kubernetes - 使用 Google Kubernetes Engine CPU 调整 Celery 并发性

Question

我正在编写一个在我的 Google Kubernetes Engine（GKE）中运行的应用程序，该引擎在 n2 台机器上运行（每个节点 2 个虚拟 CPU）。我的集群包含 3 个节点，因此有 6 个虚拟 CPU。

我使用以下命令在容器中运行 celery：

celery -A myapp worker --loglevel=INFO --concurrency=10 -n worker1@%h

而且我想知道最佳工作人员数量和每个工作人员的最佳并发性是多少，以便在不影响性能或丢失 redis 任务的情况下同时运行最大数量的 celery 任务。

关于两者之间的关系的一些解释将是精彩的。如果我想增加运行的任务数量，我应该增加worker的数量，还是同一个worker的并发，或者GKE集群大小（节点数）来分配更多的CPU？

标签： kubernetescelerygoogle-kubernetes-engine