时间戳

首页 > 解决方案 > 为什么我不能在 Kubernetes 上水平扩展一个简单的 HTTP/2 服务？

nginx - 为什么我不能在 Kubernetes 上水平扩展一个简单的 HTTP/2 服务？

问题描述

我已经部署了一些简单的服务作为概念证明：使用https://stackoverflow.com/a/8217856/735231修补以实现高性能的 nginx Web 服务器。

我还进行了编辑/etc/nginx/conf.d/default.conf，使该行listen 80;变为listen 80 http2;.

我正在使用 Locust 分布式负载测试工具，它带有一个交换requests模块的类，hyper以测试 HTTP/2 工作负载。这在性能方面可能不是最佳的，但我可以产生许多蝗虫工人，所以这不是一个大问题。

为了测试，我在 GKE 上生成了一个由 5 台机器组成的集群，2 个 vCPU，每台 4GB RAM，安装了 Helm 和这些服务的图表（如果有用，我可以稍后将它们发布在 gist 上）。

我用 min_time=0 和 max_time=0 测试了 Locust，以便它产生尽可能多的请求；有 10 个工作人员针对单个 nginx 实例。

有 10 个工作人员，总共 140 个“客户”，我每秒收到约 2.1k 个请求 (RPS)。

10 workers, 260 clients: I get ~2.0k RPS
10 workers, 400 clients: ~2.0k RPS

现在，我尝试水平扩展：我生成 5 个 nginx 实例并获得：

10 workers, 140 clients: ~2.1k RPS
10 workers, 280 clients: ~2.1k RPS
20 workers, 140 clients: ~1.7k RPS
20 workers, 280 clients: ~1.9k RPS
20 workers, 400 clients: ~1.9k RPS

如图所示，资源使用率非常低kubectl top pod（这是针对 10 个工作人员，280 个客户端；nginx 不受资源限制，蝗虫工作人员每个 pod 限制为 1 个 CPU）：

user@cloudshell:~ (project)$ kubectl top pod
NAME                           CPU(cores)   MEMORY(bytes)
h2test-nginx-cc4d4c69f-4j267   34m          68Mi
h2test-nginx-cc4d4c69f-4t6k7   27m          68Mi
h2test-nginx-cc4d4c69f-l942r   30m          69Mi
h2test-nginx-cc4d4c69f-mfxf8   32m          68Mi
h2test-nginx-cc4d4c69f-p2jgs   45m          68Mi
lt-master-5f495d866c-k9tw2     3m           26Mi
lt-worker-6d8d87d6f6-cjldn     524m         32Mi
lt-worker-6d8d87d6f6-hcchj     518m         33Mi
lt-worker-6d8d87d6f6-hnq7l     500m         33Mi
lt-worker-6d8d87d6f6-kf9lj     403m         33Mi
lt-worker-6d8d87d6f6-kh7wt     438m         33Mi
lt-worker-6d8d87d6f6-lvt6j     559m         33Mi
lt-worker-6d8d87d6f6-sxxxm     503m         34Mi
lt-worker-6d8d87d6f6-xhmbj     500m         33Mi
lt-worker-6d8d87d6f6-zbq9v     431m         32Mi
lt-worker-6d8d87d6f6-zr85c     480m         33Mi

我在 GKE 上描述了这个测试以便于复制，但我在私有云集群中得到了相同的结果。

为什么我产生多少个服务实例似乎并不重要？

更新：根据第一个答案，我正在使用节点上的信息以及单个 Locust 工作人员发生的情况来更新信息。

1 worker, 1 clients: 22 RPS
1 worker, 2 clients: 45 RPS
1 worker, 4 clients: 90 RPS
1 worker, 8 clients: 174 RPS
1 worker, 16 clients: 360 RPS
32 clients: 490 RPS
40 clients: 480 RPS (this seems over max. sustainable clients per worker)

但最重要的是，似乎根本问题在于我处于容量极限：

user@cloudshell:~ (project)$ kubectl top pod
NAME                                 CPU(cores)   CPU%      MEMORY(bytes)   MEMORY%
gke-sc1-default-pool-cbbb35bb-0mk4   1903m        98%       695Mi           24%
gke-sc1-default-pool-cbbb35bb-9zgl   2017m        104%      727Mi           25%
gke-sc1-default-pool-cbbb35bb-b02k   1991m        103%      854Mi           30%
gke-sc1-default-pool-cbbb35bb-mmcs   2014m        104%      776Mi           27%
gke-sc1-default-pool-cbbb35bb-t6ch   1109m        57%       743Mi           26%

标签： nginxkuberneteshorizontal-scaling

解决方案

如果我理解正确，您确实在与您的 pod 相同的集群/节点上运行负载测试，这肯定会对整体结果产生影响，我建议您将客户端与服务器分开在不同的节点上，这样一个不会影响彼此。

对于您报告的值，可以清楚地看到工作人员消耗的 CPU 比 nginx 服务器多。

您应该检查：

  • 主机 CPU 利用率，它可能因上下文切换而承受高压，因为线程数量远高于可用 CPU 的数量。
  • 网络瓶颈，也许您可​​以尝试添加更多节点或增加工作人员容量（SKU）并将客户端与服务器分开。
  • 客户端没有足够的容量来生成负载，您增加线程但原始限制是相同的

您还应该测试单个服务器的容量以验证每个服务器的限制，因此您有一个参数来比较结果是否符合预期值。

推荐阅读