时间戳

首页 > 解决方案 > GKE Kubernetes Autoscaler - 最大集群 cpu，达到内存限制

kubernetes - GKE Kubernetes Autoscaler - 最大集群 cpu，达到内存限制

问题描述

GKE Autoscaler 不会在 15 个节点之后扩展节点（以前的限制）

我已将 Cluster 中的MinandMax值更改为 17-25

在此处输入图像描述 但是节点数停留在 14-15 并且没有增加，现在我的集群已满，没有更多的 pod 可以容纳，所以每个新部署都应该触发节点扩展并将自己安排到新节点上，这不是正在发生。

当我创建部署时，它卡在Pending状态并显示一条消息：

pod didn't trigger scale-up (it wouldn't fit if a new node is added): 1 max cluster cpu, memory limit reached

Max cluster cpu, memory limit reached 听起来最大节点数仍然是 14-15，这怎么可能？为什么它没有触发节点扩展？

ClusterAutoscaler状态：

apiVersion: v1
data:
  status: |+
    Cluster-autoscaler status at 2020-03-10 10:35:39.899329642 +0000 UTC:
    Cluster-wide:
      Health:      Healthy (ready=14 unready=0 notStarted=0 longNotStarted=0 registered=14 longUnregistered=0)
                   LastProbeTime:      2020-03-10 10:35:39.608193389 +0000 UTC m=+6920.650397445
                   LastTransitionTime: 2020-03-10 09:49:11.965623459 +0000 UTC m=+4133.007827509
      ScaleUp:     NoActivity (ready=14 registered=14)
                   LastProbeTime:      2020-03-10 10:35:39.608193389 +0000 UTC m=+6920.650397445
                   LastTransitionTime: 2020-03-10 08:40:47.775200087 +0000 UTC m=+28.817404126
      ScaleDown:   NoCandidates (candidates=0)
                   LastProbeTime:      2020-03-10 10:35:39.608193389 +0000 UTC m=+6920.650397445
                   LastTransitionTime: 2020-03-10 09:49:49.580623718 +0000 UTC m=+4170.622827779

    NodeGroups:
      Name:        https://content.googleapis.com/compute/v1/projects/project/zones/europe-west4-b/instanceGroups/adjust-scope-bff43e09-grp
      Health:      Healthy (ready=14 unready=0 notStarted=0 longNotStarted=0 registered=14 longUnregistered=0 cloudProviderTarget=14 (minSize=17, maxSize=25))
                   LastProbeTime:      2020-03-10 10:35:39.608193389 +0000 UTC m=+6920.650397445
                   LastTransitionTime: 2020-03-10 09:46:19.45614781 +0000 UTC m=+3960.498351857
      ScaleUp:     NoActivity (ready=14 cloudProviderTarget=14)
                   LastProbeTime:      2020-03-10 10:35:39.608193389 +0000 UTC m=+6920.650397445
                   LastTransitionTime: 2020-03-10 09:46:19.45614781 +0000 UTC m=+3960.498351857
      ScaleDown:   NoCandidates (candidates=0)
                   LastProbeTime:      2020-03-10 10:35:39.608193389 +0000 UTC m=+6920.650397445
                   LastTransitionTime: 2020-03-10 09:49:49.580623718 +0000 UTC m=+4170.622827779

部署非常小！（200m CPU，256Mi mem）所以如果添加新节点它肯定会适合。

看起来像 nodepool/autoscaler 中的一个错误，因为 15 是我以前的节点数限制，不知何故，它看起来仍然是 15 的顶部。

编辑： 具有更大机器的新节点池，GKE 中的自动缩放打开，一段时间后仍然是同样的问题，即使节点有空闲资源。来自节点的顶部：

NAME                                                  CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%   
gke-infrastructure-n-autoscaled-node--0816b9c6-fm5v   805m         41%    4966Mi          88%       
gke-infrastructure-n-autoscaled-node--0816b9c6-h98f   407m         21%    2746Mi          48%       
gke-infrastructure-n-autoscaled-node--0816b9c6-hr0l   721m         37%    3832Mi          67%       
gke-infrastructure-n-autoscaled-node--0816b9c6-prfw   1020m        52%    5102Mi          90%       
gke-infrastructure-n-autoscaled-node--0816b9c6-s94x   946m         49%    3637Mi          64%       
gke-infrastructure-n-autoscaled-node--0816b9c6-sz5l   2000m        103%   5738Mi          101%      
gke-infrastructure-n-autoscaled-node--0816b9c6-z6dv   664m         34%    4271Mi          75%       
gke-infrastructure-n-autoscaled-node--0816b9c6-zvbr   970m         50%    3061Mi          54%

然而仍然是消息1 max cluster cpu, memory limit reached。更新部署时仍然会发生这种情况，新版本有时会卡住，Pending因为它不会触发扩展。

EDIT2： 在使用云命令描述集群时，我发现了这一点：

autoscaling:
  autoprovisioningNodePoolDefaults:
    oauthScopes:
    - https://www.googleapis.com/auth/logging.write
    - https://www.googleapis.com/auth/monitoring
    serviceAccount: default
  enableNodeAutoprovisioning: true
  resourceLimits:
  - maximum: '5'
    minimum: '1'
    resourceType: cpu
  - maximum: '5'
    minimum: '1'
    resourceType: memory

这在启用自动缩放的情况下如何工作？如果达到这些，它不会触发放大吗？（总和已经超过了）

标签： kubernetesgoogle-kubernetes-engine

解决方案

我遇到了同样的问题，我把头撞在墙上试图弄清楚发生了什么。连支持都想不通。

问题是，如果您在集群级别启用节点自动配置，您将设置整个集群允许的实际最小/最大 cpu 和内存。乍一看，UI 似乎在建议每个自动配置的节点所需的最小/最大 cpu 和内存 - 但这是不正确的。因此，例如，如果您想要最多 100 个节点，每个节点有 8 个 CPU，那么您的最大 CPU 应该是 800。我知道集群的最大值显然很有用，所以事情不会失控，但它的方式是呈现不直观。由于您实际上无法控制为您的机器类型选择的内容，您不认为不让 kubernetes 为 1 核任务选择 100 核机器会很有用吗？这就是我在配置它时认为它在问的问题。

节点自动配置很有用，因为如果由于某种原因您在自己的节点池上进行了自动配置，有时由于配额问题而无法满足您的需求，那么集群级别的节点自动配置器将找出不同的节点池它可以配置以满足您的需求的机器类型。在我的场景中，我使用的是 C2 CPU，并且该地区的这些 CPU 很稀缺，因此我的节点池停止了自动缩放。

更令人困惑的是，大多数人从指定他们的节点池机器类型开始，因此他们已经习惯于在每个节点的基础上自定义这些限制。但是随后某些事情停止工作，就像您不知道的配额问题一样，因此您绝望并在集群级别配置节点自动配置器，但随后完全搞砸了，因为您认为您正在为新的潜在机器类型指定限制。

希望这有助于澄清一些事情。

推荐阅读