kubernetes - 在 kubernetes 中自动缩放期间某些请求失败

Question

我在 microk8s 上建立了一个 k8s 集群，并将我的应用程序移植到它上面。我还添加了一个水平自动缩放器，它根据 cpu 负载添加 pod。自动缩放器工作正常，当负载超出目标时它会添加 pod，并且当我在一段时间后移除负载时，它会杀死 pod。

问题是我在完全相同的时刻注意到自动缩放器正在创建新的 Pod，一些请求失败：

POST Response Code :  200
POST Response Code :  200
POST Response Code :  200
POST Response Code :  200
POST Response Code :  200
POST Response Code :  502
java.io.IOException: Server returned HTTP response code: 502 for URL: http://10.203.101.61/gateway/compile
POST Response Code :  502
java.io.IOException: Server returned HTTP response code: 502 for URL: http://10.203.101.61/gateway/compile
POST Response Code :  200
POST Response Code :  502
java.io.IOException: Server returned HTTP response code: 502 for URL: http://10.203.101.61/gateway/compile
POST Response Code :  502
java.io.IOException: Server returned HTTP response code: 502 for URL: http://10.203.101.61/gateway/compile
POST Response Code :  200
POST Response Code :  200
POST Response Code :  200
POST Response Code :  200
POST Response Code :  200
POST Response Code :  200
POST Response Code :  200
POST Response Code :  200

我想知道这是什么原因以及如何解决？

更新：我认为最好向您提供有关我的设置的更多信息：

流量来自集群外部，但 k8s 节点和生成请求的程序都在一台机器上，因此不存在网络问题。有一个自定义的 nginx 组件不做负载平衡，只是充当反向代理并将流量发送到相应的服务。

我进行了另一个测试，它给了我更多信息。我运行了相同的基准测试，但这次我没有将请求发送到反向代理 (nginx)，而是使用了该特定服务的 IP 地址，并且在自动缩放器完成其工作并启动多个 pod 时我没有失败的请求。我不确定问题是 Nginx 还是 k8s？

标签： kubernetesautoscalingkubernetes-podhorizontal-scaling

Answer 1

当新的 Pod 生成时，Kubernetes 会立即开始将流量重定向到它们。但是，通常，pod 需要一些时间才能启动并开始运行（准备就绪）。

为了防止这种情况发生，您可以为您的 pod 定义一个就绪探针。K8s 将定期调用您提供的就绪端点上的 pod，以确定该 pod 是否正常运行并准备好接受请求。K8s 不会将流量重定向到 Pod，直到就绪端点根据探测类型返回成功结果（请查看“探测类型”部分）。