时间戳

首页 > 解决方案 > Kubernetes - 如何使用 NodePort 服务从集群外部访问 nginx 负载平衡

nginx - Kubernetes - 如何使用 NodePort 服务从集群外部访问 nginx 负载平衡

问题描述

我有一个 Kubernetes 集群，其中包含一个主节点和两个其他节点：

sudo kubectl get nodes
NAME                STATUS    ROLES     AGE       VERSION
kubernetes-master   Ready     master    4h        v1.10.2
kubernetes-node1    Ready     <none>    4h        v1.10.2
kubernetes-node2    Ready     <none>    34m       v1.10.2

它们每个都在 VirtualBox Ubuntu VM 上运行，可从来宾计算机访问：

kubernetes-master (192.168.56.3)
kubernetes-node1  (192.168.56.4)
kubernetes-node2 (192.168.56.6)

我部署了一个有两个副本的 nginx 服务器，每个 kubernetes-node-x 有一个 pod：

sudo kubectl get pods -o wide
NAME                                READY     STATUS    RESTARTS   AGE       IP               NODE
nginx-deployment-64ff85b579-5k5zh   1/1       Running   0          8s        192.168.129.71   kubernetes-node1
nginx-deployment-64ff85b579-b9zcz   1/1       Running   0          8s        192.168.22.66    kubernetes-node2

接下来，我将 nginx-deployment 的服务公开为 NodePort，以便从集群外部访问它：

sudo kubectl expose deployment/nginx-deployment --type=NodePort

sudo kubectl get services 
NAME               TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
kubernetes         ClusterIP   10.96.0.1      <none>        443/TCP        4h
nginx-deployment   NodePort    10.96.194.15   <none>        80:32446/TCP   2m

sudo kubectl describe service nginx-deployment
Name:                     nginx-deployment
Namespace:                default
Labels:                   app=nginx
Annotations:              <none>
Selector:                 app=nginx
Type:                     NodePort
IP:                       10.96.194.15
Port:                     <unset>  80/TCP
TargetPort:               80/TCP
NodePort:                 <unset>  32446/TCP
Endpoints:                192.168.129.72:80,192.168.22.67:80
Session Affinity:         None
External Traffic Policy:  Cluster
Events:                   <none>

我可以使用节点 IP 直接访问节点中的每个 pod

kubernetes-node1 http://192.168.56.4:32446/
kubernetes-node2 http://192.168.56.6:32446/

但是，我认为 K8s 提供了某种外部集群 ip 来平衡从外部对节点的请求。那个IP是什么？？

标签： nginxkubernetesvirtualboxkubernetes-service

解决方案

但是，我认为 K8s 提供了某种外部集群 ip 来平衡从外部对节点的请求。那个IP是什么？？

  • 集群 IP 在集群内部。不对外暴露，用于跨集群互通。

  • 事实上，你有 LoadBanacer 类型的服务可以做你需要的这种技巧，只是它依赖于云提供商或 minikube/docker edge 才能正常工作。

我可以使用节点 IP 直接访问节点中的每个 pod

  • 实际上，您不会以这种方式单独访问它们。NodePort 做了一些不同的技巧，因为它本质上是在任何公开的节点 IP 上对来自外部的请求进行负载平衡。简而言之，如果您使用暴露的 NodePort 访问任何节点的 IP，kube-proxy 将确保所需的服务获取它，然后服务通过活动 pod 进行循环，因此尽管您访问了特定的节点 IP，但您不会必须让 pod 在该特定节点上运行。您可以在此处找到更多详细信息：https ://medium.com/google-cloud/kubernetes-nodeport-vs-loadbalancer-vs-ingress-when-should-i-use-what-922f010849e0 ，正如作者所说，在技​​术上不是最准确的表示，但尝试在逻辑级别显示 NodePort 暴露发生了什么：

节点端口图

  • 作为旁注，为了在裸机上执行此操作并执行 ssl 等，您需要提供自己的入口。比如说，将一个 nginx 放在特定节点上，然后将所有您想要公开的适当服务（请注意 fqdn 服务）作为上游引用，这些服务可以在多个节点上运行，并且可以根据需要使用尽可能多的 nginx - 您不需要处理这方面的确切细节，因为 k8s 运行这个节目。这样一来，您就拥有一个具有已知 IP 地址的节点点（入口 nginx），该地址正在处理传入流量并将其重定向到 k8s 内可以跨任何节点运行的服务。我很喜欢 ascii 艺术，但会试一试：

    (outside) -> ingress (nginx) +--> my-service FQDN (running accross nodes):
             [node-0]        |      [node-1]: my-service-pod-01 with nginx-01
                             |      [node 2]: my-service-pod-02 with nginx-02
                             |      ...
                             +--> my-second-service FQDN
                             |      [node-1]: my-second-service-pod with apache?
                             ...

    在上面的草图中，您在 node-0（已知 IP）上有 nginx 入口，它接收外部流量，然后处理 my-service（在两个节点上的两个 pod 上运行）和 my-second-service（单个 pod）作为上游。您只需在服务上公开 FQDN 即可使其正常工作，而无需担心特定节点 IP 的详细信息。您可以在文档中找到更多信息：https ://kubernetes.io/docs/tutorials/kubernetes-basics/expose/expose-intro/

    同样比我的 ansi-art 更好的是这种表示来自与前一点相同的链接，它说明了入口背后的想法： 入口插图

已更新评论

为什么服务不对服务中使用的 pod 进行负载平衡？

  • 这可能有几个原因。根据您的 Liveness 和 Readiness Probes 的配置方式，也许 service 仍然没有看到 pod 停止服务。由于分布式系统（例如 k8s）中的这种异步特性，当 Pod 被移除时，我们会遇到暂时丢失请求的情况，例如滚动更新等。其次，根据你的 kube-proxy 的配置方式，有一些选项可以限制它。通过官方文档（https://kubernetes.io/docs/concepts/services-networking/service/#type-nodeport）使用--nodeport-addresses您可以更改节点代理行为。原来循环是旧的 kube-proxy 行为，显然新的应该是随机的。最后，为了从浏览器中排除连接和会话问题，您是否也从匿名会话中尝试过这个？您是否在本地缓存了 dns？

别的，我从 node1 杀死了 pod，当调用 node1 时它没有使用 node 2 的 pod。

  • 这有点奇怪。可能与上述探针有关。根据官方文件，情况不应该如此。我们让 NodePort 的行为与上面提到的官方文档一致：and each Node will proxy that port (the same port number on every Node) into your Service. 但是，如果这是您的情况，那么可能是 LB 或 Ingress，甚至是具有外部地址的 ClusterIP（见下文）也可以为您解决问题。

如果服务是内部的（ClusterIP）......它是否对节点中的任何 Pod 进行负载平衡

  • 绝对是的。还有一件事，您可以使用此行为来公开“标准”端口范围中的“负载平衡”行为，而不是来自 NodePort 的 30k+。这是我们用于入口控制器的服务清单的摘录。

    apiVersion: v1
kind: Service
metadata:
    namespace: ns-my-namespace
    name: svc-nginx-ingress-example
    labels:
        name: nginx-ingress-example
        role: frontend-example
        application: nginx-example
spec:
    selector:
        name: nginx-ingress-example
        role: frontend-example
        application: nginx-example
    ports:
    - protocol: TCP
      name: http-port
      port: 80
      targetPort: 80
    - protocol: TCP
      name: ssl-port
      port: 443
      targetPort: 443
    externalIPs:
    - 123.123.123.123

    请注意，在上面的示例中，假想的 123.123.123.123 显示为externalIPs我们的工作节点之一的 IP 地址。在服务中运行svc-nginx-ingress-example的 Pod 根本不需要在此节点上，但当该 ip 在指定端口上命中时，它们仍会将流量路由到它们（并在 Pod 之间进行负载均衡）。

推荐阅读