首页 > 解决方案 > 如何将 Kubernetes 非 HA 控制平面转换为 HA 控制平面?

问题描述

将 kubernetes 非 HA 控制平面转换为 HA 控制平面的最佳方法是什么?

我已经开始将我的集群作为非 HA 控制平面 - 一个主节点和几个工作节点。集群已经运行了很多服务。

现在我想添加额外的主节点来将我的集群转换为 HA 控制平面。我已经设置并配置了一个负载均衡器。但我不知道如何将 -control-plane-endpoint 更改为现有主节点的负载均衡器 IP 地址。

调用 kubeadm 会导致以下错误:

sudo kubeadm init --control-plane-endpoint "my-load-balancer:6443" --upload-certs
[init] Using Kubernetes version: v1.20.1
[preflight] Running pre-flight checks
    [WARNING SystemVerification]: missing optional cgroups: hugetlb
error execution phase preflight: [preflight] Some fatal errors occurred:
    [ERROR Port-6443]: Port 6443 is in use
    [ERROR Port-10259]: Port 10259 is in use
    [ERROR Port-10257]: Port 10257 is in use
    [ERROR FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml]: /etc/kubernetes/manifests/kube-apiserver.yaml already exists
    [ERROR FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml]: /etc/kubernetes/manifests/kube-controller-manager.yaml already exists
    [ERROR FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml]: /etc/kubernetes/manifests/kube-scheduler.yaml already exists
    [ERROR FileAvailable--etc-kubernetes-manifests-etcd.yaml]: /etc/kubernetes/manifests/etcd.yaml already exists
    [ERROR Port-10250]: Port 10250 is in use
    [ERROR Port-2379]: Port 2379 is in use
    [ERROR Port-2380]: Port 2380 is in use
    [ERROR DirAvailable--var-lib-etcd]: /var/lib/etcd is not empty
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
To see the stack trace of this error execute with --v=5 or higher

由于我的主人已经在运行,因此错误消息似乎很清楚。有没有一种方法可以轻松告诉我现有的主节点使用新的负载均衡器作为 HA 控制平面运行?

标签: kuberneteskubeadm

解决方案


我认为的最佳解决方案

将非 HA控制平面转换为HA控制平面的最佳方法是创建convert一个全新的HA控制平面,然后将所有应用程序迁移到那里。

可能的解决方案

下面我将尝试帮助您实现目标,但我不建议在任何将被视为生产集群的集群上使用此过程。它适用于我的场景,它也可能对您有所帮助。

更新 kube-apiserver 证书

首先,kube-apiserver使用 acertificate来加密控制平面流量,这certificate有一个称为SAN(Subject Alternative Name)的东西。SAN 是您将用于访问 API 的 IP 地址列表,因此您需要添加您的 IP 地址,LoadBalancer也可能添加hostname您的 IP 地址LB

为此,您必须获取kubeadm配置,例如使用命令:

   $ kubeadm config view > kubeadm-config.yaml

然后添加certSANs到部分kubeadm-config.yaml下的配置文件apiServer,它应该如下例所示:(您可能还需要添加controlPlaneEndpoint以指向您的LB)。

apiServer:
  certSANs:
  - "192.168.0.2" # your LB address
  - "loadbalancer" # your LB hostname
  extraArgs:
    authorization-mode: Node,RBAC
    ...
 controlPlaneEndpoint: "loadbalancer" # your LB DNS name or DNS CNAME
    ...

现在您可以使用以下方式更新kube-apiserver证书:
但请记住,您必须先删除/移动旧kube-apiserver证书和密钥/etc/kubernetes/pki/

$ kubeadm init phase certs apiserver --config kubeadm-config.yaml。

最后重启你的kube-apiserver.

更新 kubelet、调度器和控制器管理器 kubeconfig 文件

下一步是更新kubeletschedulercontroller managerkube-apiserver使用LoadBalancer.
所有这三个组件都使用标准 kubeconfig 文件:
/etc/kubernetes/kubelet.conf/etc/kubernetes/scheduler.conf/etc/kubernetes/controller-manager.confkube-apiserver.
唯一要做的就是编辑该server:行以指向LB而不是kube-apiserver直接指向,然后重新启动这些组件。

kubeletissystemd服务,因此要重新启动它,请使用:

systemctl restart kubelet 

controller managerschedulers部署为 pod。

更新 kube-proxy kubeconfig 文件

接下来是时候更新kubeconfig文件了,kube-proxy和以前一样 - 唯一要做的就是编辑server:指向LoadBalancer而不是kube-apiserver直接指向的行。

kubeconfig实际上是 a configmap,因此您可以使用以下命令直接编辑它:

$ kubectl edit cm kube-proxy -n kube-system

或首先将其保存为清单文件:

$ kubectl get cm kube-proxy -n kube-system -o yaml > kube-proxy.yml 

然后应用更改。

不要忘记kube-proxy在这些更改后重新启动。

更新 kubeadm-config 配置图

最后将新的kubeadm-config configmap(带有certSANscontrolPlaneEndpoint条目)上传到集群,当您想要将新节点添加到集群时尤为重要。

$ kubeadm config upload from-file --config kubeadm-config.yaml

如果上面的命令不起作用,试试这个:

$ kubeadm upgrade apply --config kubeadm-config.yaml

推荐阅读