kubernetes - 在 K8s 上使用单个 LoadBalancer 公开多个 TCP/UDP 服务
问题描述
试图弄清楚如何在 Kubernetes 上使用单个 LoadBalancer 公开多个 TCP/UDP 服务。假设服务是 ftpsrv1.com 和 ftpsrv2.com,每个服务都在端口 21 上提供服务。
以下是我能想到的选项及其局限性:
- 每个 svc 一个 LB:太贵了。
- Nodeport :想要使用 30000-32767 范围之外的端口。
- K8s Ingress:目前不支持 TCP 或 UDP 服务。
- 使用 Nginx Ingress 控制器:这又是一对一的映射:
- 找到了这个自定义实现:但它似乎没有更新,上次更新几乎是一年前。
任何输入将不胜感激。
解决方案
实际上可以使用 NGINX Ingress 来实现。
Ingress 不支持 TCP 或 UDP 服务。出于这个原因,这个 Ingress 控制器使用标志--tcp-services-configmap
并--udp-services-configmap
指向一个现有的配置映射,其中键是要使用的外部端口,值指示使用以下格式公开的服务:<namespace/service name>:<service port>:[PROXY]:[PROXY]
.
本指南描述了如何使用 minikube 实现它,但在本地 kubernetes 上执行此操作是不同的,需要更多步骤。
缺乏描述如何在非 minikube 系统上完成的文档,这就是我决定在这里完成所有步骤的原因。本指南假设您有一个未安装 NGINX Ingress 的新集群。
我正在使用 GKE 集群,所有命令都在我的 Linux 工作站上运行。它也可以在裸机 K8S 集群上完成。
创建示例应用程序和服务
在这里,我们将创建和应用程序,它是稍后使用我们的入口公开它的服务。
apiVersion: apps/v1
kind: Deployment
metadata:
name: redis-deployment
namespace: default
labels:
app: redis
spec:
replicas: 1
selector:
matchLabels:
app: redis
template:
metadata:
labels:
app: redis
spec:
containers:
- image: redis
imagePullPolicy: Always
name: redis
ports:
- containerPort: 6379
protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
name: redis-service
namespace: default
spec:
selector:
app: redis
type: ClusterIP
ports:
- name: tcp-port
port: 6379
targetPort: 6379
protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
name: redis-service2
namespace: default
spec:
selector:
app: redis
type: ClusterIP
ports:
- name: tcp-port
port: 6380
targetPort: 6379
protocol: TCP
请注意,我们正在为同一个应用程序创建 2 个不同的服务。这只是作为概念证明。我不想在后面展示许多端口可以仅使用一个 Ingress 进行映射。
使用 Helm 安装 NGINX Ingress:
安装 helm 3:
$ curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash
添加 NGINX Ingress 仓库:
$ helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
在 kube-system 命名空间上安装 NGINX Ingress:
$ helm install -n kube-system ingress-nginx ingress-nginx/ingress-nginx
准备我们新的 NGINX 入口控制器部署
我们必须在 spec.template.spec.containers.args 下添加以下行:
- --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
- --udp-services-configmap=$(POD_NAMESPACE)/udp-services
所以我们必须使用以下命令进行编辑:
$ kubectl edit deployments -n kube-system ingress-nginx-controller
让它看起来像这样:
...
spec:
containers:
- args:
- /nginx-ingress-controller
- --publish-service=kube-system/ingress-nginx-controller
- --election-id=ingress-controller-leader
- --ingress-class=nginx
- --configmap=kube-system/ingress-nginx-controller
- --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
- --udp-services-configmap=$(POD_NAMESPACE)/udp-services
- --validating-webhook=:8443
- --validating-webhook-certificate=/usr/local/certificates/cert
- --validating-webhook-key=/usr/local/certificates/key
...
创建 tcp/udp 服务配置映射
apiVersion: v1
kind: ConfigMap
metadata:
name: tcp-services
namespace: kube-system
apiVersion: v1
kind: ConfigMap
metadata:
name: udp-services
namespace: kube-system
由于这些 configmap 是集中式的并且可能包含配置,因此最好只修补它们而不是每次添加服务时完全覆盖它们:
$ kubectl patch configmap tcp-services -n kube-system --patch '{"data":{"6379":"default/redis-service:6379"}}'
$ kubectl patch configmap tcp-services -n kube-system --patch '{"data":{"6380":"default/redis-service2:6380"}}'
在哪里:
6379
:您的服务应该从 minikube 虚拟机外部监听的端口default
: 安装服务的命名空间redis-service
:服务的名称
我们可以使用以下命令验证我们的资源是否已修补:
$ kubectl get configmap tcp-services -n kube-system -o yaml
apiVersion: v1
data:
"6379": default/redis-service:6379
"6380": default/redis-service2:6380
kind: ConfigMap
metadata:
annotations:
kubectl.kubernetes.io/last-applied-configuration: |
{"apiVersion":"v1","kind":"ConfigMap","metadata":{"annotations":{},"name":"tcp-services","namespace":"kube-system"}}
creationTimestamp: "2020-04-27T14:40:41Z"
name: tcp-services
namespace: kube-system
resourceVersion: "7437"
selfLink: /api/v1/namespaces/kube-system/configmaps/tcp-services
uid: 11b01605-8895-11ea-b40b-42010a9a0050
您需要验证的唯一值是该 data
属性下的值如下所示:
"6379": default/redis-service:6379
"6380": default/redis-service2:6380
将端口添加到 NGINX 入口控制器部署
我们需要修补我们的 nginx 入口控制器,以便它侦听端口 6379/6380 并可以将流量路由到您的服务。
spec:
template:
spec:
containers:
- name: controller
ports:
- containerPort: 6379
hostPort: 6379
- containerPort: 6380
hostPort: 6380
创建一个名为 nginx-ingress-controller-patch.yaml
并粘贴上面的内容的文件。
接下来使用以下命令应用更改:
$ kubectl patch deployment ingress-nginx-controller -n kube-system --patch "$(cat nginx-ingress-controller-patch.yaml)"
将端口添加到 NGINX 入口控制器服务
与为 minikube 提供的解决方案不同,我们必须修补 NGINX 入口控制器服务,因为它负责暴露这些端口。
spec:
ports:
- nodePort: 31100
port: 6379
name: redis
- nodePort: 31101
port: 6380
name: redis2
创建一个名为 nginx-ingress-svc-controller-patch.yaml
并粘贴上面的内容的文件。
接下来使用以下命令应用更改:
$ kubectl patch service ingress-nginx-controller -n kube-system --patch "$(cat nginx-ingress-svc-controller-patch.yaml)"
查看我们的服务
$ kubectl get service -n kube-system ingress-nginx-controller
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
ingress-nginx-controller LoadBalancer 10.15.251.203 34.89.108.48 6379:31100/TCP,6380:31101/TCP,80:30752/TCP,443:30268/TCP 38m
请注意,我们ingress-nginx-controller
正在侦听端口 6379/6380。
测试您是否可以通过以下命令使用 telnet 访问您的服务:
$ telnet 34.89.108.48 6379
您应该看到以下输出:
Trying 34.89.108.48...
Connected to 34.89.108.48.
Escape character is '^]'.
要退出 telnet,请同时输入 Ctrl
密钥和 ]
。然后输入 quit
并按回车。
我们也可以测试6380端口:
$ telnet 34.89.108.48 6380
Trying 34.89.108.48...
Connected to 34.89.108.48.
Escape character is '^]'.
如果您无法连接,请查看上述步骤。
相关文章
推荐阅读
- shell - 在 shell 的同一行中设置和使用 docker alpine 中的环境变量
- vb.net - SqlBulkCopy 速度测试
- javascript - 当替换字符串中包含正则表达式时,为什么 str.replace() 行为异常?
- sql-server - 列名存在时出现错误“列名无效”
- javascript - 如何创建动态操作,以便根据用户的选择页面将或不会重定向
- excel - 从powershell中的excel文件中删除某些内容
- jboss - JBoss 错误“服务 jboss.network.public(缺少)依赖项:[服务 jboss.socket-binding-manager]”?
- reactjs - 使用 useRef 挂钩获取对 React 组件的引用
- php - Multiple Array "Merge" into 1 with different structure
- laravel - Laravel Route::resource 无法正常工作