首页 > 技术文章 > LVS负载均衡常用的工作模式有NAT、DR、和TUN三种,其中DR模式性能最为优越,使用最为广泛。

duanlinxiao 2019-05-06 10:47 原文

一、安装LVS

LVS的编译安装参考本站文章:http://www.linuxe.cn/post-192.html,对于LVS这种功能性软件,在生产中用yum安装也是没有问题的。

1 yum install ipvsadmin -y

 

 

LVS工具ipvsadm常用选项:

-l:列出所有负载均衡规则

-n:不进行dns解析

-C:清空所有规则

-A:增加一个虚拟服务器

-a:增加一个真实服务器

-S:保存规则

1 ipvsadm -Sn > /root/lvsrules.txt  #保存规则
2 cat /root/lvsrules.txt | ipvsadm -R  #恢复规则

 

 

二、LVS工作模式介绍

LVS负载均衡常用的工作模式有NAT、DR、和TUN三种,其中DR模式性能最为优越,使用最为广泛。

NAT模式:网络地址转换 
NAT(Network Address Translation)是一种外网和内网地址映射的技术。NAT模式下,数据的进出都要经过LVS的处理。LVS需要作为Real Server(真实服务器)的网关。当包到达LVS时,LVS做目标地址转换(DNAT),将目标IP改为Real Server的IP。Real Server接收到包以后,仿佛是客户端直接发给它的一样。Real Server处理完返回响应时,源IP是Real Server IP,目标IP是客户端的IP。这时Real Server的包通过网关(LVS)中转,LVS会做源地址转换(SNAT),将包的源地址改为VIP,这样,这个包对客户端看起来就仿佛是LVS直接返回给它的。客户端无法感知到后端Real Server的存在。

lvs1.jpg


 

DR模式:直接路由模式

 

请求由LVS接受,但是由Real Server返还给用户信息,不经过LVS转发。这里引申一个问题:当用户请求时,源IP是CIP,目标地址是VIP;LVS调度器将请求转发给Real Server处理后再发送给用户,这个时候源IP是RIP,目标地址是CIP,但是CIP在一开始并没有请求RIP,而用RIP去响应请求时CIP是不会接受的,所以就需要用VIP响应请求。

具体实现方法:DR模式下LVS和Real server都需要配备一样的VIP(VIP的MAC地址和物理网卡是一样的)(Real Server通过将VIP绑定在loopback实现),问题又来了,在一个网段内多台服务器出现同样IP地址会引起冲突,那么如何工作下去呢?需要在调度服务器上设置一个VIP一个DIP,每个Real Server也有一个RIP和一个VIP,但是Real Server的VIP地址做了隐藏,做了ARP抑制,不会应答广播,只在响应CIP时作为源地址使用。当产生请求时LVS将目标MAC地址修改为某台Real Server的MAC,该包就会被转发到相应的Real Server处理,此时源IP和目标IP都没变。Real Server收到LVS转发来的包时发现MAC是自己的,IP也是自己的,于是这个包被合法地接受。当Real Server返回响应时,只要直接向CIP返回即可,不再经过LVS。 

lvs2.jpg

 

三、LVS  DR模式搭建流程:

模拟环境如下:

DIP:192.168.36.10

VIP:192.168.36.100

RIP:192.168.36.15、192.168.36.16 

 

1、首先Director服务器外网卡上配置VIP,并且添加一个路由条目,指明接收到该VIP的请求后交给谁处理

 

01 <pre class="brush: bash;auto-links: false;">ifconfig eth0:1 192.168.36.100 broadcast 192.168.36.100 netmask 255.255.255.255 up  #添加VIP,广播地址和VIP一样,注意子网掩码不要写错
02 route add -host 192.168.36.100 dev eth0:1 
03  
04 ifconfig
05 eth0      Link encap:Ethernet  HWaddr 00:0C:29:B1:5B:03 
06           inet addr:192.168.36.10  Bcast:192.168.36.255  Mask:255.255.255.0
07  
08 eth0:0    Link encap:Ethernet  HWaddr 00:0C:29:B1:5B:03 
09           inet addr:192.168.36.100  Bcast:192.168.36.100  Mask:255.255.255.255
10  
11 lo        Link encap:Local Loopback 
12           inet addr:127.0.0.1  Mask:255.0.0.0
13           inet6 addr: ::1/128 Scope:Host
14           UP LOOPBACK RUNNING  MTU:65536  Metric:1
15           RX packets:29 errors:0 dropped:0 overruns:0 frame:0
16           TX packets:29 errors:0 dropped:0 overruns:0 carrier:0
17           collisions:0 txqueuelen:0
18           RX bytes:2440 (2.3 KiB)  TX bytes:2440 (2.3 KiB)
19  
20 ping 192.168.36.100    #验证是否畅通
21 64 bytes from 192.168.36.100: icmp_seq=1 ttl=64 time=0.057 ms
22  
23 route add -host 192.168.36.100 dev eth0:1    #增加路由条目</pre>
24 <br>
25 <br>

 

2、使用ipvsadm工具配置Director和Real Server信息

 

1 [root@Server01 ipvsadm-1.26]# ipvsadm -A -t 192.168.36.100:80 -s rr    #指定LVS调度器的地址以及算法,-t代表tcp协议             
2 [root@Server01 ipvsadm-1.26]# ipvsadm -a -t 192.168.36.100:80 -r 192.168.36.15:80 -g    #指定Real Server的地址以及工作模式,-g代表DR模式
3 [root@Server01 ipvsadm-1.26]# ipvsadm -a -t 192.168.36.100:80 -r 192.168.36.16:80 -g

 

3、使用ipvsadm -L 可以检查一下配置结果

lvsdr.png

 

4、在每台Real Server上绑定VIP到回环网卡上,并增加路由条目

 

1 ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
2 route add -host $VIP dev lo:0

 

5、在每台Real Server上做ARP抑制,其中2个参数为arp_ignore、arp_announce。

arp_ignore(接收到ARP请求后的响应级别):

    0:本地有相应地址就相应,无论在哪个接口

    1:仅对请求的目标地址是在本地接口上才作响应,这样后端服务器回环地址上的IP不会去响应广播

arp_announce(向外回应自己网络地址):

 

    0:在任意网络接口上的本地地址都向外响应

    1:尽量使用与本地接口匹配的地址向外响应

    2:仅使用与本地接口匹配的网络向外响应,效果和arp_ignore类似也是避免响应

 

ARP抑制的配置方法(也可以配置在/etc/sysctl.conf中):

1 echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
2 echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
3 echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
4 echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

 

 

6、访问VIP地址测试,可以看到分别访问到了两台不同的服务器,实际生产环境中两个服务器上文件应该是一致的,这里为了测试效果,所以放了不同的文件区分,如果无法正常打开页面,查看下iptables的规则是否有清空

ba93775b133922394baa8c1bbcd2a15b.gif

 

四、LVS NAT模式部署

使用LVS NAT模式需要保证集群中的服务器处于NAT网络中,下面是Centos部署NAT的方法

1、在后端每台服务器上将网关设置为LVS服务器地址

route add default gw 192.168.36.10

2、在LVS服务器上开启网络转发

echo net.ipv4.ip_forward =1 > /etc/sysctl.conf

sysctl -p

3、使用iptables转发

iptables -t nat -A POSTROUTING -s 192.168.36.0/24 -o ens33 -j MASQUERADE

4、NAT模式下无需配置ARP抑制

1 ifconfig ens33:1 192.168.36.100 netmask 255.255.255.0 up
2  
3 ipvsadm -A -t 192.168.36.100 -s rr
4 ipvsadm -a -t 192.168.36.100 -r 192.168.36.110  -m
5 ipvsadm -a -t 192.168.36.100 -r 192.168.36.120  -m

推荐阅读