1. lvs简介
LVS,即Linux Virtural Server,是一个由章文嵩博士发起的一个开源项目,它的官方网站是 http://www.linuxvirtualserver.org。 现在 LVS 已经是 Linux 内核标准的一部分。使用 LVS 可以达到的技术目标是:通过 LVS 达到的负载均衡技术和 Linux 操作系统实现一个高性能高可用的 Linux 服务器集群,它具有良好的可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的性能。LVS 是一个实现负载均衡集群的开源软件项目,LVS架构从逻辑上可分为调度层、Server集群层和共享存储。
Lvs、Nginx、HAProxy均可以实现负载均衡,各有其突出的优点:
1> Lvs
1) 抗负载能力强。抗负载能力强、性能高,能达到F5硬件的60%;对内存和cpu资源消耗比较低
2) 工作在网络4层,通过vrrp协议(虚拟设备冗余协议)转发(仅作分发之用),具体的流量由linux内核处理,因此没有流量的产生。
3) 稳定性、可靠性好,自身有完美的热备方案;(如:LVS+Keepalived,完美组合)
4) 应用范围比较广,可以对所有应用做负载均衡;
5) 不支持正则处理,不能做动静分离。
6) 支持负载均衡算法:rr(轮循)、wrr(带权轮循)、lc(最小连接)、wlc(权重最小连接)
7) 配置 复杂,对网络依赖比较大,稳定性很高。
8)跨平台:windows,linux
2> Ngnix:
c写的异步IO(协程操作)操作,占用资源少,
1) 工作在网络的7层之上,可以针对http应用做一些分流的策略,比如针对域名、目录结构;
2) Nginx对网络的依赖比较小,理论上能ping通就能进行负载功能;
3) Nginx安装和配置比较简单,测试起来比较方便;
4) 也可以承担高的负载压力且稳定,一般能支撑超过1万次的并发;
5) 对后端服务器的健康检查,只支持通过端口来检测,不支持通过url来检测。
6) Nginx对请求的异步处理可以帮助节点服务器减轻负载;
7) Nginx仅能支持http、https和Email协议,这样就在适用范围较小。
8) 不支持Session的直接保持,但能通过ip_hash来解决。对Big request header的支持不是很好,
9) 支持负载均衡算法:Round-robin(轮循)、Weight-round-robin(带权轮循)、Ip-hash(Ip哈希)
10) Nginx还能做Web服务器即Cache功能。
3> HAProxy的特点是:
1) 支持两种代理模式:TCP(四层)和HTTP(七层),支持虚拟主机;
2) 能够补充Nginx的一些缺点比如Session的保持,Cookie的引导等工作
3) 支持url检测后端的服务器出问题的检测会有很好的帮助。
4) 更多的负载均衡策略比如:动态加权轮循(Dynamic Round Robin),加权源地址哈希(Weighted Source Hash),加权URL哈希和加权参数哈希(Weighted
Parameter Hash)已经实现
5) 单纯从效率上来讲HAProxy更会比Nginx有更出色的负载均衡速度。
6) HAProxy可以对Mysql进行负载均衡,对后端的DB节点进行检测和负载均衡。
7) 支持负载均衡算法:Round-robin(轮循)、Weight-round-robin(带权轮循)、source(原地址保持)、RI(请求URL)、rdp-cookie(根据cookie)
8) 不能做Web服务器即Cache功能。
2. Lvs组成
防火墙最先拥有负载均衡的功能,因lvs发展而取消了,LVS 由2部分程序组成,ipvs 和 ipvsadm。
1> ipvs(ip virtual server):inux的内核功能模块,工作在内核,依赖该内核模块实现负载均衡功能,是真正生效实现调度的代码。
2> ipvsadm:另应用层程序,该程序可以和内核中的ip_vs模块通信,实现对负载均衡的管理和控制,负责为ipvs内核框架编写规则,定义谁是集群服务,而谁是后端真实的服务器(Real Server)
3. Lvs的工作模式
3.1 VS/DR模式(路由模式)
详解链接
① 客户端将请求发往前端的负载均衡器(调度器),请求报文源地址是CIP,目标地址为VIP。
② 负载均衡器收到报文后,发现请求的是在规则里面存在的地址,那么它将目标MAC改为了RIP的MAC地址,并将此包发送给RS。
③ RS发现请求报文中的目的MAC是自己,就会将次报文接收下来,处理完请求报文后,将响应报文通过lo接口送给eth0网卡直接发送给客户端。loopback接口上配置有vip,
注意:
需要设置lo接口的VIP不能响应本地网络内的arp请求。
优点:
和TUN(隧道模式)一样,负载均衡器也只是分发请求,应答包通过单独的路由方法返回给客户端。与VS-TUN相比,VS-DR这种实现方式不需要隧道结构,因此可以使用大多数操作系统做为物理服务器。
DR模式的效率很高,性能最好,但是配置稍微复杂一点,因此对于访问量不是特别大的公司可以用haproxy/nginx取代。日1000-2000W PV或者并发请求1万一下都可以考虑用haproxy/nginx。
缺点:
所有 RS 节点和调度器 LB 只能在一个局域网里面(同网段)。
2.2 VS/TUN模式(隧道模式)
①.客户端将请求发往前端的负载均衡器,请求报文源地址是CIP,目标地址为VIP。
②.负载均衡器收到报文后,发现请求的是在规则里面存在的地址,那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改为DIP,目标地址改为RIP,并将此包发送给RS。
③.RS收到请求报文后,会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP,所以会处理次请求报文,并将响应报文通过lo接口送给eth0网卡直接发送给客户端。
注意:
需要设置lo接口的VIP不能在公网上出现。
优点:
负载均衡器只负责将请求包分发给后端节点服务器,而RS将应答包直接发给用户。所以,减少了负载均衡器的大量数据流动,负载均衡器不再是系统的瓶颈,就能处理很巨大的请求量,这种方式,一台负载均衡器能够为很多RS进行分发。而且跑在公网上就能进行不同地域的分发。
缺点:
隧道模式的RS节点需要合法IP,这种方式需要所有的服务器支持”IP Tunneling”(IP Encapsulation)协议,服务器可能只局限在部分Linux系统上。
2.3 VS/NAT模式
①.客户端将请求发往前端的负载均衡器(调度器),请求报文源地址是CIP(客户端IP),后面统称为CIP),目标地址为VIP(负载均衡器前端地址,后面统称为VIP)。
②.负载均衡器收到报文后,发现请求的是在规则里面存在的地址,那么它将客户端请求报文的目标地址改为了后端服务器的RIP地址并将报文根据算法发送出去。
③.报文送到Real Server后,由于报文的目标地址是自己,所以会响应该请求,并将响应报文返还给LVS。
④.然后lvs将此报文的源地址修改为本机并发送给客户端。
注意:
在NAT模式中,Real Server的网关必须指向LVS,否则报文无法送达客户端
优点:
集群中的物理服务器可以使用任何支持TCP/IP操作系统,只有负载均衡器需要一个合法的IP地址。
缺点:
扩展性有限。当服务器节点(普通PC服务器)增长过多时,负载均衡器将成为整个系统的瓶颈,因为所有的请求包和应答包的流向都经过负载均衡器。当服务器节点过多时,大量的数据包都交汇在负载均衡器那,速度就会变慢!
nat模式中,DR、RS均有vip。RS的vip设置在loopback端口上(回环地址),经过修改内核参数arp-announce和arp-ignore和调度器(RS)进行区分,确保客户端访问时访问的是调度器,调度器将报文转发给RS后RS直接给客户端回应。
4. 相关术语
名称 |
解释 |
DS |
Director Server,指的是前端负载均衡器节点 |
RS |
Real Server,后端真实的工作服务器 |
VIP |
Vitural Server,向外部直接面向用户请求,作为用户请求的目标的IP地址 |
DIP |
Director Server IP,主要用于和内部主机通讯的IP地址 |
RIP |
Real Server IP,后端服务器的IP地址 |
CIP |
Client IP,访问客户端的IP地址 |
5. Lvs调度算法
算法:DR按照什么规则来从多个RS中筛选出来一个给用户提供服务
动态算法:DR会实时的检测后端的RS的负载情况,将新用户的请求调度到一个负载较少的RS之上
静态算法:静态算法:无论后端的RS当前的服务器负载情况怎么样,都安装固定的方式来给RS分配用户请求
5.1 静态算法
rr:Round Bobin,轮询,将客户端的请求交替分配给RS
wrr:Weighted Round Bobin,加权轮询,根据RS的性能不同,让他们来承担不同比例的用户请求
dh:Destination Hashing,目标地址哈希调度,基于用户所请求的地址做哈希表
作用:实现将对于相同的地址(rs)的请求调度到同一个RS之上
使用场景:适应于前端是一个DR,后端是多个cache的时候
sh:Source Hashing,源地址的哈希调度,基于用户的ip地址做哈希表
作用:实现将同一个客户端调度到相同的RS之上
5.2 动态算法
lc:Least Connection,最小连接数调度,本质是调度到当前负载最低的主机上
overhead=active*256+inactive
wlc:Weighted Least Connection,加权最小连接数调度,本质是调度到当前负载最低的主机上
overhead=(active*256+inactive)/weight
SED:是wlc补充,为了降低overhead出现重复的情况
overhead=((active+1)*256+inactive))/weight
NQ:Never queue,算法基本和sed相同,为了避免性能差的RS长时间处于空闲状态
lblc:基于目标地址的最小连接数调度,这种算法那是lc和dh的组合,适应于cache场景
lblcr:带有复制功能的lblc
6. ipvsadm的使用格式
ipvsadm -A|E -t|u|f service-address:port [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] <<添加一个lvs服务器
ipvsadm -D -t|u|f service-address <<删除一个lvs服务器
ipvsadm -C <<清空规则表
ipvsadm -R <<从标准输入恢复规则表
ipvsadm -S [-n] <<使用service ipvsadm save即可
ipvsadm -a|e -t|u|f service-address -r server-address [options] <<添加一个后端web服务
ipvsadm -d -t|u|f service-address -r server-address <<删除一个后端web服务
ipvsadm -L|l [options] << 显示lvs中的规则表
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface] [--syncid sid]
ipvsadm --stop-daemon state
ipvsadm -h
7. ipvsad的选项参数
-A:添加一个虚拟服务(添加vip)[相当于负载均衡哪个服务器]
-E:编辑修改一个虚拟服务
-D:删除虚拟服务
-C:清空规则表
-R:从标准输入恢复规则表
--save|-S:将当前内存中的规则保存到标准输出
-a:指定在虚拟服务中添加RS节点 [添加后端的web服务器]
-e:指定在虚拟服务中编辑修改RS节点
-d:指定在虚拟服务中删除RS节点
-L|-l:显示lvs中的规则表 << ipvsadm -L -n --stats
-Z:将计数器清零
-t service-address[:port]:该规则是对tcp协议的请求做调度
-u service-address[:port]:该规则是对udp协议的请求做调度
-f:表示这个请求是经过iptables所标记过的服务类型
-r: 指定真实服务器的地址(remote)
-s scheduler:指定该规则要用的调度算法(rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq)
-p [time]:指定在多次时间以内,将相同的客户端调度到相同的后端节点之上,默认时间300s
-w:设置RS节点的权重
-g:指定用DR模式(默认)
-i:指定用tunnel模式
-m:指定用nat模式
8. ipvsadm主要配置文件
lvs主要文件说明
/etc/rc.d/init.d/ipvsadm:sysV风格服务管理脚本
/etc/sysconfig/ipvsadm-config:配置文件
/sbin/ipvsadm:用于配置lvs规则的工具
sbin/ipvsadm-restore:恢复或者读取规则到内存的工具
/sbin/ipvsadm-save:保存内存中的规则的工具
【默认情况下,所配置的规则都是保存在内存中的】
9. Lvs模式配置实例详解
9.1 nat模式
1> 实验需要三台主机:两台RS(real server),一台DS(调度器,负载均衡器)DS需要两块网卡,一块通外网,一块通内网
DS(.4机):
nat(外网地址,网卡配置为动态,也可用桥接,能与主机通信即可)
192.168.16.130 255.255.255.0 192.168.16.2(自动获取,网关为主机地址)
vmnet4(内网地址)
172.168.16.1 255.255.255.0
RS1(.5机):vmnet4 172.168.16.2 255.255.255.0 172.168.16.1(网关,指向调度器)
RS2(.6机):vmnet4 172.168.16.6 255.255.255.0 172.168.16.1(网关。指向调度器)
2> DS必须开启FORWARDR用来转发内外网,S1、RS2开启httpd
#.4 :
[root@localhost~]# echo “net.ipv4.ip_forward=1” >> /etc/sysctl.conf
[root@localhost~]# sysctl -p
3> 安装ipvsadm包
#.4机: [root@localhost~]# mount /dev/cdrom /mnt [root@localhost~]# yum install ipvsadm -y
4> 配置
#.4: ipvsadm -A -t 192.168.16.130:80 -s rr # -A:addservers,添加服务ip;-t:tcp协议;服务ip:端口-s:算法,轮循 ipvsadm -a -t 192.168.16.130:80 -r 172.168.16.2 -m #-a:addrealserver, -r 后端的realserver ;-m:nat模式 ipvsadm -a -t 192.168.16.130:80 -r 172.168.16.3 -m
5> 查看
[root@localhost~]#ipvsadm -L -n
关闭防火墙,启动httpd,windows端浏览器访问,或用命令行用curl命令查看
9.2 DR模式
路由模式调度器仅需一块网卡即可
DR:192.168.16.4
RS1:192.168.16.5
RS2:192.168.16.6
VIP:192.168.16.250
1> 添加对外服务的ip(vip)
#.4:
1> 添加服务ip
[root@localhost ~]# ipvsadm -A -t 192.168.16.250:80 -s rr
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.16.250:80 rr
2> 配置网卡的子网口为vip
#一共一块网卡,需要设置别名,配置网卡的子网口为192.168.16.250(vip)
[root@localhost ~]# ifconfig ens33:0 192.168.16.250 broadcast 192.168.16.250 netmask 255.255.255.255 up #设置网卡别名为ens33:0(:后面任意) 广播地址 掩码(32位)up表示启动
[root@localhost ~]# ifconfig -a #查看网卡别名
ens33:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.16.250 netmask 255.255.255.255 broadcast 192.168.16.250
ether 00:50:56:31:9b:19 txqueuelen 1000 (Ethernet)
3> 添加静态路由,使得集群节点给客户返回时能返回
[root@localhost ~]# route add -host 192.168.16.250 dev ens33:0 #所有访问192.168.16.250都走ens33:0这个网卡
[root@localhost ~]# route -n #查看路由
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.16.2 0.0.0.0 UG 100 0 0 ens33
192.168.16.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
192.168.16.250 0.0.0.0 255.255.255.255 UH 0 0 0 ens33
4> 添加两块RS(在调度器上添加)
#.4:
[root@localhost ~]# ipvsadm -a -t 192.168.16.250:80 -r 192.168.16.5:80 -g
[root@localhost ~]# ipvsadm -a -t 192.168.16.250:80 -r 192.168.16.6:80 -g #-g 表示路由模式(DR)
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.16.250:80 rr
-> 192.168.16.5:80 Route 1 0 0
-> 192.168.16.6:80 Route 1 0 0
2> 配置RS
客户端请求服务时报文必须经过网卡ens33,但ens33上并没有vip,所以ens33 将报文交给其上的具有vip的loopback接口访问到web服务,访问到web服务后web服务回应,此时若不指定路由,报文直接经ens33出去,ip会改变(不是vip),因此必须指定一个静态路由是文本服务经过lo接口,再通过ens33物理网卡出去,vip此时此刻在lo上。
两个内核参数arp_anounce、arp_ignore的参数
arp_ignore:定义接收到ARP请求时的响应级别
0:默认,只用本地配置的有响应地址都给予响应
1:仅仅在目标IP是本地地址,并且是配置在请求进来的接口上的时候才给予响应(仅在请求的目标地址配置请求到达的接口上的时候,才给予响应)
arp_announce:定义将自己的地址向外通告时的级别
0:默认,表示使用配置在任何接口的任何地址向外通告
1:尽量仅向目标网络通告与其网络匹配的地址
2:仅向与本地接口上地址匹配的网络进行通告
定义arp可以避免和调度器vip冲突
为了配置方便可行,使用shell脚本进行配置
#.5: [root@localhost ~]# vim lvs_dr_rr.sh #!/bin/bash case $1 in #使用case语句,对输入的第一个参数(start、stop)操作 start) #开启情况 ifconfig lo:0 192.168.16.250 broadcast 192.168.16.250 netmask 255.255.255.255 up #定义子网vip if [ $? -eq 0 ];then route add -host 192.168.16.250 dev lo:0 #添加静态路由,所有访问.250的都经过lo接口 fi echo "1">/proc/sys/net/ipv4/conf/lo/arp_ignore #修改内核参数 echo "2">/proc/sys/net/ipv4/conf/lo/arp_announce echo "1">/proc/sys/net/ipv4/conf/all/arp_ignore echo "2">/proc/sys/net/ipv4/conf/all/arp_announce ;; stop) #关闭情况 ifconfig lp:0 down route del -host 192.168.16.250 echo "0">/proc/sys/net/ipv4/conf/lo/arp_ignore echo "0">/proc/sys/net/ipv4/conf/lo/arp_announce echo "0">/proc/sys/net/ipv4/conf/all/arp_ignore echo "0">/proc/sys/net/ipv4/conf/all/arp_announce ;; *) #其他情况 echo "Usage: start|stop" ;; esac :wq #查看执行情况 [root@localhost ~]# bash lvs_dr_rr.sh start [root@localhost ~]# cat /proc/sys/net/ipv4/conf/lo/arp_announce 2 #内核参数已更改 [root@localhost ~]# ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1 ……… inet 192.168.16.250/32 brd 192.168.16.250 scope global lo:0 #vip已建立(32位掩码) [root@localhost ~]# route -n #静态路由已添加 Destination Gateway Genmask Flags Metr 192.168.16.250 0.0.0.0 255.255.255.255 UH 0 0 0 lo #将改脚本发送给192.168.16.6 [root@localhost ~]# scp lvs_dr_rr.sh root@192.168.16.6:/root root@192.168.16.6's password: lvs_dr_rr.sh 100% 717 0.7KB/s 00:00 #.6查看执行 [root@localhost ~]# ls anaconda-ks.cfg lvs_dr_rr.sh test [root@localhost ~]# bash lvs_dr_rr.sh start [root@localhost ~]# ip a #vip inet 192.168.16.250/32 brd 192.168.16.250 scope global lo:0 [root@localhost ~]# cat /proc/sys/net/ipv4/conf/lo/arp_announce #内核参数 2 [root@localhost ~]# route -n #静态路由 Destination Gateway Genmask Flags Metric Ref Use Iface 192.168.16.250 0.0.0.0 255.255.255.255 UH 0 0 0 lo
3> 运行检查
1> 编辑首页文件 #.5: [root@localhost ~]# vim /var/www/html/index.html This is realserver1 :wq [root@localhost ~]# vim /var/www/html/index.html This is realserver2 :wq 2> 关闭DR、RS1、RS2的防火墙,启动httpd服务 #3> windows端访问 #因采用轮循算法,刷新一次改变一次 #cmd运行窗口 C:\Users\WenKe>ping 192.168.16.250 #能ping通 正在 Ping 192.168.16.250 具有 32 字节的数据: 来自 192.168.16.250 的回复: 字节=32 时间<1ms TTL=64 C:\Users\WenKe>curl 192.168.16.250 #轮循,权重为1:1 This is realserver2 C:\Users\WenKe>curl 192.168.16.250 This is realserver1 C:\Users\WenKe>curl 192.168.16.250 This is realserver2 C:\Users\WenKe>curl 192.168.16.250 This is realserver1