lvs详解

lvs介绍

LVS 是 Linux Virtual Server 的简写，即 Linux 虚拟服务器，是一个虚拟的服务器集群系统。此项目在 1998 年 5 月由章文嵩博士成立，是国内最早出现的自由软件项目之一，是根据 iptables 的实现来开发的，所以使用的时候会和 iptables 相类似

官网：The Linux Virtual Server Project

中文站点： LVS中文站点

LV银渐层S三种模式介绍NAT模式（网络地址映射）IP TUN模式（IP Tunneling IP隧道）DR模式（Direct Routing 直接路由）

不同的舰船知识转发模式决定了不同的的网络结构

NAT模式

NAT 模式（即：网络地址映射）其工作原理是：客户端访问LVS时，LVS通过重写请求报文的目标地址，且根据预设的调度算法，将请求分派给后端真实服务器，真实服务器接收到请求处理后，发出响应报文也需要通过LVS返回，返回时需要修改报文的源地址，然后返回给客户，完成整个负载调度过程

DNAT：目标地址转换，改变的是目标地址SNAT：源地址转换，改变的是源地址

NAT 模式就是使用 SNAT 和 DNAT 技术完成报的转发，NAT 方式可支持任何的操作系统，以及私有网络，并且只需一个 Internet IP 地址，非常节省成本，但是整个系统的性能受到限制。因为执行 NAT 每次需要重写数据包，有一定的延迟，另外，大部分应用有 80%的数据是从服务器流向客户机，也就是用户的请求非常短，而服务器的回应非常大，对LVS形成很大压力，容易成为瓶颈

IP TUN模式

IP TUN（IP Tunneling 即 IP隧道）当 LVS 分配请求到不同的 real server，real server 处理请求后直接回应给用户，这样 LVS 仅处理客户机与服务器的一半连接。IP TUN 技术极大地提高了 LVS 的调度处理能力，同时也极大地提高了系统能容纳的最大节点数，可以超过 100 个节点。real server 可以在任何 LAN 或 WAN 上运行，这意味着允许地理上的分布，这在灾难恢复中有重要意义。但此模式要求所有服务器必须支持 IP 隧道协议，因此只能在 linux 下使用，在 windows 无法使用

DR模式

DR（即 Direct Routing 直接路由）与 IP TUN 类似，负载均衡器仅处理一半的连接，避免了新的性能瓶颈，同样增加了系统的可伸缩性，DR fcoin与 IP TUN 相比，没有 IP 封装的开销，但由于采用物理层（修改 MAC地址）技术，所有服务器都必须在同一个局域网

DR 和 IP TUN 的区别：

DR 与 IP TUN 相比，没有 IP 封装的开销，但由于采用数据链路层（修改 MAC地址）技术，所有服务器都必须在一个物理网段

三种模式对比NAT模式IP TUN模式DR模式对服务器要求任何操作系统均支持必须支持IP隧道协议，目前只有Linux支持支持虚拟网卡，且可以禁用ARP响应网络要求局域网局域网或广域网局域网支持的节点数10~20个，视Director处理能力而定可以支持到100个节点可以支持到100个节点安全性较高，可隐藏real server较差，real server 容易暴露较差，real server 容易暴露IP要求仅需要一个合法IP地址作为VIP除VIP外，每个服务器需要拥有合法IP地址可以直接路由至客户端除VIP外，每个服务器需要拥有合法IP地址可以直接路由至客户端拓展性差很好好特点地址转换封装IP修改MAC地址LVS配置实践NAT模式配置

如下图，客户端访问 Director 的VIP地址，Director 通过重写请求报文的目标地址，并根据预设的调度算法，将请求分派给后端的真实服务器 real server（RS1 和 RS2），RS的回程响应报文通过 Director 时，报文的源地址被重写，再返回给客户，完成整个负载调度过程

图中各 IP 注解

CIP 客户端的 IPVIP 是域名解析的 IP，是集群对外的公网 IPDIP 用来和后端真实服务器进行数据交互的 IP，请求报文转发给后端服务器从此口出去RIP 真实服务器的 IP

环境准备

角色IP地址主机名服务或工具DirectorVIP（ens37）：192.168.0.220DIP（ens33）：192.168.176.31stache31ipvsadmRS1RIP1（ens33）：192.168.176.32stache32httpdRS2RIP2（ens33）：192.168.176.33stache33httpd

配置前需要给 Director 增加了一张网卡设置为桥接模式，用于模拟 Director 的 VIP，其它网卡均为 NAT 模式

#Director配置过程[root@stache31 ~]# ifconfig -a #先通过此命令获取新增网卡名称为 ifcfg-ens37[root@stache31 ~]# cd /etc/sysconfig/network-scripts/[root@stache31 network-scripts]# cp ifcfg-ens33 ifcfg-ens37 #给新增加网卡添加配置文件[root@stache31 network-scripts]# vi ifcfg-ens37 #配置VIP地址TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens37DEVICE=ens37ONBOOT=yesIPADDR=192.168.0.220NETMASK=255.255.255.0GATEWAY=192.168.0.1#将原网卡的网关去除，否则两个网卡都有网关会有冲突[root@stache31 network-scripts]# vi ifcfg-ens33TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990DEVICE=ens33ONBOOT=yesIPADDR=192.168.176.31NETMASK=255.255.255.0#GATEWAY=192.168.176.2 #将此网关注释#重启网络[root@stache31 ~]# service network restart#打开路由转发功能[root@stache31 ~]# echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf[root@stache31 ~]# sysctl -p#安装LVS管理工具yum -y install ipvsadm#使用 ipvsadm 命令设置转发规则#-A 添加虚拟服务器#-t 表示 TCP 的服务 VIP：PORT#-s 指定调度算法 rr 表示 round-robin 平均轮循#-a 表示添加 real server 的地址#-r 指定 real server 的 IP 地址#-m 表示 masquerade 也就是 NAT 方式的 LVS[root@stache31 network-scripts]# ipvsadm -A -t 192.168.0.220:80 -s rr[root@stache31 network-scripts]# ipvsadm -a -t 192.168.0.220:80 -r 192.168.176.32 -m[root@stache31 network-scripts]# ipvsadm -a -t 192.168.0.220:80 -r 192.168.176.33 -m#查看设置好的规则[root@stache31 network-scripts]# ipvsadm -L -nIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.0.220:80 rr -> 192.168.176.32:80 Masq 1 0 经验分享 0 -> 192.168.176.33:80 Masq 1 0 0 #显示当前的连接 -c --connection[root@stache31 ~]# ipvsadm -L -n -cIPVS connection entriespro expire state source virtual destinationTCP 14:59 ESTABLISHED 192.168.0.205:7624 192.168.0.220:80 192.168.176.33:80TCP 14:59 ESTABLISHED 192.168.0.205:7623 192.168.0.220:80 192.168.176.32:80

Director 已经配置好，现在我们需要在两台 RS 服务器上搭建 httpd 服务来配合测试

#RS1配置过程#将 RS1 网卡的网关地址修改为 Director 的 DIP 地址，也就是 192.168.176.31[root@stache32 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetPROXY_METHOD太极拳入门=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990DEVICE=ens33ONBOOT=yesIPADDR=192.168.176.32NETMASK=255.255.255.0GATEWAY=192.168.176.31 #修改此项[root@stache32 ~]# yum -y install httpd[root@stache32 ~]# echo 'stache32' > /var/www/html/index.html #将主机名写入网址首页，方便后面测试区分[root@stache32 ~]# systemctl start httpd# RS2 也是一样的操作[root@stache33 ~]# v妈妈的内裤i /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990DEVICE=ens33ONBOOT=yesIPADDR=192.168.176.33NETMASK=255.255.255.0GATEWAY=192.168.176.31 #修改此项[root@stache33 ~]# yum -y install httpd[root@stache33 ~]# echo 'stache33' > /var/www/html/index.html #将主机名写入网址首页，方便后面测试区分[root@stache33 ~]# systemctl start httpd

验证结果：我们可以通过浏览器访问 Director 的VIP地址来验证负载均衡是否生效，但是浏览器会有缓存，不能很直观的看到效果，因此我们在新开一台虚拟机 stache34 安装 elinks 字符界面浏览器来测试效果

#默认 elinks 会打开网址，加 --dump 参数可以不打开网址而直接打印网站内容#如下可以看到负载均衡已经生效，Director 会将请求平均分配到两台 RS 中 [root@stache34 ~]# elinks 192.168.0.220 --dump stache32[root@stache34 ~]# elinks 192.168.0.220 --dump stache33[root@stache34 ~]# elinks 192.168.0.220 --dump stache32[港灯root@stache34 ~]# elinks 192.168.0.220 --dump stache33DR模式配置

DR 模式的工作原理：Director 收到请求，将请求转发给 RS，但是接下 RS 的响应消息是由 RS 直接和客户端进行通讯的，原理图如下：

DR 模式下是通过修改 MAC 地址技术实现的，我们来看 MAC 的转换过程：

客户机向 Director 的VIP地址发出请求，此时IP包头及数据帧头信息为：src ip=客户机IP、dst ip=VIP地址、src mac=客户机mac、dst mac=VIP的macDirector 根据负载算法选择一台 RS 将此 RS 所在网卡的 mac 地址作为目标 mac 地址，发送到局域网里此时IP包头及数据帧头信息为：src ip=客户机IP、dst ip=VIP地址、src mac=VIP的mac、dst mac=RS的macRS 在局域网中收到IP包，拆北京职业学校开后发现目标IP(VIP)与本地匹配，于是处理这个报文。随后重新封装报文，发送到局域网。此时 IP 包头及数据帧头信息为：src ip=RS IP、dst ip=客户端地址、src mac=RS的mac、dst mac=客户端的mac，如果客户端 与 RS 同一网段，那么客户端将收到这个回复报文，如果跨了网段那么报文通过路由器经由 Internet 返回给用户

数据的大致流向是：客户端 --> Director --> RS --> 客户端

DR 模式是基于二层的转发，所以在 LVS 的所有模式中效率是最好的：

基于 mac 的数据报文转发, 是效率最好的，但是是根据交换机的 MAC 地址表来实现的MAC 表主要告诉你，到 xxx 地方该走那个端口；如果交换不知道对方在哪儿，这个时候它就要进行广播，就问 xxx 在哪儿，如果对应的设备给了回应, 那么交换机也就更新了自己的 MAC 地址表，记录到 xxx 需要走这个端口二层设备不具有路由功能，那么广播也就不具有跨路由的功能，所有要实现 mac 地址广播，必须在同一物理网段vlan 具有隔离广播的功能,，所有要能处理 mac 地址广播,，就应该在同一个 vlan 中，因此要实现 DR 模式所有的设备应该在同一个物理网段、所有的设备都应该在同一个广播域中

环境准备

角色IP地址主机名服务或工具DirectorVIP：192.168.176.30DIP：192.168.176.31stache31ipvsadmRS1RIP1：192.168.176.32stache32httpdRS2RIP2：192.168.176.33stache33httpd#三台主机都是单网卡#在 Director 上增加VIP地址[root@stache31 ~]# cd /etc/sysconfig/network-scripts/[root@stache31 network-scripts]# cp ifcfg-ens33 ifcfg-ens33:1[root@stache31 network-scripts]# vi ifcfg-ens33:1TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33:1UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990DEVICE=ens33:1ONBOOT=yesIPADDR=192.168.176.30NETMASK=255.255.255.0[root@stache31 network-scripts]# vi ifcfg-ens33TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990DEVICE=ens33ONBOOT=yesIPADDR=192.168.176.31NETMASK=255.255.255.0GATEWAY=192.168.176.2 #网关指向公网出口路由器IP[root@stache31 network-scripts]# ifconfig #查看是否有 ens33 和 ens33:1ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 192.168.176.31 netmask 255.255.255.0 broadcast 192.168.176.255 inet6 fe80::11fd:7c78:356f:1c7c prefixlen 64 scopeid 0x20<link> ether 00:0c:29:7b:4c:87 txqueuelen 1000 (Ethernet) RX packets 11142 bytes 13931739 (13.2 MiB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 2784 bytes 398366 (389.0 KiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0ens33:1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 192.168.176.30 netmask 255.255.255.0 broadcast 192.168.176.255 ether 00:0c:29:7b:4c:87 txqueuelen 1000 (Ethernet)#安装 lvs 管理工具[root@stache31 network-scripts]# yum -y install ipvsadm#注意：三个 LVS 模式中，只有 NAT 模式需要开启路由转发功能，DR 和 TUN 模式不需要开启#配置转发规则，-g 表示 DR 模式[root@stache31 ~]# ipvsadm -At 192.168.176.30:80 -s rr[root@stache31 ~]# ipvsadm -at 192.168.176.30:80 -r 192.168.176.32:80 -g[root@stache31 ~]# ipvsadm -at 192.168.176.30:80 -r 192.168.176.33:80 -g#查看配置好的转发规则[root@stache31 ~]# ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.176.30:80 rr -> 192.168.176.32:80 Route 1 0 0 -> 192.168.176.33:80 Route 1 0 0#配置 RS1[root@stache32 local]# cd /etc/sysconfig/network-scripts/#增加一个本地回环接口，将VIP地址配置到回环接口上[root@stache32 network-scripts]# cp ifcfg-lo ifcfg-lo:1[root@stache32 network-scripts]# vi ifcfg-lo:1DEVICE=lo:1IPADDR=192.168.176.30NETMASK=255.255.255.255ONBOOT=yesNAME=loopback#注意ens33网口的网关[root@stache32 network-scripts]# vi ifcfg-ens33 TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990DEVICE=ens33ONBOOT=yesIPADDR=192.168.176.32NETMAS细胞因子风暴K=255.255.255.0GATEWAY=192.168.176.2 #网关指向公网出口路由器IP[root@stache32 ~]# service network restart[root@stache32 ~]# ifconfigens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 192.168.176.32 netmask 255.255.255.0 broadcast 192.168.176.255 inet6 fe80::b4e3:e40c:808a:1e5a prefixlen 64 scopeid 0x20<link> inet6 fe80::481a:500b:f0a0:3b89 prefixlen 64 scopeid 0x20<link> inet6 fe80::11fd:7c78:356f:1c7c prefixlen 64 scopeid 0x20<link> ether 00:0c:29:0f:55:26 txqueuelen 1000 (Ethernet) RX packets 284 bytes 29340 (28.6 KiB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 190 bytes 34347 (33.5 KiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536 inet 127.0.0.1 netmask 255.0.0.0 inet6 ::1 prefixlen 128 scopeid 0x10<host> loop txqueuelen 1000 (Local Loopback) RX packets 0 bytes 0 (0.0 B) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 0 bytes 0 (0.0 B) TX err美魔女ors电池耐用的手机 0 dropped 0 overruns 0 carrier 0 collisions 0lo:1: flags=73<UP,LOOPBACK,RUNNING> mtu 65536 inet 192.168.176.30 netmask 255.255.255.255 loop txqueuelen 1000 (Local Loopback)#关闭ARP转发[root@stache32 ~]# cat >> /etc/sysctl.conf << EOFnet.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2net.ipv4.conf.lo.arp_ignore = 1net.ipv4.conf.lo.arp_announce = 2EOF[root@stache32 ~]# sysctl -p#安装 httpd 用于验证测试效果[root@stache32 ~]# yum -y install httpd[root@stache32 ~]# echo 'stache32' > /var/www/html/index.html #将主机名写入网址首页，方便后面测试区分[root@stache32 ~]# systemctl start httpd#RS2 的配置和 RS1 的配置是一样的，这里就不再累述了#测试效果，注意测试时，不要在 Director 或 RS 上测试，需要另外再开一台新虚拟机安装 elinks 测试[root@stache34 ~]# elinks 192.168.176.30 --dump stache33[root@stache34 ~]# elinks 192.168.176.30 --dump stache32[root@stache34 ~]# elinks 192.168.176.30 --dump stache33[root@stache34 ~]# elinks 192.168.176.30 --dump#当然也可以用ab命令来测试#ab命令是由 httpd-tools 包提供的yum -y install httpd-tools#-n 指定请求总个数，-c 每次请求的并发数[root@stache34 ~]# ab -n 1000 -c 1000 192.168.176.30/index.html#ab命令之后后，使用如下命令查看统计信息[root@stache31 ~]# ipvsadm -L -n --stats

扩展1：为什么要在 RS 的 lo 接口上配置 VIP？在出口网卡上配置 VIP 可以吗？

既然要让 RS 能够处理目标地址为 VIP 的 IP 包，首先必须要让 RS 能接收到这个包，在 lo 上配置 VIP 能够完成接收包并将结果返回给客户端不可以将 VIP 设置在出口网卡上，否则会响应客户端的 ARP 请求，造成路由器的 ARP table 紊乱，以至于整个集群都不能正常工作

扩展2：关闭（抑制）ARP 响应，同一个广播域配置多个相同的 VIP 是不允许的，要想实现，就必须让外面的网络，无法发现这个 VIP 的存在，因此 在 Linux 里面，可以修改内核参数实现接口 IP 的广播不响应、不广播

arp_ignore：定义接收到 ARP 请求时的响应级别

0：只要本地配置的有相应地址，就给予响应1：仅在请求的目标地址配置在到达的接口上的时候，才给予响应，DR 模型使用

arp_announce：定义将自己地址向外通告时的通告级别

0：将本地任何接口上的任何地址向外通告1：试图仅向目标网络通告与其网络匹配的地址2：仅向与本地接口上地址匹配的网络进行通告，DR 模型使用IP TUN模式配置

DR 方式是通过 MAC 地址，规模是一个交换网络，而 TUN 是通过给数据包加上新的 IP 头部来实现，这个可以跨整个广域网，可以实现异地机房容灾

环境准备

角色IP地址主机名服务或工具DirectorVIP：192.168.176.30DIP：192.168.176.31stache31ipvsadmRS 1RIP：192.168.176.32stache32httpdRS 2RIP：192.168.176.33stache33httpd#在 Director防卫过当案例 上增加VIP地址[root@stache31 ~]# cd /etc/sysconfig/network-scripts/[root@stache31 network-scripts]# cp ifcfg-ens33 ifcfg-ens33:1[root@stache31 network-scripts]# vi ifcfg-ens33:1TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33:1UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990DEVICE=ens33:1ONBOOT=yesIPADDR=192.168.176.30NETMASK=255.255.255.0[root@stache31 network-scripts]# service network restart[root@stache31 network-scripts]# ifconfigens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 192.168.176.31 netmask 255.255.255.0 broadcast 192.168.176.255 inet6 fe80::11fd:7c78:356f:1c7c prefixlen 64 scopeid 0x20<link> ether 00:0c:29:7b:4c:87 txqueuelen 1000 (Ethernet) RX packets 892461 bytes 614960905 (586.4 MiB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 1709510 bytes 3882536541 (3.6 GiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0ens33:1: flags=4163<UP,BROADCAST,RUNNING拿破仑战争,MULTICAST> mtu 1500 inet 192.168.176.30 netmask 255.255.255.0 broadcast 192.168.176.255 ether 00:0c:29:7b:4c:87 txqueuelen 1000 (Ethernet)[root@stache31 network-scripts]# yum -y install ipvsadm#配置规则[root@stache31 ~]# ipvsadm -A -t 192.168.176.30:80 -s rr[root@stache31 ~]# ipvsadm -a -t 192.168.176.30:80 -r 192.168.176.32:80 -i[root@stache31 ~]# ipvsadm -a -t 192.168.176.30:80 -r 192.168.176.33:80 -i[root@stache31 ~]# ipvsadm -L -nIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.176.30:80 rr -> 192.168.176.32:80 Tunnel 1 0 0 -> 192.168.176.33:80 Tunnel 1 0 0 #RS1 配置#需要加载ipip模块，在加载了 ipip 隧道模块后就会有默认的 tunl0 隧道#如果此处没有手动加载 ipip ，那么使用ifconfig tunl0 时，也会自动加载 ipip 隧道模块[root@stache32 ~]# modprobe ipip[root@stache32 ~]# lsmod | grep ipipipip 13465 0 tunnel4 13252 1 ipipip_tunnel 25163 1 ipip[root@stache32 ~]# ip addr1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000 link/ether 00:0c:29:0f:55:26 brd ff:ff:ff:ff:ff:ff inet 192.168.176.32/24 brd 192.168.176.255 scope global noprefixroute ens33 valid_lft forever preferred_lft forever inet6 fe80::b4e3:e40c:808a:1e5a/64 scope link tentative noprefixroute dadfailed valid_lft forever preferred_lft forever inet6 fe80::11fd:7c78:356f:1c7c/64 scope link tentative noprefixroute dadfailed valid_lft forever preferred_lft forever inet6 fe80::481a:500b:f0a0:3b89/64 scope link tentative noprefixroute dadfailed valid_lft forever preferred_lft forever3: tunl0@NONE: <NOARP> mtu 1480 qdisc noop state DOWN group default qlen 1000 link/ipip 0.0.0.0 brd 0.0.0.0#将VIP地址配置到 tunl0 接口上[root@stache32 ~]# cd /etc/sysconfig/network-scripts/[root@stache32 network-scripts]# cp ifcfg-lo ifcfg-tunl0[root@stache32 network-scripts]# vi ifcfg-tunl0 DEVICE=tunl0IPADDR=192.168.176.30NETMASK=255.255.255.255ONBOOT=yesNAME=tunl0#注意需要关闭 NetworkManager 否则重启网络会报错[root@stache32 network-scripts]# systemctl stop NetworkManager && systemctl disable NetworkManager[root@stache32 network-scripts]# service network restart[root@stache32 network-scripts]# ip addr1: lo: <LOOPBAC南兵军K,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000 link/ether 00:0c:29:0f:55:26 brd ff:ff:ff:ff:ff:ff inet 192.168.176.32/24 brd 192.168.176.255 scope global noprefixroute ens33 valid_lft forever preferred_lft forever inet6 fe80::b4e3:e40c:808a:1e5a/64 scope link tentative noprefixroute dadfailed valid_lft forever preferred_lft forever inet6 fe80::11fd:7c78:356f:1c7c/64 scope link tentative noprefixroute dadfailed valid_lft forever preferred_lft forever inet6 fe80::481a:500b:f0a0:3b89/64 scope link tentative noprefixroute dadfailed valid_lft forever preferred_lft forever3: tunl0@NONE: <NOARP,UP,LOWER_UP> mtu 1480 qdisc noqueue state UNKNOWN group default qlen 1000 link/ipip 0.0.0.0 brd 0.0.0.0 inet 192.168.176.30/32 brd 192.168.176.30 scope global tunl0 valid_lft forever preferred_lft forever[root@stache33 network-scripts]# cat >> /etc/sysctl.conf << EOFnet.ipv4.conf.all.arp英文杂志_ignore = 1net.ipv4.conf.all.arp_announce = 2net.ipv4.conf.all.rp_filter = 0net.ipv4.conf.tunl0.arp_ignore = 1net.ipv4.conf.tunl0.arp_announce = 2net.ipv4.conf.tunl0.rp_filter = 0EOF[root@stache33 network-scripts]# sysctl -p#安装 httpd 用于验证测试效果[root@stache32 ~]# yum -y install httpd[root@stache32 ~]# echo 'stache32' > /var/www/html/index.html #将主机名写入网址首页，方便后面测试区分[root@stache32 ~]# systemctl start httpd#RS2 的配置和 RS1 的配置是一样的，这里就不再累述了#我们在开一台虚拟机 stache34 来测试效果，如下访问 VIP 已经可以将请求平均分配到两台 RS 了[root@stache34 ~]# curl 192.168.176.30stache33[root@stache34 ~]# curl 192.168.176.30stache32[root@stache34 ~]# curl 192.168.176.30stache33[root@stache34 ~]# curl 192.168.176.30stache32#查看访问统计[root@stache31 ~]# ipvsadm -L -n --statsIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes -> RemoteAddress:PortTCP 192.168.176.30:80 40 240 0 15920 0 -> 192.168.176.32:80 20 120 0 7960 0 -> 192.168.176.33:80 20 120 0 7960 0LVS的多种调度算法

参考文档：Linux服务器集群系统(四) -- LVS集群的负载调度

[root@stache31 ~]# ipvsadm -h--scheduler -s scheduler one of rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq, the default scheduler is wlc.-s rr #轮询法，平均将请求分配给 real server-s wrr #带权重的轮询法，基于集群节点可以处理多少来分配给每个节点一个权重值 #权重值为 2 的服务器是权重值为 1 的服务器的两倍的连接数量 #如果服务器的权重为 0 ，则不会收到新的连接请求，但当前活动的已经建立的连接将不会丢失-s lc #最少连接法，当新的请求到达 lvs 时，lvs 查看活动和非活动的连接数量，以确定把请求分发给哪个服务器 #lvs将集群节点目前的活动连接数量乘以256，再加上不活动的连接数量，得到节点的开销值 #最低开销值的节点胜出，被分发新的入站请求（如果开销一样，则第一个节点被选中）-s wlc #带权重的最少连接法，如上 lc 算出集群节点的开销值，然后除以分配给其的权重值 #最小值节点胜出，将入站请求分发给它-s lblc #基于本地的最少连接法，当 real server 是缓存服务器时用得比较多-s lblcr #带复制的基于本地的最小连接，当 real server 是缓存服务器时用得比较多-s dh #目标散列法-s sh #源散列法，同一个 ip 的客户端总是分发给同一个 real server #让客户端总是能访问到自己的会话信息，这种机制叫会话保持 #基于 ip 地址标识客户端的缺点：很多内网用户会伪装成公网ip来访问服务器，不能人为的控制负载均衡 #比较高级的方法是基于客户端提供我们的 session id 来实现会话保持 #haproxy做负载时可以实现基于会话信息来判断保持会话-s sed #最短预期延迟法 (Ci+1)/Ui , Ci 连接数 Ui 权重值，在 wlc 方法上做了轻微改进 #这些服务使用 tcp，而且当群节点在处理每个请求时保持在活动状态 #计算方法：每个集群节点的开销值是通过将活动的连接数加 1 计算的，然后开销值除以 #分配给每个节点的权重，以取得 SED 值，具有最低 SED 值的集群节点胜出-s nq #永不排队法，Never Queue 没有队列，分配请求给空闲的服务器，没有空闲的就找响应最快的 #如果某个集群节点中没有活动的连接，不管各集群节点 SED 计算值的结果，它始终被分配新入站请求#调度算法配置后立即生效，就像 iptables 配置规则一样#带权重的配置例子ipvsadm -A -t 192.168.176.30:80 -s wrripvsadm -a -t 192.168.176.30:80 -r 192.168.176.32 -g -w 10ipvsadm -a -t 192.168.176.30:80 -r 192.168.176.32 -g -w 20#通过命令 ipvsadm -L -n --stats 来查看入站统计情况

扩展：如何保持会话一致

如果总是保持和一个 RS 会话，这台 RS 如果故障了要确定另一个 RS 也有会话信息，所有的 RS 保持数据同步

会话同步的方法：把所有的 RS 把自己的会话信息保存到数据库当中（如memcached）

ipvsadm操作命令基本选项解释ipvsadm 命令选项解释：-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录-C --clear 清除内核虚拟服务器表中的所有记录-R --restore 恢复虚拟服务器规则-S --save 保存虚拟服务器规则，输出为 -R 选项可读的格式-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的real server服务器记录-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录-d --delete-server 删除一条虚拟服务器记录中的某条real server服务器记录-L|-l --list 显示内核虚拟服务器表-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）--set tcp tcpfin udp 设置连接超时值--start-daemon 启动同步守护进程，它后面可以是 master 或 backup，用来说明 LVS Router 是 master 或是 backup，在这个功能上也可以采用 keepalived 的 VRRP 功能--stop-daemon 停止同步守护进程-h --help 显示帮助信息-t --tcp-service service-address 说明虚拟服务器提供的是 tcp 的服务[vip:port] or [real-server-ip:port]-u --udp-service service-address 说明虚拟服务器提供的是 udp 的服务[vip:port] or [real-server-ip:port]-f --fwmark-service fwmark 说明是经过 iptables 标记过的服务类型-s --scheduler scheduler 使日本右翼用的调度算法，有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq 默认的调度算法是：wlc-p --persistent [timeout] 持久稳固的服务，这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理，timeout 的默认值为 300 秒-M --netmask netmask persistent granularity mask-r --real-server server-address 真实的服务器 [real-server:port]-g --gatewaying 指定 LVS 的工作模式为直接路由模式（也是 LVS 默认的模式）-i --ipip 指定 LVS 的工作模式为隧道模式-m --masquerading 指定 LVS 的工作模式为 NAT 模式-w --weight weight 真实服务器的权值--mcast-interface interface 指定组播的同步接口-c --connection 显示 LVS 目前的连接，如：ipvsadm -L -c--timeout 显示 tcp tcpfin udp 的 timeout 值，如：ipvsadm -L --timeout--daemon 显示同步守护进程状态--stats 显示统计信息--rate 显示速率信息--sort 对虚拟服务器和真实服务器排序输出--numeric -n 输出 IP 地址和端口的数字形式设置超时时间用 ipvsadm --set tcp tcpfin udp 设置，比如 ipvsadm --set 120 20 100表示 tcp 空闲等待时间为 120 秒、客户端关闭链接等待时间为 20 秒、udp 空闲等待为 100 秒常用命令示例[root@stache31 ~]# ipvsadm -L -n #查看规则内容IP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn Imp4转换mp3nActConnTCP 192.168.176.30:80 rr -> 192.168.176.32:80 Route 1 0 0 -> 192.168.176.33:80 Route 1 0 0 #清空所有记录 -C --clear 清除内核虚拟服务器表中的所有记录#该命令与 iptables 的-F 功能类似，执行后会清除所有规则[root@stache31 ~]# ipvsadm -C# -D 删除一个集群[root@stache31 ~]# ipvsadm -D -t 192.168.176.30:80# -d 删除一个 real server[root@stache31 ~]# ipvsadm -d -t 192.168.176.30:80 -r 192.168.176.33[root@stache31 ~]# ipvsadm -L -nIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.176.30:80 rr -> 192.168.176.32:80 Route 1 0 0 [root@stache31 ~]# ipvsadm -L -n --stats #查看统计信息IP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes -> RemoteAddress:PortTCP 192.168.176.30:80 8 48 0 3744 0 -> 192.168.176.32:80 4 24 0 1872 0 -> 192.168.176.33:80 4 24 0 1872 0[root@stache31 ~]# ipvsadm -Z #-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）[root@stache31 ~]# ipvsadm -L -n --rate #查看当前访问的速率IP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS -> RemoteAddress:PortTCP 192.168.176.30:80 1 8 0 614 0 -> 192.168.176.32:80 1 4 0 307 0 -> 192.168.176.33:80 1 4 0 307 0[root@stache31 ~]# ipvsadm -L -n -c #显示lvs当前的连接 -c --connectionIPVS connection entriespro expire state source virtual destinationTCP 01:11 FIN_WAIT 192.168.176.34:44184 192.168.176.30:80 1混凝土加固92.168.176.32:80TCP 01:11 FIN_WAIT 192.168.176.34:44180 192.168.176.30:80 192.168.176.32:80TCP 01:10 FIN_WAIT 192.168.176.34:44166 192.168.176.30:80 192.168.176.33:80TCP 01:10 FIN_WAIT 192.168.176.34:44168 192.168.176.30:80 192.168.176.32:80#修改规则#-E 编辑内核虚拟服务器表中的一条虚拟服务器记录#如下将 rr 调度模式修改为 wrr[root@stache31 ~]# ipvsadm -E -t 192.168.176.30:80 -s wrr[root@stache31 ~]# ipvsadm -L -nIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.176.30:80 wrr -> 192.168.176.32:80 Route 1 0 0 -> 192.168.176.33:80 Route 1 0 0#-e 编辑 real server 记录#如下修改 real server 的权重[root@stache31 ~]# ipvsadm -e -t 192.168.176.30:80 -r 192.168.176.32:80 -g -w 10[root@stache31 ~]# ipvsadm -e -t 192.168.176.30:80 -r 192.168.176.33:80 -g -w 20[root@stache31 ~]# ipvsadm -L -nIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.176.30:80 wrr -> 192.168.176.32:80 Route 10 0 0 -> 192.168.176.33:80 Route 20 0 0保存和载入规则#保存规则[root@stache31 ~]# ipvsadm -S > /etc/sysconfig/ipvsadm #导出规则并翻译ip地址和端口[root@stache31 ~]# cat /etc/sysconfig/ipvsadm -A -t stache31:http -s rr-a -t stache31:http -r 192.168.176.32:http -g -w 1-a -t stache31:http -r 192.168.176.33:http -g -w 1[root@stache31 ~]# ipvsadm -S -n > /etc/sysconfig/ipvsadm #以数字的形式导出规则，不翻译ip和端口[root@stache31 ~]# cat /etc/sysconfig/ipvsadm -A -t 192.168.176.30:80 -s rr-a相位 -t 192.168.176.30:80 -r 192.168.176.32:80 -g -w 1-a -t 192.168.176.30:80 -r 192.168.176.33:80 -g -w 1 [root@stache31 ~]# ipvsadm-save > /etc/sysconfig/ipvsadm #和 ipvsadm -S 等同[root@stache31 ~]# cat /e昨日的世界tc/sysconfig/ipvsadm -A -t stache31:http -s rr-a -t stache31:http -r 192.168.176.32:http -g -w 1-a -t stache31:http -r 192.168.176.33:http -g -w 1[root@stache31 ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm #和 ipvsadm -S -n 等同[root@stache31 ~]# cat /etc/sysconfig/ipvsadm -A -t 192.168.176.30:80 -s rr-a -t 192.168.176.30:80 -r 192.168.176.32:80 -g -w 1-a -t 192.168.176.30:80 -r 192.168.176.33:80 -g -w 1#载入规则，以下两条命令等同ipvsadm -R < /etc/sysconfig/ipvsadmipvsadm-restore < /etc/sysconfig/ipvsadm