高薪Linux必備之高併發場景 LVS 簡快入門實戰（萬字長文）

[root@lb03 ~]# cat /etc/redhat-release 
CentOS Linux release 7.4.1708 (Core) 
[root@lb03 ~]# uname -a
Linux lb03 3.10.0-693.el7.x86_64 #1 SMP Tue Aug 22 21:09:27 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
[root@lb03 ~]# systemctl status firewalld.service 
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)
[root@lb03 ~]# getenforce 
Disabled

[root@lb03 ~]# curl 10.0.0.17
web03
[root@lb03 ~]# curl 10.0.0.18
web04

yum -y install ipvsadm

ipvsadm

[root@lb03 ~]# lsmod|grep ip_vs
ip_vs_wrr              12697  1
ip_vs                 141092  3 ip_vs_wrr
nf_conntrack          133387  1 ip_vs
libcrc32c              12644  3 xfs,ip_vs,nf_conntrack

ip addr add 10.0.0.13/24 dev eth0
ipvsadm -C                    
ipvsadm --set 30 5 60         
ipvsadm -A -t 10.0.0.13:80 -s wrr -p 20   
ipvsadm -a -t 10.0.0.13:80 -r 10.0.0.17:80 -g -w 1 
ipvsadm -a -t 10.0.0.13:80 -r 10.0.0.18:80 -g -w 1
ipvsadm -ln

[root@lb03 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.0.13:80 wrr persistent 20
  -> 10.0.0.17:80                 Route   1      0          0  
  -> 10.0.0.18:80                 Route   1      0          0

ip addr add 10.0.0.13/32 dev lo

cat >>/etc/sysctl.conf<net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
EOF
sysctl -p

[root@lb04 ~]# curl 10.0.0.13
web03

[root@lb04 ~]# arp -n
Address                  HWtype  HWaddress           Flags Mask            Iface
10.0.0.254               ether   00:50:56:e9:9f:2c   C                     eth0
10.0.0.18                ether   00:0c:29:ea:ca:55   C                     eth0
10.0.0.13                ether   00:0c:29:de:7c:97   C                     eth0
172.16.1.15              ether   00:0c:29:de:7c:a1   C                     eth1
10.0.0.17                ether   00:0c:29:4a:ac:4a   C                     eth0

DS：Director Server。指的是前端負載均衡器節點。
RS：Real Server。後端真實的工作伺服器。
VIP：向外部直接面向用戶請求，作為使用者請求的標的的IP地址。
DIP：Director Server IP，主要用於和內部主機通訊的IP地址。
RIP：Real Server IP，後端伺服器的IP地址。
CIP：Client IP，訪問客戶端的IP地址。

a)透過在排程器LB上修改資料包的目的MAC地址實現轉發。註意，源IP地址仍然是CIP，目的IP地址仍然是VIP。
b)請求的報文經過排程器，而RS響應處理後的報文無需經過排程器LB，因此，併發訪問量大時使用效率很高，比Nginx代理樣式強於此處。
c)因DR樣式是透過MAC地址的改寫機制實現轉發的，因此，所有RS節點和排程器LB只能在同一個區域網中。需要註意RS節點的VIP的系結(lo:vip/32)和ARP抑制問題。
d)強調下：RS節點的預設閘道器不需要是排程器LB的DIP，而應該直接是IDC機房分配的上級路由器的IP(這是RS帶有外網IP地址的情況)，理論上講，只要RS可以出網即可，不需要必須配置外網IP，但走自己的閘道器，那閘道器就成為瓶頸了。
e)由於DR樣式的排程器僅進行了目的MAC地址的改寫，因此，排程器LB無法改變請求報文的目的埠。LVS DR樣式的辦公室在二層資料鏈路層（MAC），NAT樣式則工作在三層網路層（IP）和四層傳輸層（埠）。
f)當前，排程器LB支援幾乎所有UNIX、Linux系統，但不支援windows系統。真實伺服器RS節點可以是windows系統。
g)總之，DR樣式效率很高，但是配置也較麻煩。因此，訪問量不是特別大的公司可以用haproxy/Nginx取代之。這符合運維的原則：簡單、易用、高效。日1000-2000W PV或併發請求1萬以下都可以考慮用haproxy/Nginx(LVS的NAT樣式)
h)直接對外的訪問業務，例如web服務做RS節點，RS最好用公網IP地址。如果不直接對外的業務，例如：MySQL，儲存系統RS節點，最好只用內部IP地址。

(a) 當使用者請求到達Director Server，此時請求的資料報文會先到核心空間的PREROUTING鏈。 此時報文的源IP為CIP，標的IP為VIP
(b) PREROUTING檢查發現資料包的標的IP是本機，將資料包送至INPUT鏈
(c) IPVS比對資料包請求的服務是否為叢集服務，若是，將請求報文中的源MAC地址修改為DIP的MAC地址，將標的MAC地址修改RIP的MAC地址，然後將資料包發至POSTROUTING鏈。 此時的源IP和目的IP均未修改，僅修改了源MAC地址為DIP的MAC地址，標的MAC地址為RIP的MAC地址
(d) 由於DS和RS在同一個網路中，所以是透過二層來傳輸。POSTROUTING鏈檢查標的MAC地址為RIP的MAC地址，那麼此時資料包將會發至Real Server。
(e) RS發現請求報文的MAC地址是自己的MAC地址，就接收此報文。處理完成之後，將響應報文透過lo介面傳送給eth0網絡卡然後向外發出。 此時的源IP地址為VIP，標的IP為CIP
(f) 響應報文最終送達至客戶端

Windows檢視ARP快取命令 arp -a
Linux檢視ARP快取命令 arp -n
Linux解析IP對應的MAC地址 arping -c 1 -I eth0 10.0.0.6

arping -I eth0 -c 1 -U VIP
arping -I eth0 -c 1 -U 10.0.0.13

ip addr del 10.0.0.13/24 dev eth0
ip addr add 10.0.0.13/24 dev eth0
ip addr show eth0
arping -I eth0 -c 1 -U 10.0.0.13

介面: 10.0.0.1 --- 0x12
  Internet 地址         物理地址              型別  
  10.0.0.13             00-0c-29-de-7c-97     動態       
  10.0.0.15             00-0c-29-de-7c-97     動態       
  10.0.0.16             00-0c-29-2e-47-20     動態       
  10.0.0.17             00-0c-29-4a-ac-4a     動態       
  10.0.0.18             00-0c-29-ea-ca-55     動態

#  配置的核心引數
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2