歡迎光臨
每天分享高質量文章
當前位置：知識星球 > 後端 > 正文

基於LVS負載均衡叢集的小米電商網站架構-運維實戰手記（二）

2018-09-27 分類：後端 閱讀(449) 評論(0)

作者：馬哥面授班26期學員 阿龍

來源：見文末


背景：隨著業務的發展，網站的訪問量越來越大，網站訪問量已經從原來的1000QPS，變為3000QPS，網站已經不堪重負，響應緩慢，面對此場景，單純靠單臺LNMP的架構已經無法承載更多的使用者訪問，此時需要用負載均衡技術，對網站容量進行擴充，來解決承載的問題。scale out? scale up?  

總專案流程圖，詳見 http://www.cnblogs.com/along21/p/8000812.html

LVS詳解和相關程式碼段含義詳見 http://www.cnblogs.com/along21/p/7784394.html

實現基於LVS負載均衡叢集的電商網站架構

前景：隨著業務的發展，網站的訪問量越來越大，網站訪問量已經從原來的1000QPS，變為3000QPS，網站已經不堪重負，響應緩慢，面對此場景，單純靠單臺LNMP的架構已經無法承載更多的使用者訪問，此時需要用負載均衡技術，對網站容量進行擴充，來解決承載的問題。scale out? scale up?

實驗前準備：

1、ipvsadm

yum install ipvsadm -y #在LVS-server安裝lvs管理軟體

程式包：ipvsadm（LVS管理工具）

Unit File: ipvsadm.service

主程式：/usr/sbin/ipvsadm

規則儲存工具：/usr/sbin/ipvsadm-save

規則多載工具：/usr/sbin/ipvsadm-restore

配置檔案：/etc/sysconfig/ipvsadm-config

2、

grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64 檢視內核是否支援IPVS


3、

iptables -F && setenforing 清空防火牆策略，關閉selinux

 

實戰一：LVS的NAT樣式實現負載均衡

實戰架構圖：

1、環境準備：

機器名稱

IP配置

服務角色

備註

lvs-server

VIP：172.17.1.6

DIP：192.168.30.106

負載均衡器

開啟路由功能

（VIP橋接、DIP僅主機）

rs01

RIP：192.168.30.107

後端伺服器

閘道器指向DIP（僅主機）

rs02

RIP：192.168.30.7

後端伺服器

閘道器指向DIP（僅主機）

註意：確保rs 在一個網段，且只有一個網段

2、在directory 負載均衡器上

yum -y install ipvsadm

① 開啟一個基於80埠的虛擬服務vip，排程方式為wrr

ipvsadm -A -t 172.17.1.6:80 -s wrr

② 配置web服務後端real server  為nat工作方式  權重為1

ipvsadm -a -t 172.17.1.6:80 -r 192.168.30.107:80 -m -w 1

ipvsadm -a -t 172.17.1.6:80 -r 192.168.30.7:80 -m -w 1

③ 修改內核配置，開啟路由轉發

vim /etc/sysctl.conf 該一行

net.ipv4.ip_forward = 1
 

sysctl -p 讀一些，使其生效

 

3、在兩臺real server 上設定

① 開啟實現準備好的web網頁服務

systemctl start nginx

systemctl start php-mysql

systemctl start mariadb


② 把閘道器指向directory

route add default gw 192.168.30.106

 

4、自己的windows 做客戶端，透過vip 172.17.1.6訪問web服務，排程成功

 

實戰二：LVS的DR 樣式實現負載均衡

實戰架構圖：

1、環境準備

機器名稱

IP配置

服務角色

lvs-server

VIP：172.17.100.100

負載均衡器

rs01

RIP：172.17.1.7

後端伺服器

rs02

RIP：172.17.22.22

後端伺服器

註意：lvs-server 和rs 要在一個網段，rs只有一個網段

 

2、在lvs-server 上設定

① 配置VIP到本地網絡卡別名，廣播只自己響應

ifconfig eth0:0 172.17.100.100 broadcast 172.17.100.100 netmask 255.255.255.255 up

route add -host 172.17.100.100 dev eth0:0 給網絡卡別名指向閘道器
 

② ipvsadm 策略配置

開啟一個基於80埠的虛擬服務，排程方式為wrr

ipvsadm -A -t 172.17.100.100:80 -s wrr

配置web服務後端real server  為DR工作方式  權重為1

ipvsadm -a -t 172.17.100.100:80 -r 172.17.22.22:80 -g -w 1

ipvsadm -a -t 172.17.100.100:80 -r 172.17.1.6:80 -g -w 1

 

3、real server 上配置

① 配置VIP到本地迴環網絡卡lo上，並只廣播自己

ifconfig lo:0 172.17.100.100 broadcast 172.17.100.100 netmask 255.255.255.255 up

配置本地迴環網絡卡路由

route add -host 172.17.100.100 lo:0


② 使RS "閉嘴"

echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce

忽略ARP廣播

echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

註意：關閉arp應答

1：僅在請求的標的IP配置在本地主機的接收到請求報文的介面上時，才給予響應

2：必須避免將介面資訊向非本網路進行通告

③ 想永久生效，可以寫到配置檔案中

vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2


sysctl -p 讀一下，使其生效

 

4、開啟實現準備好的web網頁服務

systemctl start nginx

systemctl start php-mysql

systemctl start mariadb

 

5、效果驗證

① 可分別在rs1和rs2建立2個不同內容，統一路徑的test.html測試檔案，測試負載均衡功能

在RS01 上vim ../test.html

real server 1

在RS01 上vim ../test.html

real server 1

② 開啟http://172.17.1.6/ ，併在director上用ipvsadm -L -n觀察訪問連線

③ 用另外一臺測試機，用ab壓力測試工具，測試經過負載均衡後的伺服器容量

實戰三：實現80、443埠都可訪問服務，且LVS實現持久連線

1、環境準備

機器名稱

IP配置

服務角色

lvs-server

VIP：172.17.100.100

負載均衡器

rs01

RIP：172.17.1.7

後端伺服器

rs02

RIP：172.17.22.22

後端伺服器

 

2、在vs 上設定：

① 在iptables 打上標記，把80埠標記為99

iptables -t mangle -A PREROUTING -d 172.17.100.100 -p tcp --dport 80 -j MARK --set-mark 99

在iptables打上標記，把443埠標記為99

iptables -t mangle -A PREROUTING -d 172.17.100.100-p tcp --dport 443 -j MARK --set-mark 99

 

② 在lvs上建立基於99號標記的虛擬服務

ipvsadm -A -f 99 -s rr -p

設定後端服務地址，用DR樣式

ipvsadm -a -f 99 -r 172.17.1.7 -g

ipvsadm -a -f 99 -r 172.17.22.22 -g

解析：-p 就是持久連線

3、在rs 準備好了的web服務，開啟80、443埠

關於ssl 443加密的程式碼，具體實現下實驗四

 

4、測試，自己windows 做客戶端，訪問 http://172.17.1.6/

訪問 http://172.17.1.6/

  

實驗四：實現ssl 加密

（1）一個物理伺服器設定一個https

1、建立存放證書的目錄

mkdir /etc/nginx/ssl

 

2、自簽名證書

cd /etc/pki/tls/certs/

make nginx.crt

openssl rsa -in nginx.key -out nginx2.key 因為剛私鑰被加密了，為了後邊方便，解密

 

3、把證書和私鑰cp 到nginx存放證書目錄

cp nginx.crt nginx2.key /etc/nginx/ssl/

cd /etc/nginx/ssl/

mv nginx2.key nginx.key 把名字改回來 

 

4、修改配置檔案，加一段server

server {

listen 443 ssl;

server_name www.along.com;

ssl on;

ssl_certificate /etc/nginx/ssl/nginx.crt;

ssl_certificate_key /etc/nginx/ssl/nginx.key;

ssl_session_cache shared:sslcache:20m;

ssl_session_timeout 10m;

}

 

5、測試，網頁開啟 https://192.168.30.7/

windows 信任證書

 

（2）因為nginx 強大，可以實現多個虛擬主機基於不同的FQDN 實現ssl加密，httpd不能實現

一個物理伺服器設定多個https

1、生成3個證書和私鑰

make nginx.crt

make nginx2.crt

make nginx3.crt

 

2、把證書和私鑰cp 到nginx存放證書目錄，並解開私鑰的加密

cp nginx{1,2,3}* /etc/nginx/ssl/

openssl rsa -in nginx.key -out nginx.key

openssl rsa -in nginx2.key -out nginx2.key

openssl rsa -in nginx3.key -out nginx3.key

 

3、建立各自對應的訪問網頁

mkdir /app/website{1,2,3}

echo website1 > /app/website1/index.html

echo website1 > /app/website2/index.html

echo website1 > /app/website3/index.html

 

4、測試訪問，成功

作者：阿龍

來源：http://www.cnblogs.com/along21/p/7822228.html

 

《Linux雲端計算及運維架構師高薪實戰班》2018年11月26日即將開課中，120天衝擊Linux運維年薪30萬，改變速約~~~~

    *宣告：推送內容及圖片來源於網路，部分內容會有所改動，版權歸原作者所有，如來源資訊有誤或侵犯權益，請聯絡我們刪除或授權事宜。

    – END –

    贊(0)
    標籤：

    相關推薦

    熱門標籤

    iOS (11238)微軟 (4955)Linux (4274)安全 (4180)Python (4161)效能 (3165)運維 (2774)最佳化 (2419).NET (2262)Google (2136)機器學習 (1795)併發 (1613)分散式 (1559)叢集 (1240)SQL (1174)Mysql (1060)區塊鏈 (1017)Docker (977)微服務 (922)面試 (919)Apache (743)NLP (725)Redis (719)Android (668)Git (640)架構師 (632)Nginx (630)Facebook (599)JVM (595)爬蟲 (476)

    熱門文章

    分享創造快樂