面對大量使用者訪問、高併發請求,海量資料,可以使用高效能的伺服器、大型資料庫,儲存裝置,高效能Web伺服器,採用高效率的程式語言比如(Go,Scala)等,當單機容量達到極限時,我們需要考慮業務拆分和分散式部署,來解決大型網站訪問量大,併發量高,海量資料的問題。
從單機網站到分散式網站,很重要的區別是業務拆分和分散式部署,將應用拆分後,部署到不同的機器上,實現大規模分散式系統。分散式和業務拆分解決了,從集中到分佈的問題,但是每個部署的獨立業務還存在單點的問題和訪問統一入口問題,為解決單點故障,我們可以採取冗餘的方式。將相同的應用部署到多臺機器上。解決訪問統一入口問題,我們可以在叢集前面增加負載均衡裝置,實現流量分發。
負載均衡(Load Balance),意思是將負載(工作任務,訪問請求)進行平衡、分攤到多個操作單元(伺服器,元件)上進行執行。是解決高效能,單點故障(高可用),擴充套件性(水平伸縮)的終極解決方案。
本文是負載均衡詳解的第一篇文章,介紹負載均衡的原理,負載均衡分類(DNS負載均衡,HTTP負載均衡,IP負載均衡,鏈路層負載均衡,混合型P負載均衡)。部分內容摘自讀書筆記。
一、負載均衡原理
系統的擴充套件可分為縱向(垂直)擴充套件和橫向(水平)擴充套件。縱向擴充套件,是從單機的角度透過增加硬體處理能力,比如CPU處理能力,記憶體容量,磁碟等方面,實現伺服器處理能力的提升,不能滿足大型分散式系統(網站),大流量,高併發,海量資料的問題。因此需要採用橫向擴充套件的方式,透過新增機器來滿足大型網站服務的處理能力。比如:一臺機器不能滿足,則增加兩臺或者多臺機器,共同承擔訪問壓力。這就是典型的叢集和負載均衡架構:如下圖:
- 應用叢集:將同一應用部署到多臺機器上,組成處理叢集,接收負載均衡裝置分發的請求,進行處理,並傳回相應資料。
- 負載均衡裝置:將使用者訪問的請求,根據負載均衡演演算法,分發到叢集中的一臺處理伺服器。(一種把網路請求分散到一個伺服器叢集中的可用伺服器上去的裝置)
負載均衡的作用(解決的問題):
1.解決併發壓力,提高應用處理效能(增加吞吐量,加強網路處理能力);
2.提供故障轉移,實現高可用;
3.透過新增或減少伺服器數量,提供網站伸縮性(擴充套件性);
4.安全防護;(負載均衡裝置上做一些過濾,黑白名單等處理)
二、負載均衡分類
根據實現技術不同,可分為DNS負載均衡,HTTP負載均衡,IP負載均衡,鏈路層負載均衡等。
2.1 DNS負載均衡
最早的負載均衡技術,利用域名解析實現負載均衡,在DNS伺服器,配置多個A記錄,這些A記錄對應的伺服器構成叢集。大型網站總是部分使用DNS解析,作為第一級負載均衡。如下圖:
優點
- 使用簡單:負載均衡工作,交給DNS伺服器處理,省掉了負載均衡伺服器維護的麻煩
- 提高效能:可以支援基於地址的域名解析,解析成距離使用者最近的伺服器地址,可以加快訪問速度,改善效能;
缺點
- 可用性差:DNS解析是多級解析,新增/修改DNS後,解析時間較長;解析過程中,使用者訪問網站將失敗;
- 擴充套件性低:DNS負載均衡的控制權在域名商那裡,無法對其做更多的改善和擴充套件;
- 維護性差:也不能反映伺服器的當前執行狀態;支援的演演算法少;不能區分伺服器的差異(不能根據系統與服務的狀態來判斷負載)
實踐建議
將DNS作為第一級負載均衡,A記錄對應著內部負載均衡的IP地址,透過內部負載均衡將請求分發到真實的Web伺服器上。一般用於網際網路公司,複雜的業務系統不合適使用。如下圖:
2.2 IP負載均衡
在網路層透過修改請求標的地址進行負載均衡。
使用者請求資料包,到達負載均衡伺服器後,負載均衡伺服器在作業系統核心行程獲取網路資料包,根據負載均衡演演算法得到一臺真實伺服器地址,然後將請求目的地址修改為,獲得的真實ip地址,不需要經過使用者行程處理。
真實伺服器處理完成後,響應資料包回到負載均衡伺服器,負載均衡伺服器,再將資料包源地址修改為自身的ip地址,傳送給使用者瀏覽器。如下圖:
IP負載均衡,真實物理伺服器傳回給負載均衡伺服器,存在兩種方式:(1)負載均衡伺服器在修改目的ip地址的同時修改源地址。將資料包源地址設為自身盤,即源地址轉換(snat)。(2)將負載均衡伺服器同時作為真實物理伺服器叢集的閘道器伺服器。
優點:
(1)在核心行程完成資料分發,比在應用層分發效能更好;
缺點:
(2)所有請求響應都需要經過負載均衡伺服器,叢集最大吞吐量受限於負載均衡伺服器網絡卡頻寬;
2.3 鏈路層負載均衡
在通訊協議的資料鏈路層修改mac地址,進行負載均衡。
資料分發時,不修改ip地址,指修改標的mac地址,配置真實物理伺服器叢集所有機器虛擬ip和負載均衡伺服器ip地址一致,達到不修改資料包的源地址和標的地址,進行資料分發的目的。
實際處理伺服器ip和資料請求目的ip一致,不需要經過負載均衡伺服器進行地址轉換,可將響應資料包直接傳回給使用者瀏覽器,避免負載均衡伺服器網絡卡頻寬成為瓶頸。也稱為直接路由樣式(DR樣式)。如下圖:
優點:效能好;
缺點:配置複雜;
實踐建議:DR樣式是目前使用最廣泛的一種負載均衡方式。
2.4 混合型負載均衡
由於多個伺服器群內硬體裝置、各自的規模、提供的服務等的差異,可以考慮給每個伺服器群採用最合適的負載均衡方式,然後又在這多個伺服器群間再一次負載均衡或群集起來以一個整體向外界提供服務(即把這多個伺服器群當做一個新的伺服器群),從而達到最佳的效能。將這種方式稱之為混合型負載均衡。
此種方式有時也用於單臺均衡裝置的效能不能滿足大量連線請求的情況下。是目前大型網際網路公司,普遍使用的方式。
方式一,如下圖:
以上樣式適合有動靜分離的場景,反向代理伺服器(叢集)可以起到快取和動態請求分發的作用,當時靜態資源快取在代理伺服器時,則直接傳回到瀏覽器。如果動態頁面則請求後面的應用負載均衡(應用叢集)。
方式二,如下圖:
以上樣式,適合動態請求場景。
因混合樣式,可以根據具體場景,靈活搭配各種方式,以上兩種方式僅供參考。
三、負載均衡演演算法
常用的負載均衡演演算法有,輪詢,隨機,最少連結,源地址雜湊,加權等方式;
3.1 輪詢
將所有請求,依次分發到每臺伺服器上,適合伺服器硬體同相同的場景。
優點:伺服器請求數目相同;
缺點:伺服器壓力不一樣,不適合伺服器配置不同的情況;
3.2 隨機
請求隨機分配到各個伺服器。
優點:使用簡單;
缺點:不適合機器配置不同的場景;
3.3 最少連結
將請求分配到連線數最少的伺服器(目前處理請求最少的伺服器)。
優點:根據伺服器當前的請求處理情況,動態分配;
缺點:演演算法實現相對複雜,需要監控伺服器請求連線數;
3.4 Hash(源地址雜湊)
根據IP地址進行Hash計算,得到IP地址。
優點:將來自同一IP地址的請求,同一會話期內,轉發到相同的伺服器;實現會話粘滯。
缺點:標的伺服器宕機後,會話會丟失;
3.5 加權
在輪詢,隨機,最少連結,Hash’等演演算法的基礎上,透過加權的方式,進行負載伺服器分配。
優點:根據權重,調節轉發伺服器的請求數目;
缺點:使用相對複雜;
四、硬體負載均衡
採用硬體的方式實現負載均衡,一般是單獨的負載均衡伺服器,價格昂貴,一般土豪級公司可以考慮,業界領先的有兩款,F5和A10。
使用硬體負載均衡,主要考慮一下幾個方面:
(1)功能考慮:功能全面支援各層級的負載均衡,支援全面的負載均衡演演算法,支援全域性負載均衡;
(2)效能考慮:一般軟體負載均衡支援到5萬級併發已經很困難了,硬體負載均衡可以支援
(3)穩定性:商用硬體負載均衡,經過了良好的嚴格的測試,從經過大規模使用,在穩定性方面高;
(4)安全防護:硬體均衡裝置除具備負載均衡功能外,還具備防火牆,防DDOS攻擊等安全功能;
(5)維護角度:提供良好的維護管理介面,售後服務和技術支援;
(6)土豪公司:F5 Big Ip 價格:15w~55w不等;A10 價格:55w-100w不等;
缺點
(1)價格昂貴;
(2)擴充套件能力差;
4.4 小結
(1)一般硬體的負載均衡也要做雙機高可用,因此成本會比較高。
(2)網際網路公司一般使用開源軟體,因此大部分應用採用軟體負載均衡;部分採用硬體負載均衡。
比如某網際網路公司,目前是使用幾臺F5做全域性負載均衡,內部使用Nginx等軟體負載均衡。
來源:http://www.cnblogs.com/itfly8/p/5043435.html