談起FC交換機,大家就會想到它是資料中心貴族的象徵,也是保證核心業務效能和可靠性的技術基石,但近年來,隨著資料中心軟體定義,IP化潮流的推進,FC交換機的市場份額有所收縮,但截至目前為止,FC技術仍然佔據資料中心核心業務的半壁江山,今天詳細聊聊FC交換機基礎知識。
博科是FC交換機領域的領導者,其交換機被不同儲存和伺服器廠商OEM,下圖是主流儲存廠商OEM詳情對位標:
先從NPIV談起,當物理主機上部署了虛擬機器後,若採用原來的物理主機訪問儲存的方式,對映給主機的LUN是所有虛擬機器可見的,安全性和可管理性都降低,同時也無法滿足各個虛擬機器自身直接訪問儲存。
NPIV就是為瞭解決這一問題而產生的。NPIV是N_Port ID Virtualization,是一項虛擬化技術,ANSI標準。當主機端應用了NPIV後,主機可以在一個物理HBA卡上虛擬出多個虛擬HBA卡,每個虛擬機器都分配一個自己的虛擬HBA卡,虛擬機器透過虛擬HBA訪問儲存裝置,每個虛擬機器都只能看見自己的磁碟資源,不同虛擬機器間的磁碟資源相互不可見。
交換機埠NPIV
為了實現上述的功能,只有主機端支援NPIV還不夠,交換機也要支援NPIV才可以。博科光纖交換機全部支援NPIV功能,各個交換機的埠的NPIV功能預設是開啟的,可以透過如下的方式檢視:
在命令回顯裡面,如果NPIV capability屬性為“ON”則表明該埠已經開啟了NPIV功能。如果為“OFF”則表明該埠關閉了NPIV。
Zone的概念和作用
SAN網路中一個常用的概念叫做zone,zone在SAN網路中的作用和乙太網絡中的VLAN有些類似。Zone的主要作用就是把Fabric網路分割槽,避免不相關的裝置之前相互訪問,同時也具有安全的作用。在裝置較多的Fabric網路中,務必要劃分zone。
一個zone由一組zone成員組成,一個裝置可以是一個或多個zone的成員,如裝置RAID4既是Zone2的成員也是Zone3的成員。同一個zone內的成員之間可以相互訪問,不在同一個zone內的成員之間不可訪問。如Zone1包括成員Web Server和RAID2,這兩個裝置之間可以相互訪問。Fabric網路的zone配置有兩層概念:
-
第一層是zone,zone內的成員由連線到Fabric上的裝置組成
-
第二層是zone集合,它由一個或多個zone組成,在一個Fabric網路中,可以建立一個或多個zone集合,但同一時間只能有一個處於啟用狀態的zone集合。
Zone的種類
博科交換機支援多種zone,常規zone和特殊zone。常規zone就是我們通常所說的zone,主要作用是隔離裝置,把Fabric網路劃分為多個分割槽;特殊zone有TI zone,QoS zone和LSAN zone。若非特殊說明,此處所提的zone全部是常規zone。常規zone按照所包含的成員型別不同,可以分為埠zone,WWN zone和混合zone。
埠zone:zone的成員全部是交換機埠,每個埠由Domain ID和Port Index二元組唯一確定。這種zone的優點在於和交換機連線的裝置更換後不用重新劃分zone,但是裝置更換和交換機連線的埠後需要重新劃分zone,即埠zone是和位置相關的。如:zone01:(1,1;1,2;1,3)。
-
優點:建立簡單,易懂,適合用於連線裝置不太多的SAN網路交換機
-
缺點:裝置更換到其他埠後無法和原來zone內的成員相互通訊,和位置相關,在大型SAN網路中不方便管理。
WWN Zone:zone的成員全部是裝置的WWN,WWN可以是裝置節點WWN,也可以是裝置埠WWN(WWPN),常用的是以WWPN來建立zone。這種zone的優點在於裝置更換和交換機連線的埠後後不用重新劃分zone,但是裝置端更換HBA後需要重新劃分zone,即WWN zone是和裝置相關的。如:zone02:(20:12:00:22:a1:09:8e:67;10:00:00:00:c9:d5:bd:2e)。
-
優點:裝置換插到交換機的其他埠後仍舊可以和原來的zone內的成員通訊,不許要重新劃分zone。
-
缺點:相對於埠的方式,以WWN建立zone稍微複雜一些,需要弄清各個裝置的WWN。裝置端更換HBA或介面卡後,由於WWN發生了改變,需要重新劃分zone
混合zone的組成:zone的成員既包含交換機埠,也包含裝置WWN。這種方式由於存在管理上的不便,同時裝置之間通訊時需要CPU的參與,可能會影響效能。所以規劃zone時,儘量不要使用這種方式。如zone03:( 20: 12: 00 :22:a1:09:8e:55;1,4;15)。混合zone不是規範的zone,在實際應用中儘量不要按照這種方式建立zone。
交換機長距離
-
1、 L0: 埠為L0時為正常樣式,該樣式下交換機埠可以是F_Port、L_Port、E_Port。支援的裝置的距離(2Gb最大5km,4Gb最大2km,8Gb最大1km)。
-
2、 LE: 埠為LE樣式時該埠只能配置為E_Port,用來連線其他交換機。該樣式下交換機間的距離可達10km。
-
3、 LD: LD樣式為動態自適應樣式,根據使用者設定的距離以及系統檢測到的實際距離,取二者的最小值分配buffer。該樣式下可以支援超過10km的距離,最大支援距離取決於交換機所能分配的Buffer數量。
-
4、 LS: LS為靜態長距離樣式,該樣式和LD類似,都支援超過10km的距離.不同之處在於LS預留Buffer的方式和LD不同,LS只以使用者定義的距離作為分配Buffer數量參考。
光纖線纜
光纖作為一種傳輸介質在通訊應用中佔有非常重要的地位。光纖按照不同的角度可以分為不同的種類,如按照材料不同可以分為石英系光纖、多組分玻璃光纖、塑膠包層石英芯光纖等;按照傳輸樣式不同可以分為多模光纖和單模光纖;按照波長不同可以分為短波光纖和長波光纖。我們主要介紹一下多模光纖和單模光纖。
多模光纖的纖芯直徑為50或62.5μm,包層外徑125μm,標示為50/125μm或62.5/125μm。多模光纖由於色散比較大,其傳輸距離有限。多模光纖的光源一般為發光二極體。
比較常用的多模光纖有OM1、OM2和OM3,目前主流的是OM3。
單模光纖的纖芯直徑為8.3μm,包層外徑125μm,標示為8.3/125μm。單模光纖中心玻璃芯很細(芯徑一般為9或10μm),只能傳一種樣式的光。因此,其模間色散很小,適用於遠端通訊。單模光纖的光源一般為固體鐳射器。
光模組
多模光模組支援的傳輸距離近,一般在千米以內,適合園區級別的業務部署,單模光模組支援的距離遠,可達幾十千米,適合區域級別的業務部署。短波多模光模組搭配多模光纖支援的傳輸距離如下表所示:
光模組在不同速率下配套不同規格(OM1/OM2OM3)的光纖線,最大的傳輸距離是不一樣的,如8G光模組搭配OM3多模光纖線,當速率為8G時,最遠支援150m,當速率降為4G時,最遠支援380m。
傳輸距離
交換機埠速率有1/2/4/8/16Gbps之分,光模組有長波短波之分,光纖線有單模多模之分,那麼它們和傳輸距離之間的關係是怎麼樣的呢。
首先,相同速率下,單模光纖的傳輸距離比多模光纖的傳輸距離要遠,長波光模組比短波光模組傳輸的距離要遠。當然單模光纖線和多模光纖要配合對應光模組使用。
其次,在配置確定的情況下,如8Gbps多模光模組配合多模光纖線,速率越低,傳輸距離越遠。如前面提到的8Gbps光模組的最遠傳輸距離規格是500m,指的是其執行在2Gbps速率且光纖線為OM3是所能達到的最遠距離,在8Gbps速率時其最遠只能傳輸150m。
最後,還有一種情況,光模組、光纖線都可以支援到某個距離,如25km,但是實際頻寬值可能連光模組支援的最低速率都達不到,為什麼?這個就涉及到另外一個概念了,即Credit Buffer。
在預設情況下,交換機的每個埠都分配一定數量的Buffer,當傳送端向對端傳送資料中幀時,每傳送一個幀就會計一次數,當幀計數值等於其Buffer數量時,就不能繼續發送了,必須等待對方的確認資訊來重新獲得傳送能力。這就會產生一個問題,當裝置間的距離非常遠時,傳送端可能很快用完了自己的Buffer,但是幀還在鏈路上沒有到達接收端,傳送端只能處於等待狀態,這極大的浪費了頻寬,從而出現了前面描述的問題。所以,Credit Buffer在遠距離通訊中也是必須註意和配置的一項。
在實際的應用中,要結合實際應用場景選擇對應的配置。如果選擇不當,可能會導致效能低、鏈路不穩定甚至是裝置間鏈路無法建立。
ISL鏈路聚合
ISL鏈路聚合就是ISL Trunking,把兩臺交換機之間滿足一定條件的多條物理路徑合併成一條邏輯路徑的技術。交換機配置Trunking後可以擴充套件鏈路的總的頻寬和提高鏈路的可靠性。
ISL方式級聯的交換機間的多個路徑要配置Trunking,要形成Trunking的幾個埠必須是在同一個埠組裡面。所有參與Trunking的埠的配置要相同,Trunking用的多個光纖線的長度差異不要超過30米,否則會引起效能下降,超過400米就無法形成Trunking。
Trunking只在博科或同類廠商的裝置上被支援,博科交換機和其他廠商的交換機無法形成trunking。有無Trunking時的的區別:
無Trunking
上圖中兩臺交換機透過四條鏈路連線起來,在沒有配置Trunking的情況下,各個ISL路徑上的IO差異很大。一個主機的IO只會在同一條路徑上下發,而這個路徑上還可能有其他應用的IO,導致的結果就是一條路徑的流量形成的擁塞的時候另一條卻負載很低。
有Trunking
多個ISL路徑形成Trunking時,這些物理路徑就合併成了一個邏輯路徑,頻寬是多個路徑的總和。當多個主機下發IO的時候,Trunking以幀為單位將流量合理的分配到了不同的路徑上,使得所有路徑都有機會參與資料傳輸。資料幀會優先在負載低的路徑上下發。
埠型別
埠是構建光纖網路的基本模組,在光纖通道網路中埠包括裝置側埠、交換機側埠和配置埠。
裝置側埠型別:裝置側埠主要指和交換機相連的終端裝置的埠,埠型別包括N_Port和NL_Port。
-
N_Port:點對點樣式的埠,裝置直連樣式埠。
-
NL_Port:仲裁環樣式埠。
交換機埠型別:交換機上的埠型別比較多,不同廠商支援的埠型別也不盡相同,下麵列出博科光纖交換機支援的埠型別:
-
U_Port:通用埠樣式。嚴格來說U_Port並不是一種埠樣式,它只是埠空閑時的一個狀態,等待埠連線裝置後轉變到最終的埠樣式。
-
F_Port:Fabric埠樣式,F_Port和N_Port可以建立連線。
-
FL_Port:Fabric環路埠樣式,FL_Port和NL_Port可以建立連線。該埠型別在博科Condor3 ASIC平臺上不再支援。
-
G_Port:Generic埠(G_Port和U_Port類似),當埠樣式顯示為G_Port時並不是該埠的最終狀態,它在待轉變為最終的F_Port或E_Port樣式。
-
E_Port:Expansion埠。用於和其它交換機建立互聯的埠
-
D_Port:診斷埠,該樣式的埠不能夠接入到Fabric網路中,不能和其他裝置通訊,只用來作為診斷分析使用。博科交換機從Conder3 ASIC上才支援。
配置埠型別:配置的埠樣式是博科交換機上的一種埠樣式,目前包括EX_Port、VE_Port、VEX_port幾種型別。和上面幾種交換機樣式不同,這幾種樣式的用處較為特殊。
-
EX_Port:E_Port的一種特殊場景,用來連線FC Router。透過該樣式連線2個不同的Fabric,可以使兩個Fabric網路中的裝置相互通訊而無需合併ZONE配置。
-
VE_Port:虛擬E_Port,它用於FCIP網路中。
-
VEX_Port:虛擬EX_Port,功能上和EX_Port相同,只不過是用於IP網路。
裝置埠工作樣式
埠連線裝置後顯示的埠樣式有如下幾種:
-
D_Port是診斷埠樣式,用於分析本地埠和遠端交換機埠之間的鏈路狀態。執行時會顯示遠端交換機的WWN。
-
E_Port是級聯樣式。和其他交換機上的E_Port建立連線從而擴充套件Fabric網路。正常執行時會顯示連線的交換機的WWN。
-
Ex_Port是路由埠樣式。Ex_Port可以使不同交換機上的裝置相互訪問但又無需進行zone配置融合。執行時會顯示遠端交換機的WWN。
-
F_Port是點對點樣式。交換機埠顯示為F_Port時表示裝置已經以點對點樣式和交換機建立好了連線。執行時會顯示連線的裝置的WWN。
-
G_Port是點對點樣式。和F_Port不同,G_Port不是一個正常工作時的狀態,需要排查問題原因,如主機是否向交換機發送了Flogn,裝置和交換機間的鏈路是否正常。可以嘗試重新載入裝置端驅動、更換光纖線等方法解決該問題,AIX環境下可以嘗試刪除主機邏輯HBA卡後重新掃描。
-
L_Port是仲裁環樣式。連線的裝置是NL_Port。執行時會顯示連線的裝置的WWN。
-
LE是長距離工作樣式的一種,最大可以支援10km的距離。該埠只能用於連線交換機,不能連線主機或儲存裝置。
-
LD是動態自適應長距離工作樣式。可以支援超過10km的距離。該埠只能用於連線交換機,不能連線主機或儲存裝置。
-
LS是靜態長距離工作樣式。可以支援超過10km的距離。該埠只能用於連線交換機,不能連線主機或儲存裝置。
Brocade交換機AG樣式
Brocade交換機的Access Gateway (AG),是在交換機OS上實現的特性。把博科交換機設定為AG樣式後,交換機將不再具備交換功能,即連線到這個交換機上的裝置之間無法相互通訊。
AG樣式下的交換機有兩種型別的埠,F_Port和N_Port,F_Port用來連線主機、儲存裝置,N_Port用來連線交換機。AG樣式的交換機相當於一個虛擬了多個虛擬HBA卡的物理HBA卡,AG交換機自身相當於物理HBA卡,而和其連線的主機、儲存相當於虛擬HBA。
AG樣式的交換機連線
以AG樣式的博科交換機和QLogic交換機做例子,業務配置核心是設定博科交換機的AG樣式,QLogic交換機上只需要按照常規方式建立zone就可以了,不需要做額外的配置。如果現網中使用的是其他廠商的交換機而非QLogic交換機,如博科、思科,配置方式也是類似的,只需建立zone即可。
關於更多技術技術,請點選原文連結或識別下麵小程式查閱詳情。
熱文閱讀
溫馨提示:
請搜尋“ICT_Architect”或“掃一掃”二維碼關註公眾號,點選原文連結獲取更多技術資料。
Stay hungry, Stay foolish