詳解資料中心的增強型乙太網

      增強乙太網被應用於資料中心通訊的催化劑是FCoE，然而FCoE是FC搭載乙太網粘合劑。乙太網作為一種儘力服務的絡模型，繁忙時可能發生丟包或傳輸故障，由於其公共網不可靠的傳輸特性，因此不適合在儲存資訊過程中使用。

 

所謂增強型乙太網，並不是在傳統乙太網基礎上提出新的報文封裝格式，而是由IEEE資料中心網橋(Data Center Bridge，簡稱DCB)工作組提出一系列乙太網擴充套件協議來增強傳統乙太網傳輸的可靠性。增強型乙太網主要有兩個特徵：

 

• 第一個為在乙太網基礎上進行擴充套件，支援將下麵三類網路整合起來。

• 第二個為支援不丟包傳輸，從而可以支援那些對傳輸可靠性要求極高的服務。

 

在DCE/CEE中，Fibre Channel幀將對映到乙太網上來進行承載（FCoE標準）。傳統的Fibre Channel提供流控機制，保證無丟包，並且傳統的Fibre Channel對於時延的增加/變化或者抖動非常敏感。而傳統的乙太網絡可以容忍一定的丟包和時延變化/抖動。所以，IEEE定義了一系列標準，規範DCE/CEE對於傳統乙太網增強，主要包括PFC、ETS、DCBX和CN。

      FCoE起源於Brocade、IBM和HP提議一個名為FCoCEE (FC over Converged Enhanced Ethernet)協議標準，後來正式改名為FCoE；分別有Cisco、EMC、Emulex、HDS、HP、IBM、Intel、LSI、Marvell、Mellanox、Neoscale、Nuova、PMC-Sierra、Qlogic、Sun和Vitesse共16家公司積極參與。

 

• T11.3-FC-BB-5完成於2009年6月，標準定型。
• T11.3-FC-BB-6完成於2009年8月，規定FCoE點到點，端到端模型。

   

   

      FC-BB-5版本必須要FCF(FC Forwarder可以理解為FCoE交換機)存在。我們原來採用FC的時候，主機的HBA卡可以直接連線到儲存控制器的FC口上，支援點對點的連線。

 

      但FCoE必須透過FCoE交換機(FCF)，中間的FSB是為了擴充套件埠用的，不是必須的。這個FSB是支援FIP(FCoE Initialization Protocol) Snooping的二層裝置。FC-BB-6標準後，我們可以點對點組網。當然，也可以支援VN2VN的組網，中間用便宜的FDF裝置連線。

 

什麼是FCoE

 

      FCoE(Fibre Channel over Ethernet)是基於乙太網光纖通道協議；FCoE是將FC的架構對映到乙太網上，基於乙太網的成熟、演進快優勢，剋服FC協議相容性問題，減少資料中心介面卡和電纜網路裝置，FCoE包容FC，保護原有投資。

 

      FCoE就是將FC的內容封裝在乙太網幀裡，讓其在乙太網中傳輸。這個乙太網(DCE)是無損的乙太網，其協議是基於802.1Q作了補充，從而形成的802.1Qxx或802.3。

 

增強型乙太網(CEE/DCE)

 

      FCoE協議和標準的FC一樣，要求底層的物理傳輸時無損失的、無損的乙太網保證了FCoE無損失的傳輸。因此廠商已經開發了針對乙太網標準的擴充套件器，特別是針對無損10Gb乙太網的速度和資料中心架構。

 

      這些資料中心架構，Brocade等廠商稱之為CEE(融合型增強乙太網)，思科稱之為DCE(資料中心乙太網)。我們統稱為增強型乙太網。FCoE需要增強型乙太網。

 

FCoE為什麼需要CEE

 

      普通乙太網都不支援FCoE，因為普通的乙太網採用擁塞丟掉重傳的機制，但FC說話不能中斷，否則吞吞吐吐聽不清。因此，必須改造，採用新的流控機制(如PFC、ETS和CN，統稱DCB)來保證不丟包，這種改造好的乙太網也叫增強乙太網或者叫無損(Lossless)乙太網，現在也叫DCB乙太網。這樣的FCoE交換機成本好像並不比FC交換機便宜多少。

FCoE的融合帶來佈線的方便主要體現在伺服器側。一般資料中心都是大量的伺服器，少量的儲存。因此，伺服器採用CNA網絡卡連線到FCoE交換機上，每臺伺服器節省一半的連線。一般的FCoE交換機(FCF)也支援FC介面，因此儲存採用FC介面連線到FCoE交換機上就可以了。不需要端到端的FCoE連線。因此，儲存支援FCoE不迫切。

 

1. 傳統乙太網在發生阻塞時會丟包
2. 傳統乙太網並不關心是否丟包了(除非上層協議手動跟蹤和重傳，如TCP)
3. 乙太網是基於FIFO的機制起作用(FIFO)，儲存QoS問題。

 

 

 

      增強乙太網要支撐FCoE的基礎特性，必須要包括或具備以下內容。

 

1. 全雙工
2. 順序投遞
3. Jumbo幀，每幀最小2.5KB的承載資料

 

      增強乙太網的特性如下，在實際增強乙太網產品中，並非這些特性都要實現。

 

      PFC(基於優先順序的流控)Priority-based Flow Control (PFC、IEEE 802.1Qbb)，按照流量型別優先順序啟用Pause幀機制

 

傳統的乙太網

 

增強的乙太網

 

      PFC基於業務型別優先順序啟用Pause幀機制，多種型別流量共享同一條物理鏈路，某一型別的業務引起網路擁塞將被暫停，確保型別業務仍然繼續，不會導致一種流量飽和其他型別流量饑餓導致業務中斷的現象。

 

      如圖傳統的乙太網如果業務阻塞，將會導致整個鏈路都阻塞了，其他業務不能在這條鏈路上執行，而增強的乙太網將同一物理鏈路根據流量型別分割為8個各自完全獨立的虛擬通道，根據使用者定義優先順序分別在每個虛擬通道上啟動Pause幀機制，如果一條業務阻塞中斷，可以在同一物理鏈路上執行其他業務。

 

      ETS(增強的傳輸選擇) Enhanced Transmission Selection (ETS，IEEE 802.1 Qaz)，ETS為PFC建立的各虛擬鏈路進行最佳的頻寬分配管理。ETS在各虛擬鏈路上增加頻寬管理。

      如圖虛擬鏈路3指派的優先順序最高，因此IP流量佔用了剩餘的頻寬，併進一步佔用了虛擬鏈路1的頻寬。

 

      DCBX(資料中心橋交換協議)是一個發現交換協議，在交換機和端點裝置之間自動交換乙太網引數和功能發現，包括檢測錯誤配置，配置遠端鏈路的功能。

      如圖乙太網中的交換機會自動的與附近的交換機或裝置進行一些引數的交換。發現乙太網中的引數配置等資訊。

 

      CN(擁塞通知)Congestion notification (IEEE 802.1 Qau)，擁塞資訊通知到該節點邊沿，限制頻寬。2層次流量管理系統透過通知速率限制將擁塞推動到邊沿網路。

 

      因為越到網路中心即圖中整合級交換機的網路壓力就越大，當網路中某一交換機的網路要發生擁塞時，交換機會向整合級交換機發起CN，整合級交換機透過傳送控制幀到2個訪問級交換機，要求他們調整他們的流量。這種方法保證了核心網路的完整性，將流控操作影響到引起擁塞的部分網路，更逼近擁塞源頭。

 

FCoE標準協議模型

 

      FCoE協議模型保留了FC-4(高階協議對映層)，FC-3(通用服務層)，FC-2(FC幀)；FC-0(物理介面)和FC-1(鏈路層)由乙太網的物理層和MAC層替換；FC和乙太網層之間透過FCoE對映。

      在FC網路端，FC結點和FC交換機透過FC埠連線，FC連線包括PN2PF(結點與交換機)和PE2PE(交換機與交換機)。

 

      在FCoE網路(即乙太網)端，FCoE結點(ENODE)和FCoE交換機(FCF)在無損乙太網上通訊是透過乙太網的埠。透過將FC幀封裝在乙太網幀上的FCoE虛擬連線代替了FC的物理連線。FCoE支援VN2VN(ENODE與ENODE)、VN2VF(ENODE與FCF)和VE2VE(FCF與FCF)。

 

 

    上圖可知，FC協議前端傳輸是透過FC網路，速率在1、2、4、8Gbps。FCoE前端是透過增強的乙太網傳輸，速率是10Gpbs；FC幀封裝SCSI，再有FCoE封裝FC幀，最後再被乙太網封裝就成了乙太網的幀，這樣就可以在乙太網上傳輸了。FCoE是基於DCB也就是增強的乙太網進行傳輸的，沒有TCP/IP開銷。

 

• FCoE網路中的埠和FC網路類似，只是叫法不同。
• N_Ports(HBA和儲存FC前埠)在FCoE中叫做VN_Ports(CNA和儲存FCoE埠)
• F_Ports(Fabric埠)在FCoE中叫做VF_Ports(FCoE交換機的埠)
• E_Ports(FC交換機到FC交換機)在FCoE中叫做VE_Ports(FCoE乙太網交換機互聯的埠)。

 

FCoE組網型別

 

      ENODEH1、ENODE H2和FCF A、FCF B都有一條與無損乙太網的物理連線，每個ENODE可能會實體多個VN埠與FCF實體的VF埠建立FCoE虛擬連線。

VN2VF網路結構圖

 

      如上圖紅色虛線；這樣，透過P2P VN2VF的虛擬連線將無損乙太網簡化成了FC協議可以在上面操作的VN2VF樣式。

 

      FCF A、B、C都有一條與無損乙太網的物理連線，每個FCF都會實體多個VE埠與其它FCF的VE埠建立FCoE的虛擬連線。

VE2VE網路結構圖

 

      如上圖紅色虛線。這樣，透過P2P的VE2VE虛擬連線將無損乙太網簡化成了FC協議可以在上面操作的VE2VE樣式。

 

      ENODEH1，H2，H3透過一條物理連線與無損乙太網相連，每個ENODE會實體一個VN埠與其他ENODE實體的VN埠建立FCoE虛擬連線。

VN2VN網路結構圖

 

     如上圖綠色虛線。這樣透過P2P的VN2VN虛擬連線將無損乙太網簡化成了FC的P2P協議可以在上面操作的VN2VN樣式。中間用便宜的FDF裝置連線。

 

      隨著軟體定義和雲端計算全IP時代的到來，FCoE已經成為過去時，增強乙太網的時代才剛剛開始。傳統業務結構多種技術之間的孤立性(LAN與SAN)，資料中心伺服器總是提供多個對外I/O介面，造成了大量的線纜、能耗和費用。I/O整合的思路使配接器、交換機或儲存系統使用相同的乙太網物理基礎實施來傳送特性差異較大流量。

 

IO整合後多個網路流量共享同一條物理鏈路，建設統一融合的資料中心乙太網(DCE)是資料中心網路的發展趨勢。資料中心乙太網也稱為融合增強型乙太網(Converged Enhanced Ethernet，CEE)。