雲和人工智烈日當頭，華為HPC解決方案如何應對？

      年底，Intersect360諮詢機構釋出了HPC市場分析報告(前期做過分析)，其中針對華為Cloud和AI解決方案能力釋出了專門的報告。今天，我們首先回顧下HPC市場空間和投入情況，然後，看看華為在HPC市場的表現和解決方案，文章最後談談個人的觀點。

      根據Intersect360統計，在應用伺服器、叢集和Hyperscale 超級計算系統3大類HPC系統中，以任意可伸縮的、面向web的Hyperscale市場增長最快。

• 1.    2016年全球HPC市場(伺服器、儲存、軟體等)達到356億美元，較2015年增長3.5%。

• 2.    2016年至2021年，總市場預計2021年將增長到439億美元，複合年增長率CAGR為4.3%。

• 3.    伺服器是最大的組成部分，達到了106億美元(比2014年增長4.0%)，增長率繼續下降 (儲存、網路和軟體將增加)。

• 4.    商業HPC市場推動了經濟增長;在接下來的五年裡，這種情況還在繼續。

• 5.    政府佔整個市場的26%。美國政府市場大約佔全球的一半。

      在HPC技術領域，投資的最大的新領域是人工智慧(AI、HPDA、GPU加速和Deep Learning)。Cloud公共雲的應用只佔HPC消費的一小部分，但Cloud是增長最快的HPC細分的市場。

• 1.    從市場空間來看，美國已經HPC最大的消費市場，美國和加拿大HPC總市場51%。

• 2.    歐洲的跨國財團和亞洲多個國家增長很快(尤其中國市場)，佔據HPC市場的24%。

• 3.    亞太也有明顯增長，主要包括新加坡、澳大利亞、和韓國等，主要佔HPC市場份額22%。

      在我們瞭解宇宙的所有秘密的過程中，總會有另外的一些新發現。從理論到實踐，不斷的創新以一種既深刻又簡單的方式來提高我們的生活質量。如用更安全的車來拯救生命，用更清潔的盤子和更清新的衣服，很多領域的進步都透過高效能運算(HPC)來改善生活。

      模擬模擬技術已成為“第三支柱科學”，讓科學家和工程師以一種無法在實驗室中採用的方式來探索假想的物質、產品或環境，除了學術研究和政府科研外，HPC在其他行業中也處於領先地位，2016年全球企業在HPC計算領域的支出超過350億美元，預計到2021年將增長到近440億美元。當然，在HPC技術領域，投資最大的是人工智慧(AI)。影象識別、演講和樣式識別也推動了人工智慧的革命，並改變多個行業。

      早在20世紀90年代，華為的主要標簽是通訊技術公司，時至今日，華為已經是改寫企業各行各業的解決方案供應商，在HPC領域，Intersect360一直追蹤華為技術和解決方案的發展，在Intersect360看來，華為已經在HPC市場站穩了腳，併在多個地區和垂直HPC市場贏得了關鍵的勝利。

 

      1、超級計算: 在2017年4月，計算加拿大宣佈了更新其SuperComputing基礎設施的計劃，其使命是將加拿大的研究基礎設施與世界領先級的國家保持一致。作為這項計劃的一部分，滑鐵盧大學(University of Waterloo)在Compute Ontario的基礎上宣佈了一項計劃，打造2 Petaflops的超級計算機系統“Graham”，此係統由華為構建(也是華為部署最大的SuperComputing系統)，其計算能力比加拿大其他大學的計算系統能力都強，“Graham”的計算能力超過之前部署在Poland PSNC(Poznan Supercomputing and Networking Center)的具備1 Petaflop能力的“Eagle”超級計算機。Graham採用Intel Xeon處理器和NVIDIA P100 GPU加速。

 

      2、汽車: 在德國的汽車生產基地，世界500強汽車公司已經轉向華為HPC解決方案，如空氣動力學和虛擬碰撞測試。華為透過與領先的軟體供應商(如ANSYS、ESI和Altair)合作，在這一領域取得了成功，為HPC解決方案提供最佳化效能。

 

      汽車和航空航天製造是HPC最大的商業垂直市場之一，僅在2016年HPC支出超過28億美元。製造商把HPC廣泛應用在虛擬產品應用和設計中。透過HPC，汽車公司可以最佳化新元件設計(模擬碰撞測試、空氣動力效能、化油器內小爆炸等)，提高產品質量、減少缺陷並更快的上市。幾乎每個主流的汽車製造商都部署HPC透過不斷地評估新的解決方案以尋求競爭優勢。值得註意的是，位於德國的財富500強前3的汽車公司製造商，在其HPC方案中已經採用華為的基礎設施。華為與軟體供應商合作構建增強客戶的HPC工程環境。

 

      3、石油和天然氣: HPC戰略對石油公司越來越重要，目前，一些世界領先的油田服務提供商，如Schlumberger，Halliburton和CGG，已經完成了華為伺服器和集群系統的認證。此外，中國石油天然氣集團公司、中石化、沙烏地阿拉伯石油公司和土耳其石油公司目前都在使用華為解決石油和天然氣勘探的方案。

      4、娛樂: “Despicable Me系列”背後的動畫工作室照明“Despicable Me”依靠華為提供高效能的渲染解決方案增強計算密度。總部位於巴黎的電影“小黃人”系列電影依靠華為的HPC解決方案進行渲染。與許多動畫製作工作室一樣，Illumination Mac Guff主要關註計算密度、空間、功耗和資本支出。

 

      隨著數字革命的發展，電影工業在動畫電影的普及上也出現了複蘇。雖然動畫電影不涉及到現場拍攝、佈景設計或服裝製作，但製作這些深受喜愛的故事在特效和製作上都有獨特的挑戰。特別是動畫的渲染。電影的每一幀都是數字化的，這給我們帶來了沉重的計算負擔。

      為了進一步幫助使用者跨越更多的HPC應用領域，華為已經建立了一個全球中心作為其在慕尼黑的OpenLab資料中心的一部分。全球Centre of Excellence (CoE)的標的是為On-premise和Cloud HPC應用部署提供用於建立、移植和最佳化HPC和人工智慧應用程式的資源。

 

      Intel一直是華為的親密夥伴，Intel的處理器、開發工具和OmniPath網路廣泛應用於HPC系統中，其中，處理器使用在90%以上的HPC系統上。在與學術超級計算中心的合作中，全球的HPC使用者受益良多。除了Waterloo和Poznan systems，華為的超級計算機還安裝在瑞士聯邦大學(EPFL)、丹麥技術大學(DTU)和中國北京交通大學(BJTU)。

 

      在進入HPC市場的過程中，Huawei已經建立了一個完整的高效能解決方案組合，包括計算、儲存和網路，建立了HPC方案的端到端服務能力和夥伴關係，提供多種最佳化的HPC解決方案選擇。最典型的是伺服器選擇，這些選擇對效能、密度和操作進行了最佳化，支援不同配置，HPC使用者可以選擇最適合需求的華為平臺。

      HPC和人工智慧的最大趨勢之一是使用G系列異構計算的架構，透過PCI-attached accelerators增加伺服器處理器核心，FPGA和定製化協處理器加速器採用已成熟應用了幾十年了。華為採用G系列高密伺服器應對異構計算趨勢。

      FusionServerG5500支援最多8個 NVIDIA Tesla P100 GPU，其CPU和GPU可以獨自擴充套件。

 

      華為的許多HPC選擇的核心是E9000刀片計算平臺，一個可以容納8個全寬度或16個半寬度刀片的12U裝置。刀鋒伺服器可用於計算、儲存和網路選項；許多使用者會發現E9000滿足了他們的HPC需求。

      對於希望致力於更高密度配置的HPC使用者來說，華為有兩個的選擇。一個是半寬度的雙節點刀片，類似於E9000。另一個是專用的X6000高密度伺服器，將4個雙插座的Intel Xeon E5節點放入2U機箱中。X6000還支援SSD儲存，最高可達24個NVMe驅動器，每個機箱可提供480萬個IOPS。

      一些HPC應用程式不能很好地分解為較小的節點，特別是當它們可以從較大的共享記憶體空間中獲益時。在這些應用程式中，華為提供了KunLun Fat-Node計算平臺，它可以在單個作業系統內核下擴充套件到32個處理器和24 TB記憶體。這種配置對於記憶體中的資料庫應用程式尤其有用，無論哪個節點都允許透過記憶體速度訪問資料。

      華為HPC液冷解決方案透過板級和機架級實現，在板級使用直接液體冷卻冷技術；在機架級採用暖水系統使每個機櫃的熱量輸出達到60千瓦。HPC越來越多地追求這些液體冷卻方案最佳化它們的總運營成本。

      Atlas不是華為唯一的主要雲端計算專案，在ISC17(2017國際超級計算機大會)上華為釋出了HPC雲解決方案2.0，透過與Mellanox合作增加InfiniBand高效能方案，使用OpenStack工具將解決方案連線到Open Telekom雲上，透過100G/s EDR InfiniBand網路連線至其他公有雲(如Azure Stack等)。

      個人觀點: 上述報告華為HPC方案主要涉及計算平臺，對儲存涉及太少。在HPC儲存領域，華為 OceanStor 9000在國內表現不錯(媒體，影片等領域也不錯)，但在海外HPC領域表現一般，個人認為有以下幾個主要原因:

• 1、對分散式標準NAS認可度不高。HPC國際市場一直是Lustre、GPFS佔主導，Panasa PanFS，Stornext和NFS等pFS只扮演參與者的角色。

• 2、效能問題。傳統分散式儲存為通用目的設計，增值能力太多，軟體太厚；導致磁碟效能很難發揮出來。

• 3、空間、能耗太高。幾百GB/s的效能動不動就需要近十個機櫃。尤其是客戶對容量要求不太高、效能極高的場景(如分鐘級Check Pointing)。相比之下，Burst Buffer可能三個左右機櫃就解決問題了。

      但隨著Intel對lustre放棄，GPFS長期以來的閉源等原因，大多數客戶都轉而投向BeeGFS，華為針對該檔案系統的方案目前還沒見宣傳，HPC最主要的需求就是高頻寬，大容量，高併發；其次就是空間和管理。針對高頻寬，目前主流的方案就是Burst Buffer(如IBM Burst Buffer，DDN IME，Cray DataWarp)和全快閃記憶體NAS(EMC Nitro，PureStotage FlashBlade等)。

      現在華為已經具備全快閃記憶體JBOD或JBOF產品配合GPFS或Lustre應對頻寬需求，希望華為的全閃分散式NAS也能儘快出來，這樣，在一定程度上課擺脫Lustre和GPFS在方案上的束縛，再配合上述超強計算能力，或許在未來可以增加市場優勢，把控HPC市場話語權。

      很多領域都透過高效能運算(HPC)實現發展和進步，在HPC技術領域，目前來看，投資最大的是人工智慧(AI)。但影象識別、演講和樣式識別也推動了人工智慧的革命，並改變多個行業。對解決方案供應商來說，必須要具備良好的前瞻性和洞察力，緊跟技術趨勢，提供完備的HPC解決方案。

      關於HPC行業和方案(Burst Buffer、AFF NAS和pFS等)，前期詳細分享過整個<從高效能運算(HPC)技術演變解析方案、生態和行業發展趨勢>分析，並整理成電子書，請大家點選底部“原文連結”查閱詳情。

熱文推薦

• 資料副本管理(CDM)技術分析和產品選型建議

溫馨提示：
請搜尋“ICT_Architect”或“掃一掃”二維碼關註公眾號，點選原文連結獲取更多技術資料。

求知若渴, 虛心若愚—Stay hungry, Stay foolish