詳解GPU直通技術和背景

GPU 直通是指伺服器的GPU以直通方式分配給虛擬機器，並透過遠端協議使得使用者可以從遠端進行接入。

 

GPU直通方式，將承載虛擬機器的雲平臺的物理節點上的GPU顯示卡系結分配給使用者虛擬機器，終端使用者透過終端遠端接入使用者虛擬機器，這樣虛擬機器就可以使用GPU獲取3D加速能力。

優勢在於：支援多種型別的顯示卡，相容性好，支援符合最新DirectX、OpenGL規範的3D應用。

 

GPU直通的技術背景

 

當前影象分類，影片分析，語音識別以及自然語音處理等應用場景下，使用GPU 能極大提高併發處理效能。

 

例如：人臉識別需要處理成千上萬張高畫質圖片，電腦遊戲也需要處理大量炫麗的遊戲介面。這些都是GPU典型的使用場景。

 

GPU包含上千個計算單元，在平行計算方面展示出強大的優勢，GPU直通實體針對深度學習特殊最佳化，可在短時間內完成海量計算。

 

在科學計算領域，要求極強的雙精度計算能力，在模擬模擬過程中，消耗大量計算資源的同時，會產生大量臨時資料，對儲存頻寬與時延也有極高的要求。GPU直通實體可以滿足這些需求。

 

GPU 雲伺服器(GPU Cloud Computing)是基於 GPU 的應用於深度學習、科學計算等多種 GPU 計算場景的快速、穩定、彈性的計算服務。

 

GPU直通實現方式：透過虛擬化平臺的直通技術可以將GPU直接給虛擬機器使用，與物理伺服器使用GPU的效果基本一致，在虛擬機器內上只要安裝了對應GPU的驅動，GPU就可以為這個虛擬機器提供高效能的圖形能力。

 

GPU直通的技術方案

GPU直通是也叫GPU pass-through直通，是將PCI插槽上的物理裝置（這裡指GPU裝置）繞過OS層，直接提供給了VM。一般情況下PCI裝置提供到VM，是需要經過OS層面的裝置驅動，經過OS識別到該PCI裝置，再將物理裝置模擬提供給了VM。

如圖所示，pass-through直通是直接把物理裝置直通給虛擬機器，在VM層面看到的該裝置，就完全是一塊物理卡。普通的裝置模擬需要經過HostOS的物理驅動，然後經過Qemu的模擬驅動，再轉發到Guest OS內的驅動上，在VM層面看到的裝置實際上是模擬的裝置。

GPU直通的技術優勢

 

• 1、  效能損失小。無論是AI應用，深度學習還是科學計算來說，對使用GPU直通實體就是要極致利用GPU的效能，GPU直通技術由於沒有裝置模擬和轉換的過程，效能損耗極小，如下表所示，GPU直通虛擬機器的GPU效能與裸機上的GPU相比效能損失小於5%。GPU包含上千個計算單元，在平行計算方面展示出強大的優勢。

   

• 2、  功能相容性好。相對於裝置模擬或者GPU虛擬化技術，因為虛擬機器裡面直接安裝的是GPU廠商的驅動，直通裝置可無損使用GPU的各項特性和功能：3D圖形加速渲染，影片硬體編解碼，人工智慧，機器學習，以及最新的多GPU互聯互通等。

 

• 3、 對GPU廠商無依賴。需要搬遷GPU伺服器到雲上非常簡單，依賴於GPU直通技術，在幾天之內就可完成。

 

在科學計算大多數領域中都可以使用GPU加速，包括化學研究，流體動力學分析，結構分析，環境建模，地球物理學，視覺化/影象處理。在科學計算領域，要求極強的雙精度計算能力。

 

在模擬模擬過程中，消耗大量計算資源的同時，會產生大量臨時資料，對儲存頻寬與時延也有極高的要求，這些場景通常採用GPU直通技術。