關於作者：王晉東，中國科學院計算技術研究所博士生，研究方向為遷移學習和機器學習。

■ 論文 | Importance Weighted Adversarial Nets for Partial Domain Adaptation

■ 連結 | https://www.paperweekly.site/papers/1805

■ 作者 | Jing Zhang / Zewei Ding / Wanqing Li / Philip Ogunbona

背景

我們目前接觸過的絕大部分遷移學習問題情景都是：源域和標的域的特徵空間與類別空間一致，只是資料的分佈不一致，如何進行遷移。也就是說，源域和標的域要是幾類，都是幾類。

但是這種情況顯然具有很大的限制性：在真實應用中，我們往往不知道標的域的類別，更無法獲知它是否和源域的類別完全一樣。這就極大地限制了它的應用。

遷移學習的標的就是利用大量有標註的源域資料來對標的域資料進行建模。如果我們假設已有的源域資料很豐富，它本身就包含了標的域的類別，那麼問題會不會看起來更具一般性？

形式化來講，我們用 Ys 和 Yt 分別表示源域和標的域的類別空間，那麼部分遷移學習就是 Y ⊃ Yt。這種情況比通常意義下的遷移學習更有挑戰性。

論文動機

作者的 motivation 很直觀：如果在源域類別比標的域多的情況下無法直接進行遷移，那我們就先選擇出源域中與標的域那部分類別最接近的樣本，給它們賦予高權重，然後再進行遷移。 

基於這個想法，作者設計了一個兩階段的深度對抗網路。我們都知道對抗網路主要由特徵提取器（feature extractor）和領域分類器（domain classifier）組成。特徵提取器用於進取樣本的公共特徵，領域分類器用於判別兩個領域是否相似。

已有工作通常會對源域和標的域採用一個公共的特徵提取器。但是在部分遷移學習中，源域和標的域的類別往往不同，因此作者提出對它們分別採用不同的特徵提取器進行。這樣做還有一個好處就是，不同的特徵提取器可以針對各自的 domain 學習到各自的表徵性特徵。 

在學習時，固定源域的特徵提取器不變，只學習標的域的特徵，這更符合原始 GAN 的理論。

方法

作者提出了一個深度加權對抗網路（Importance Weighted Adversarial Nets）。這個網路的示意圖如下圖所示。

網路的主要部分為：分別作用於源域和標的域的兩個特徵提取器（分別叫做 Fs 和 Ft)，以及兩個領域分類器（分別叫做 D 和 D0）。

第一個領域分類器用來篩選出源域中與標的域相似的那部分樣本（或者源域中與標的領域共享的那部分類別），第二個領域分類器進行正常的 Domain Adaptation。

相應地，方法主要分為兩個部分：1）篩選出源域中與標的域屬於相同類別的樣本，2）綜合學習。

樣本篩選

此部分是該論文的核心創新點。主要思路是，由 Fs 和 Ft 產生的源域和標的域特徵 Zs 和 Zt，透過一個領域分類器 D，判別樣本是來自於源域還是標的域。

這個 D 是一個二類分類器，如果 D=1，表示樣本來自源域；否則，樣本則來自標的域。那麼，如何才能知道樣本是否屬於源域和標的域的公共類別，而不是特異於源域的類別（作者叫它們 outlier）？

如果 D(z)≈1，那麼就表示 z 這個樣本是來自於源域。更進一步分析，為什麼這部分樣本只是來自源域？那是因為這部分樣本是源域獨有的。否則的話，它就同樣來自標的域了。

從另一個角度說，如果 D(z)≈0，則表示這部分樣本來自標的域。同時，也表示它可能來自源域中與標的領域共享的類別。因為兩部分的類別是共享的。

這個簡單而直觀的道理指導著我們設計不同的權重。我們的標的是，對於篩選出的那部分與標的域屬於相同類別的源域樣本，給它們賦予大權重；另一部分源域特有的樣本，權重調小。該權重可以被表示為：

這裡的 D⋆(z) 表示的是領域分類器 D 的最優值，它可以透過求導得出：

從這個式子可以看出，如果 D⋆(z) 值較大，則表示樣本更可能是 outlier，那麼權重值就會變小；反之，如果 D⋆(z) 值較小，則表示樣本更可能是源域和標的域共同部分，那麼權重值就會變大。這個方法很好地對源域和標的域中的共同類別的樣本完成了篩選工作。

作者還對源域部分的權重進行了歸一化，以更加明確樣本的從屬關係。加入權重以後，最佳化標的變成了：

下一步工作是處理領域分類器 D0。D0 也可以以同樣的求導方式得到。

綜合學習

綜合學習之前，作者還加了一個熵最小化項用於對標的域的樣本屬性進行約束，這也是比較常見的做法。熵最小化可以被表示為：

其中的 H(⋅) 就是熵的表達形式。C(⋅) 是分類器。現在，總的學習標的就是：

實驗

部分遷移學習實驗主要在傳統的 Office-Caltech 以及 Office-31 上做。不過實驗任務與之前的遷移學習有所不同：源域的類別比標的域多。

作者和一些最新的遷移學習方法進行了對比，表明瞭所提方法的優勢。

作者還特別做了一個實驗：當標的域的類別個數逐漸變多時，精度如何變化？結論是，隨著標的域類別個數的減少，精度逐漸增加。這表明知識在進行遷移時，源域知識越多，透過篩選，對標的越有效。

具體實驗設定、結果、以及其他的視覺化結果可以參照原文。

總結

本文核心創新點是，從任務出發，直觀地構造出兩階段式對抗網路，對源域中與標的域共享的類別樣本進行有效篩選。

另一個與已有工作不同的地方是，作者分別對源域和標的域採用了不同的特徵提取器。其實這一點與作者發表在 CVPR-17 的 JGSA [1] 方法很像。可以參考學習。

參考文獻

[1] Zhang J, Li W, Ogunbona P. Joint geometrical and statistical alignment for visual domain adaptation[J]. arXiv preprint arXiv:1705.05498, 2017.

[2] 與本文相關的另一篇部分遷移學習工作：

https://zhuanlan.zhihu.com/p/32161502

本文由 AI 學術社群 PaperWeekly 精選推薦，社群目前已改寫自然語言處理、計算機視覺、人工智慧、機器學習、資料挖掘和資訊檢索等研究方向，點選「閱讀原文」即刻加入社群！

點選標題檢視更多論文解讀： 

•   腦洞大開的機器視覺多領域學習模型結構

•   新型RNN：將層內神經元相互獨立以提高長程記憶

• CycleGAN：圖片風格，想換就換

• 基於GAN的字型風格遷移

• 基於置信度的知識圖譜表示學習框架

#作 者 招 募#

讓你的文字被很多很多人看到，喜歡我們不如加入我們

  我是彩蛋