在碎片化閱讀充斥眼球的時代，越來越少的人會去關註每篇論文背後的探索和思考。

在這個欄目裡，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點選本文底部的「閱讀原文」即刻加入社群，檢視更多最新論文推薦。

這是 PaperDaily 的第 64 篇文章

本期推薦的論文筆記來自 PaperWeekly 社群使用者 @Cratial。深度學習領域一直存在一個比較嚴重的問題——“災難性遺忘”，即一旦使用新的資料集去訓練已有的模型，該模型將會失去對原資料集識別的能力。

為解決這一問題，本文提出了樹摺積神經網路，透過先將物體分為幾個大類，然後再將各個大類依次進行劃分、識別，就像樹一樣不斷地開枝散葉，最終葉節點得到的類別就是我們所要識別的類。

如果你對本文工作感興趣，點選底部的閱讀原文即可檢視原論文。

關於作者：吳仕超，東北大學碩士生，研究方向為腦機介面、駕駛疲勞檢測和機器學習。

■ 論文 | Tree-CNN: A Deep Convolutional Neural Network for Lifelong Learning

■ 連結 | https://www.paperweekly.site/papers/1839

■ 作者 | Deboleena Roy / Priyadarshini Panda / Kaushik Roy

網路結構及學習策略

網路結構

Tree-CNN 模型借鑒了層分類器，樹摺積神經網路由節點構成，和資料結構中的樹一樣，每個節點都有自己的 ID、父親（Parent）及孩子（Children），網（Net，處理影象的摺積神經網路），LT（”Labels Transform”，就是每個節點所對應的標簽，對於根節點和枝節點來說，可以是對最終分類類別的一種劃分，對於葉節點來說，就是最終的分類類別），其中最頂部為樹的根節點。

本文提出的網路結構如下圖所示。對於一張影象，首先會將其送到根節點網路去分類得到“super-classes”，然後根據所識別到的“super-classes”，將影象送入對應的節點做進一步分類，得到一個更“具體”的類別，依次進行遞推，直到分類出我們想要的類。

▲ 圖1

其實這就和人的識別過程相似，例如有下麵一堆物品：數學書、語文書、物理書、橡皮、鉛筆。如果要識別物理書，我們可能要經歷這樣的過程，先在這一堆中找到書，然後可能還要在書裡面找到理科類的書，然後再從理科類的書中找到物理書，同樣我們要找鉛筆的話，我們可能需要先找到文具類的物品，然後再從中找到鉛筆。

學習策略

在識別方面，Tree-CNN 的思想很簡單。如圖 1 所示，主要就是從根節點出發，輸出得到一個影象屬於各個大類的機率，根據最大機率所對應的位置將識別過程轉移到下一節點，這樣最終我們能夠到達葉節點，葉節點對應得到的就是我們要識別的結果。整個過程如圖 2 所示。

▲ 圖2

如果僅按照上面的思路去做識別，其實並沒有太大的意義，不僅使識別變得很麻煩，而且在下麵的實驗中也證明瞭採用該方法所得到的識別率並不會有所提高。而這篇論文最主要的目的就是要解決我們在前面提到的“災難性遺忘問題”，即文中所說的達到“lifelong”的效果。

對於新給的類別，我們將這些類的影象輸入到根節點網路中，根節點的輸出為 OK×M×I，其中 K、M、I 分別為根節點的孩子數、新類別數、每類的影象數。

然後利用式（1）來求得每類影象的輸出平均值 Oavg，再使用 softmax 來計算機率情況。以機率分佈表示該類與根節點下麵子類的相似程度。對於第 m 類，我們按照其機率分佈進行排列，得到公式（3）。

根據根節點得到的機率分佈，文中分別對下麵三種情況進行了討論：

當輸出機率中最大機率大於設定的閾值，則說明該類別和該位置對應的子節點有很大的關係，因此將該類別加到該子節點上；

若輸出機率中有多個機率值大於設定的閾值，就聯合多個子節點來共同組成新的子節點；

如果所有的輸出機率值都小於閾值，那麼就為新類別增加新的子節點，這個節點是一個葉節點。

同樣，我們將會對別的支節點繼續上面的操作。透過上面的這些操作，實現對新類別的學習，文中稱這種學習方式為 incremental/lifelong learning。

實驗方法與結果分析

在這部分，作者分別針對 CIFAR-10 及 CIFAT-100 資料集上進行了測試。

實驗方法

1. CIFAR-10

在 CIFAR-10 的實驗中，作者選取 6 類影象作為初始訓練集，又將 6 類中的為汽車、卡車設定為交通工具類，將貓、狗、馬設為動物類，因此構建出的初始樹的結構如圖 3（a）所示。

▲ 圖3

具體網路結構如圖 4 所示，根節點網路是包含兩層摺積、兩層池化的摺積神經網路，支節點是包含 3 層摺積的摺積神經網路。

▲ 圖4

當新的類別出現時（文中將 CIFAR-10 另外 4 個類別作為新類別），按照文中的學習策略，我們先利用根節點的網路對四種類別的圖片進行分類，得到的輸出情況如圖 5 所示，從圖中可以看出，在根節點的識別中 Frog、Deer、Bird 被分類為動物的機率很高，Airplane 被分類為交通工具的機率較高。