深度學習摺積神經網路大事件一覽

首先這裡給出CNN在發展過程中的一些具有里程碑意義的事件和文獻：

對於CNN最早可以追溯到1986年BP演演算法的提出，然後1989年LeCun將其用到多層神經網路中，直到1998年LeCun提出LeNet-5模型，神經網路的雛形完成。在接下來近十年的時間裡，摺積神經網路的相關研究趨於停滯，原因有兩個：一是研究人員意識到多層神經網路在進行BP訓練時的計算量極其之大，當時的硬體計算能力完全不可能實現；二是包括SVM在內的淺層機器學習演演算法也漸漸開始暫露頭腳。

2006年，Hinton終於一鳴驚人，在《科學》上發表文章，CNN再度覺醒，並取得長足發展。2012年，ImageNet大賽上CNN奪冠，2014年，谷歌研發出20層的VGG模型。同年，DeepFace、DeepID模型橫空出世，直接將LFW資料庫上的人臉識別、人臉認證的正確率刷到99.75%，幾乎超越人類。

2015年深度學習領域的三巨頭LeCun、Bengio 、Hinton聯手在Nature上發表綜述對DeepLearning進行科普。2016年3月阿爾法狗打敗李世石，2016年4月我在寫這篇博文。

01 1986年~1998年

這段時間裡是CNN的雛形階段，主要包括BP演演算法的提出、BP演演算法在多層神經網路模型中的應用、LeNet-5模型的正式定型。

1. BP演演算法的提出

BP演演算法是在1986年由Rumelhart在《Learning Internal Representations by Error Propagation》一文中提出，如果你的論文中提到了BP演演算法，那這篇文章似乎是非取用不可的，它目前的取用量是19043次：

2. 基於BP演演算法的CNN雛形

在BP演演算法提出3年之後，嗅覺敏銳的LeCun選擇將BP演演算法用於訓練多層摺積神經網路來識別手寫數字，這可以說是CNN的雛形，具體參見文章《Backpropagation applied to handwritten zip code recognition》，這是摺積神經網路這一概念提出的最早文獻，目前應用量為1594次：

3. LeNet-5模型的最終定型

所有研究CNN的都必然知道LeNet-5模型，這是第一個正式的摺積神經網路模型：

但你知道它是在什麼時候被正式提出來的嗎？在1998年，作者還是LeCun，文章《Gradient-based learning applied to document recognition》，取用量4832次：

至此，LeNet-5模型的提出標志著CNN的正式成型，不幸的是接下來這個技術就被打入冷宮，原因如上文所說，它不僅吃裝置，而且好的替代品還很多。

02 2006年

這一年可以說是DeepLearning覺醒的一年，標誌就是Hinton在Science發文，指出“多隱層神經網路具有更為優異的特徵學習能力，並且其在訓練上的複雜度可以透過逐層初始化來有效緩解”。這篇驚世駭俗之作名為《Reducing the dimensionality of data with neural networks》，目前取用量3210次：

至此，在GPU加速的硬體條件下，在大資料識別的應用背景下，DeepLearning、CNN再次起飛。

03 2012年~2014年

這段時間摺積神經網路的相關研究已經進行的如火如荼，學術文獻呈井噴式層出不窮，具有代表性的我認為有兩個：2012年的ImageNet大賽和2014年的DeepFace、DeepID模型。

1. ImageNet競賽上CNN的一鳴驚人

可以說，2012年CNN在ImageNet競賽中的表現直接奠定了它的重要地位，兩個第一，正確率超出第二近10%，確實讓人大跌眼鏡。在文獻《Imagenet classification with deep convolutional neural networks》詳細介紹了相關的結構模型以及比賽結果，這篇文獻的作者是Hinton，目前取用量4412次：

2. DeepFace、DeepID

在2012年CNN一炮打響之後，其應用領域再也不只侷限於手寫數字識別以及聲音識別了，人臉識別成為其重要的應用領域之一。在這期間DeepFace和DeepID作為兩個相對成功的高效能人臉識別與認證模型，成為CNN在人臉識別領域中的標誌性研究成果。DeepFace由Taigman等人提出，發表在2014年的CVPR上，具體資訊參見文章《DeepFace: Closing the Gap to Human-Level Performance in Face Verification》，目前取用量548：

至於DeepID，這是由香港中文大學湯曉鷗教授的研究團隊提出，於2014年連發三箭，箭箭都正中靶心，分別是《Deep Learning Face Representation from Predicting 10,000 Classes》、《Deep learning face representation by joint identification-verification》、《Deeply learned face representations are sparse, selective, and robust》 目前取用量都在100~200次之間。需要強調的一點是作者在第三篇文章中對摺積神經網路的內部結構進行了分析，試圖從理論上詮釋CNN的強大特徵提取能力，這是學者第一次試圖去探索CNN的本質屬性，史無前例。

04 2015年~至今

摺積神經網路自從2006年再度走進人們的視線，發展到現在已經快有十個年頭。2015年深度學習領域的三巨頭LeCun、Bengio 、Hinton在Nature上發表一篇綜述，系統的總結了深度學習的發展前世今生，文章寫得通俗易懂，全文幾乎都沒有什麼公式，是一篇科普性較強的文章，個人覺得研究深度學習的人員都應該去讀一讀，題目也很簡潔，就叫《Deep Learning》，2015年發表，目前取用量已達321次： 

然後在2016年，CNN再次給人們一個驚喜：谷歌研發的基於深度神經網路和搜尋樹的智慧機器人“阿爾法狗”在圍棋上擊敗了人類，更驚喜的是谷歌在Nature專門發表了一篇文章來解釋這個阿爾法狗，估計很多人都不知道，文章名字叫做《Mastering the game of Go with deep neural networks and tree search》，由於剛剛發表，取用次數僅為29次：

以上就是我自己對CNN的發展過程中一些標誌性的經典文獻的一個小小總結，同時也是CNN發展歷程中的一個縮影，其中很多文獻都是在撰寫論文過程中必然要取用到的，希望對大家有所幫助。

05 註意事項

1. 文獻提供

以上所提到的文獻在IEEE、谷歌等網站上均可以下載得到，當然實在找不到的話可以聯絡我，我會及時提供相關文獻。

2. 《Notes on Convolutional Neural Networks》

這篇文獻在谷歌上可以查到，具體如下：

遺憾的是筆者到現在也不知道這篇文章到底發表在那個期刊或者會議上，因此不方便在撰寫論文的過程中對其進行取用，不過這篇文章的質量確實相當高，對摺積神經網路的前向/反向傳播原理都介紹得十分清楚，公式也非常規範，不失為一篇在摺積神經網路入門階段的好文章，推薦大家閱讀。

3. 取用量均來自於谷歌學術

上文中所提到的相關論文的取用次數均來源於谷歌學術所提供的資料，若有紕漏請大家多多包涵。

4. 文獻閱讀筆記

上文提到的這幾篇文獻堪稱摺積神經網路研究領域的經典文獻，取用次數都非常高。當然我也不是一開始就能如此抓到重點的去找到這些經典的東西，這都是在閱讀了一定數量的文獻，有了一定的區分能力之後才能做出的總結，至於自己在文獻調研中所走過的彎路就不再多說，這裡將我研究生階段調研過的文獻情況奉上以供大家參考：文獻閱讀筆記（https://blog.csdn.net/column/details/literature.html）。

5. 摺積神經網路與深度學習的概念

在這篇博文中我一會兒說摺積神經網路模型，一會兒說深度學習模型，但需要強調的是這兩個概念並不是等價的，深度學習的概念要更為寬泛一些。經典的深度學習理論可分為摺積神經網路、深度置信網路以及自動編碼器，摺積神經網路可以說是目前深度學習體系中研究最多、應用最為成功的一個模型，因此這個概念還是要區分清楚的。