知識星球
導讀：在NIPS 2016大會上，著名研究者LeCun提出了預測學習（predictive learning）概念。在他的講稿中，將機器學習比喻為“蛋糕”：
-
強化學習，是蛋糕上的小櫻桃：輸入資料，輸出1個數字，代表對於獎勵的預測。
-
有監督學習，是蛋糕的糖霜：輸入資料，輸出少量結論，例如影象的分類。
-
無監督學習，預測學習，是蛋糕的真正本體：輸入資料，輸出同樣量級的預測。
□ 例如：輸入部分缺失的影象，輸出將影象補充完整後的結果。
□ 例如：輸入一段影片，輸出對於影片的未來發展的預測，如下圖所示。
預測學習很重要，而且可能是通往強人工智慧的必經之路。目前深度學習的領軍人物Hinton、LeCun、Bengio均在此投入了研究，也許它將帶來AI的下一場革命。
在筆者看來，預測學習有幾個重要特點：
1. 它需要邏輯，需要常識
例如，在預測影片的發展時，需學會物理定律（如牛頓三定律），學會不同事物的特徵（如人體的不同關節的運動方法），學會空間立體的概念（需處理物體的平移，旋轉，相互間的遮擋），等等。
-
在推理和預測過程中，還需要記憶，包括長期和短期記憶。目前研究人員已有辦法為網路加入各種記憶模組。
2. 它的資料特別容易獲得
首先，它是無監督方法，無需人工標記。其次，網路上已經有浩如煙海的影片，截取出的每個片段都可用於訓練。而且我們還可用攝像頭輕鬆生成無窮無盡的新影片，甚至可讓AI學會主動控制攝像頭。
-
我們還可使用遊戲引擎生成影片畫面。
3. 此前我們已看到資料對於深度學習的關鍵性
在使用海量資料訓練後，深度網路有可能會逐漸掌握邏輯和常識，改善它此前在這兩方面的缺陷，甚至自動發現物理定律。
-
“情感神經元”是很好的例證：僅僅是要求網路學會預測，網路就可自動發現深層次的規律。
4. 預測學習也有非常實際的用途
例如，在自動駕駛中，如果能預測其它車輛和行人的行為，就可以改善自動駕駛的效能和安全性。
在LeCun的講稿中，給出瞭如下公式：
智慧 = 感知 + 預測 + 記憶 + 推理和規劃
筆者將其總結為：
記憶過去，感知現在，預測未來
如果與強化學習結合，可得到如下圖所示的更完整的架構圖。這裡智慧體的標的是最小化費用，這需要透過對世界建模實現。
目前在預測學習領域已有許多有趣的工作，例如讓網路預測遊戲環境中物體的下落和碰撞軌跡（PhysNet, https://arxiv.org/abs/1603.01312），如下圖所示。
左邊是遊戲場景。右邊上排是實際的下落和碰撞情況。右邊下排是網路的預測，其中第1張影象是網路的輸入，後續3張影象都是網路的預測。
可見，網路有能力大致預測出方塊的運動情況，不過會隨著時間的推移而越來越模糊。
這是預測模型中的常見現象，是因為未來有不確定性。如下圖所示，未來有多種可能性，我們無法提前判知。
因此，如使用MSE作為擬合標的，網路會無所適從，最終造成影象模糊。
解決方法是引入GAN思想，用判別器網路判斷未來的發展是否為真。這樣網路可以給出更清晰的預測（雖然預測無法囊括未來的所有發展）。
例子見https://github.com/dyelax/Adversarial_Video_Generation，其中的動畫非常有趣，推薦讀者開啟看一看。例如，對於吃豆人遊戲的畫面預測，如果不使用GAN，在經過一個岔路口時，由於網路不知道吃豆人會選擇哪個路口，因此會在畫面中同時顯示出吃豆人向上走和向下走的軌跡。
關於作者：彭博，人工智慧、量化交易、區塊鏈領域的技術專家，有20年以上的研發經驗。 在人工智慧與資訊科技方面，對深度學習、機器學習、計算機圖形學、智慧硬體等有較為深入的研究。
本文摘編自《深度摺積網路：原理與實踐》，經出版方授權釋出。
延伸閱讀《深度摺積網路：原理與實踐》
轉載請聯絡微信：togo-maruko
點選文末右下角“寫留言”發表你的觀點
推薦語：20年開發經驗專家/知乎大V，從技術理論、工作原理、實踐方法等方面系統、深入講解DCNN。
推薦閱讀
Bruce Eckel：我最喜歡Python，Kotlin或將取代Java（附演講全文+PPT）
最全Python資料工具箱：標準庫、第三方庫和外部工具都在這裡了
Q: 關於預測學習你都有哪些經驗？
歡迎留言與大家分享
覺得不錯，請把這篇文章分享給你的朋友
轉載 / 投稿請聯絡：baiyu@hzbook.com
更多精彩，請在後臺點選“歷史文章”檢視
