• 序言

• 草稿目錄

• 哲學

  • 人工智慧能否實現？ 長文慎入！

• 聽覺

  • 語音識別簡介

  • 基於HMM的語音識別（一）

  • 基於HMM的語音識別（二）

  • 基於HMM的語音識別（三）

  • WFST簡介

  • HMM和WFST程式碼示例

  • 深度學習在語音識別中的應用

  • Kaldi簡介

  • CTC理論和實戰

  • DeepSpeech理論與實戰

  • 使用TensorFlow識別語音關鍵詞

• 視覺

  • 視覺任務簡介

  • 標的檢測

  • 實體分割

  • Fast/Faster/Mask R-CNN總結

  • Faster R-CNN程式碼簡介

  • Mask R-CNN程式碼簡介

• 語言

  • Word Embedding教程

  • 語言模型教程

  • 文字分類演演算法

  • Stanford Core NLP用法簡介

  • OpenAI GPT-2大新聞解讀

  • 使用PyTorch實現Chatbot

  • Transformer圖解

  • Transformer程式碼閱讀

  • BERT模型詳解

  • BERT程式碼閱讀

• 強化學習

  • 強化學習簡介（一）

  • 強化學習簡介（二）

  • 強化學習簡介（三）

  • 強化學習簡介（四）

  • 強化學習簡介（五）

  • 強化學習簡介（六）

  • AlphaGo

  • AlphaGo Zero

  • AlphaZero

  • 用AlphaZero來玩Connect4遊戲

• 其他

  • 自動微分

  • Xgboost演演算法

  • 在Docker中使用TensorFlow

  • Serving TensorFlow簡明教程

  • PyTorch簡明教程

序言

16 年 9 月的時候我在 CSDN 發了一些深度學習的文章，主要是面向沒有太多經驗的開發者。達文讀了後覺得我的文章比較通俗易懂，邀請我寫一本書，當時頭腦一熱就答應下來。雖然現在出版的書籍汗牛充棟，但是對我來說著書立言始終是一件非常嚴肅和重大的事情。立德、立功、立言乃儒家的三不朽，可見古人對於其重視。

我的這本書只是關於深度學習的技術類書籍，遠遠談不上立言，但是總歸會有一些讀者的，因此我希望這本書至少對讀者有一些幫助，而不是誤人子弟。從開始寫下第一個字到現在，前後跨越四年曆時兩年半。一方面是因為工作忙沒有太多時間，但更重要的原因是我希望把它寫得更好一點。

寫書的過程也是學習的過程，書中的每一篇論文每一行程式碼，作者都要求自己完全讀懂，不懂的內容絕對不放到書裡面。當然由於個人水平有限，肯定還是會有很多理解的偏差和疏漏，敬請讀者不吝指教。 

市面上關於深度學習的書籍很多，本書最大的特點是理論結合實戰和內容的廣度。現在大家能夠看到的深度學習書籍大概可以分為兩類，一類只關註理論而另一類只關註應用。

前者多為一些會議論文集，當然也包括 Ian Goodfellow 和 Yoshua Bengio 等人的 Deep Learning。這類書籍的讀者是專業的研究者和相關專業的學生，它更多的是關註基礎理論和最新的前沿進展。這類書籍通常比較難懂，而且讀完之後仍然不知道怎麼動手解決問題。

而另外一類書籍更關註應用，多為框架工具的介紹，偶爾提及一些理論也是點到而止，在讀者看來各種演演算法只是一個黑盒子，雖然能跑起來，但是知其然不知其所以然，不知道怎麼調優，碰到問題時更加不知道怎麼解決。

本書的標的是使用通俗易懂的語言來介紹基礎理論和最新的進展，同時也介紹程式碼的實現。透過理論與實踐的結合使讀者更加深入的理解理論知識，同時也把理論知識用於指導實踐。因此本書的一大特點就是每介紹完一個模型都會介紹它的實現，讀者閱讀完一個模型的介紹之後就可以執行、閱讀和修改一下這些程式碼，從而可以更加深刻地理解理論知識。 

本書第二個比較大的特點就是內容的廣度，本書改寫聽覺、視覺、語言和強化學習四大領域。從章節的命名讀者也可以看到作者的”野心”，本書改寫了深度學習的大部分常見應用方向。市面上的書大部分只介紹視覺和語言的內容，而且一般也只限於 CNN 用於簡單的影象分類或者 RNN、seq2seq 模型在 NLP 中的應用。

本書的視覺部分除了介紹 CNN 以及最新的 ResNet 和 Inception 模型之外，還介紹了用於標的檢測的 R-CNN、Fast R-CNN、Faster R-CNN 模型；用於實體分割的 Mask R-CNN 模型；用於人臉識別的 FaceNet；還包括 Neural Style Transfer 和 GAN（包括 DCGAN 和 Cycle GAN）。

語言部分除了很多書都有的 RNN/LSTM/GRU 等基礎模型，用於機器翻譯、chatbot 的 seq2seq 模型和 Attention 機制之外還包括最新的 ELMo、OpenAI GPT 和 BERT 等模型，此外本書還介紹了 NLP 的很多經典任務，包括語言模型、詞性標註、成分句法分析、依存句法分析和機器翻譯。除了介紹深度學習的解決方案之外也會介紹傳統的基於統計機器學習的方法，讓讀者能夠瞭解這個領域的發展過程。

而聽覺和強化學習是目前市面上大部分書都很少提及的內容。大家都知道 2012 年 AlexNet 在視覺領域的突破，但是深度學習最早的突破其實發生在語音識別方向。

本書會詳細介紹經典的基於 HMM-GMM 的語音識別系統，包括基於 WFST 的解碼器和 Kaldi 的用法。接著會介紹 HMM-DNN 系統，然後到最新的 End-to-End 的語音識別系統，主要會介紹 CTC 模型，包括 CTC 用於驗證碼識別的示例和 DeepSpeech 系統。最後會介紹使用 CNN 實現簡單的語音關鍵詞識別，這個簡單的例子在智慧裝置上會非常有用。

國內關於強化學習的書籍不多，因此本書首先用一章的篇幅介紹強化學習的基本概念，包括 MDP、動態規劃、蒙特卡羅方法、TD 學習和 Policy Gradient。接著會介紹 DQN、基於深度學習的 Policy Gradient 演演算法，最後是介紹 AlphaGo、AlphaGo Zero 和 Alpha Zero 演演算法。 

當然由於時間和作者的水平所限，這些領域都遺漏了很多內容，比如聽覺只包括了語音識別，但是沒有語音合成、Music 等；深度強化學習也沒有最新的 Imitation Learning、Inverse Reinforcement Learning 和 Meta Learning 等內容。但是讀者在瞭解了本書的基本概念和基本模型之後，要學習更新的內容也會比較容易，作者以後有時間和精力也會持續更新這些內容。 

最後還包含一章哲學的內容，主要是作者對於人工智慧是否可以實現的一些個人觀點。本書的大部分內容都是來自別人的知識，最多是加上了我自己的一些理解。如果要在這本書裡尋找一點“原創性”內容的話，最有可能就是在這一章了。裡面有很多荒誕無稽的觀點，但是讀者不妨在飯後茶餘當成消遣的文章看看也並無太大壞處，看後有什麼想法也可以在後面留言和作者交流。 

本書的內容參考了很多論文、書籍以及開原始碼，感謝他們的工作！作者會儘量在文章加入相關連結，如果原作者認為有版權問題，請聯絡作者。 

由於涉及的內容很廣，再加上作者比較囉嗦的寫作方式（作者喜歡閱讀英文書，因為很多英文書的作者把讀者當小白，總是不厭其煩的解釋，而大多數中文書不知道是作者水平太高還是太低，總會有太多”顯然”、”易證”的東西。作者寫書也是假設讀者什麼都不懂，所以會很囉嗦），所以幾年下來寫的內容竟然上千頁。

出版社的編輯說這麼厚的書得賣多少錢啊，這沒法出版。因此把這本書拆分成了兩本：《深度學習理論與實戰：基礎篇》和《深度學習理論與實戰：提高篇》。基礎篇已經在編輯出版中，預計年中可以和讀者見面。提高篇則更加專業，不同的人可能只關註不同的方向，為了小部分內容而購買整本書似乎不合算。所以作者把提高篇免費開放出來，希望對讀者的學習和工作有所裨益。本文會持續更新，敬請關註！

草稿目錄

下麵是《深度學習理論與實戰：提高篇》草稿的目錄截圖，感謝 ElegantLaTeX 免費提供的 Latex 模板。作者在整理時可能會有所調整，因此僅供參考。