【知識】人工智慧數學基礎知識-知識星球

數學是開啟科學大門的鑰匙。——培根

數學基礎知識蘊含著處理智慧問題的基本思想與方法，也是理解複雜演演算法的必備要素。今天的種種人工智慧技術歸根到底都建立在數學模型之上，要瞭解人工智慧，首先要掌握必備的數學基礎知識，具體來說包括：

線性代數：如何將研究物件形式化？
機率論：如何描述統計規律？
數理統計：如何以小見大？
最最佳化理論：如何找到最優解？
資訊理論：如何定量度量不確定性？
形式邏輯：如何實現抽象推理？

01 線性代數：如何將研究物件形式化

事實上，線性代數不僅僅是人工智慧的基礎，更是現代數學和以現代數學作為主要分析方法的眾多學科的基礎。從量子力學到影象處理都離不開向量和矩陣的使用。而在向量和矩陣背後，線性代數的核心意義在於提供了⼀種看待世界的抽象視角：萬事萬物都可以被抽象成某些特徵的組合，併在由預置規則定義的框架之下以靜態和動態的方式加以觀察。

著重於抽象概念的解釋而非具體的數學公式來看，線性代數要點如下：線性代數的本質在於將具體事物抽象為數學物件，並描述其靜態和動態的特性；向量的實質是 n 維線性空間中的靜止點；線性變換描述了向量或者作為參考系的坐標系的變化，可以用矩陣表示；矩陣的特徵值和特徵向量描述了變化的速度與方向。

總之，線性代數之於人工智慧如同加法之於高等數學，是一個基礎的工具集。

02 機率論：如何描述統計規律？

除了線性代數之外，機率論也是人工智慧研究中必備的數學基礎。隨著連線主義學派的興起，機率統計已經取代了數理邏輯，成為人工智慧研究的主流工具。在資料爆炸式增長和計算力指數化增強的今天，機率論已經在機器學習中扮演了核心角色。

同線性代數一樣，機率論也代表了一種看待世界的方式，其關註的焦點是無處不在的可能性。頻率學派認為先驗分佈是固定的，模型引數要靠最大似然估計計算；貝葉斯學派認為先驗分佈是隨機的，模型引數要靠後驗機率最大化計算；正態分佈是最重要的一種隨機變數的分佈。

03 數理統計：如何以小見大？

在人工智慧的研究中，數理統計同樣不可或缺。基礎的統計理論有助於對機器學習的演演算法和資料挖掘的結果做出解釋，只有做出合理的解讀，資料的價值才能夠體現。數理統計根據觀察或實驗得到的資料來研究隨機現象，並對研究物件的客觀規律做出合理的估計和判斷。

雖然數理統計以機率論為理論基礎，但兩者之間存在方法上的本質區別。機率論作用的前提是隨機變數的分佈已知，根據已知的分佈來分析隨機變數的特徵與規律；數理統計的研究物件則是未知分佈的隨機變數，研究方法是對隨機變數進行獨立重覆的觀察，根據得到的觀察結果對原始分佈做出推斷。

用一句不嚴謹但直觀的話講：數理統計可以看成是逆向的機率論。數理統計的任務是根據可觀察的樣本反過來推斷總體的性質；推斷的工具是統計量，統計量是樣本的函式，是個隨機變數；引數估計透過隨機抽取的樣本來估計總體分佈的未知引數，包括點估計和區間估計；假設檢驗透過隨機抽取的樣本來接受或拒絕關於總體的某個判斷，常用於估計機器學習模型的泛化錯誤率。

04 最最佳化理論：如何找到最優解？

本質上講，人工智慧的標的就是最最佳化：在複雜環境與多體互動中做出最優決策。幾乎所有的人工智慧問題最後都會歸結為一個最佳化問題的求解，因而最最佳化理論同樣是人工智慧必備的基礎知識。最最佳化理論研究的問題是判定給定標的函式的最大值（最小值）是否存在，並找到令標的函式取到最大值 (最小值) 的數值。如果把給定的標的函式看成一座山脈，最最佳化的過程就是判斷頂峰的位置並找到到達頂峰路徑的過程。

通常情況下，最最佳化問題是在無約束情況下求解給定標的函式的最小值；線上性搜尋中，確定尋找最小值時的搜尋方向需要使用標的函式的一階導數和二階導數；置信域演演算法的思想是先確定搜尋步長，再確定搜尋方向；以人工神經網路為代表的啟髮式演演算法是另外一類重要的最佳化方法。

05 資訊理論：如何定量度量不確定性？

近年來的科學研究不斷證實，不確定性就是客觀世界的本質屬性。換句話說，上帝還真就擲骰子。不確定性的世界只能使用機率模型來描述，這促成了資訊理論的誕生。

資訊理論使用“資訊熵”的概念，對單個信源的資訊量和通訊中傳遞資訊的數量與效率等問題做出瞭解釋，併在世界的不確定性和資訊的可測量性之間搭建起一座橋梁。

總之，資訊理論處理的是客觀世界中的不確定性；條件熵和資訊增益是分類問題中的重要引數；KL 散度用於描述兩個不同機率分佈之間的差異；最大熵原理是分類問題彙總的常用準則。

06 形式邏輯：如何實現抽象推理？

1956 年召開的達特茅斯會議宣告了人工智慧的誕生。在人工智慧的襁褓期，各位奠基者們，包括約翰·麥卡錫、赫伯特·西蒙、馬文·閔斯基等未來的圖靈獎得主，他們的願景是讓“具備抽象思考能力的程式解釋合成的物質如何能夠擁有人類的心智。”通俗地說，理想的人工智慧應該具有抽象意義上的學習、推理與歸納能力，其通用性將遠遠強於解決國際象棋或是圍棋等具體問題的演演算法。

如果將認知過程定義為對符號的邏輯運算，人工智慧的基礎就是形式邏輯；謂詞邏輯是知識表示的主要方法；基於謂詞邏輯系統可以實現具有自動推理能力的人工智慧；不完備性定理向“認知的本質是計算”這一人工智慧的基本理念提出挑戰。

來源：資料科學與人工智慧

精彩活動

福利 · 閱讀 | 免費申請讀大資料新書第23期