人工智慧之“知識圖譜與深度強化學習核心技術” 公開課

第一天

第一課：知識圖譜概論

1.  知識圖譜的起源和歷史

2.  典型知識庫專案簡介

3.  知識圖譜應用簡介

第二課：  知識表示與知識建模

1.  早期知識表示簡介

2.  基於語意網的知識表示框架

    a.RDF和RDFS

    b.OWL和OWL2 Fragments

    c.SPARQL查詢語言

    d.Json-LD、RDFa、HTML5 MicroData等新型知識表示

3.   典型知識庫專案的知識表示

第三課：知識抽取與挖掘I

1.  知識抽取任務定義和相關比賽：物體識別、關係抽取和事件抽取

2.  面向結構化資料（關係資料庫）的知識抽取，包括D2RQ和R2RML等轉換與對映規範與技術介紹

3.  面向半結構化資料（Web tables, 百科站點等）的知識抽取

    a.基於正則運算式的方法

    b.Bootstrapping和Wrapper Induction介紹

第四課：知識抽取與挖掘II

1.  面向非結構化資料（文字）的知識抽取

    a.基於本體的知識抽取，包括NELL和DeepDive系統介紹

  b.開放知識抽取，包括TextRunner、Reverb和OLLIE等系統介紹

2.  知識挖掘

    a.知識內容挖掘：物體消歧與連結

    b.知識結構挖掘：關聯規則挖掘與社群發現

    c.知識表示學習與連結預測，包括TransE和PRA等演演算法介紹    

第二天

第五課：知識儲存

1.  基於關係資料庫的儲存設計，包括各種表設計和索引建立策略

2.  基於RDF的圖資料庫介紹

    a.開源資料庫介紹：Apache Jena、Sesame、gStore、RDF-3X等

    b.商業資料庫介紹：Virtuoso、AllegroGraph、BlazeGraph等

3.   原生圖資料庫介紹，包括Neo4j、OrientDB、Titan和Cayley等

第六課：知識融合

1.  知識融合任務定義和相關競賽：本體對齊和物體匹配

2.  本體對齊基本流程和常用方法

    a.基於Linguistic的匹配

    b.基於圖結構的匹配

    c.基於外部知識庫的匹配

3.  物體匹配基本流程和常用方法

    a.基於分塊的多階段匹配

    b.基於規則（配置或透過學習）的物體匹配

4.  知識融合工具介紹：包括Falcon-AO、Silk、PARIS、DEDUPE、LIMES和KnowledgeVault等

第七課：知識推理

1.  本體知識推理簡介與任務分類，包括概念可滿足性、概念包含、實體分類和一致性檢測等

2.  本體推理方法與工具介紹

    a.基於Tableaux運算的方法：Fact++、Racer、Pellet和Hermit等

  b.基於一階查詢重寫的方法：Ontology-based Data Access的Ontop等

  c.基於產生式規則的方法（如Rete)：Jena、Sesame和OWLIM等

    d.基於邏輯程式設計（如Datalog）改寫的方法：KAON2和RDFox等

第三天

第八課：語意搜尋

1.  語意搜尋概述，包括Knowledge Card、Rich Snippet、Facebook Graph Search等

2.  基於語意標註的網頁搜尋

  a.Web Data Commons專案介紹

    b.排序演演算法介紹，擴充套件BM25

3.  基於圖譜的知識搜尋

a.本體搜尋（ontology lookup）

    b.探索式知識檢索，包括查詢構造、結果排序和分面（facets）推薦

4.  知識視覺化，包括本體、查詢、結果等的展現方式和視覺化分析

第九課：知識問答I

1.  知識問答概述和相關資料集（QALD和WebQuestions）

2.  知識問答基本流程

3.  知識問答主流方法介紹

    a.基於模板的方法，包括模板定義、模板生成和模板匹配等步驟

    b.基於語意解析的方法，包括資源對映，邏輯運算式候選生成與排序等

c.基於深度學習的方法

第十課：行業知識圖譜應用

1.  行業知識圖譜特點

2.  行業知識圖譜應用，包括金融、醫療、數字圖書館等領域應用

3.  行業知識圖譜構建與應用的挑戰

4.  行業知識圖譜生命週期定義和關鍵元件

專題模組

內容設定

程式碼與案例實踐

第1講：Python資料科學與TensorFlow

直譯器Python2.7/3.6與IDE：Anaconda/Pycharm

numpy/scipy/matplotlib/panda的介紹和典型使用

scikit-learn的介紹和典型使用

TensorFlow典型應用

典型影象處理

多種數學曲線、多項式擬合

快速傅裡葉變換FFT、奇異值分解SVD

Soble/Prewitt/Laplacian與摺積網路

1. 摺積與(指數)移動平均線

2. 股票資料分析

3. 缺失資料的處理

4. 環境資料異常檢測和分析

第2講：深度學習基礎及遷移學習

摺積神經網路CNN

摺積層、池化層、全連線層、啟用函式層    Softmax層

深度學習的模型訓練技巧   

梯度下降的最佳化方法詳解

迴圈神經網路RNN

RNN迴圈神經網路，梯度計算    BPTTRNN迴圈神經網路改進LSTM  GRU Bi-RNN Attention based

Keras安裝，動手設計RNN網路解決分類問題

遷移學習的理論概述    

遷移學習的常見方法

特徵、實體、資料、深度遷移、強化遷移、研究案例

1. 搭建自己的摺積神經網路

2. 數字影象識別、人證合一驗證

3. 基本OCR系統

4. 基於CNN的影象識別框架

5. 摺積神經網路調參經驗分享

6. 深度遷移、強化遷移、研究案例

第3講：強化學習概要及基礎概念

強化學習的歷史

強化學習需要解決的問題

強化學習的分類

強化學習的發展趨勢

動態規劃、策略評估和策略改進

RL和動態規劃的異同點

基於蒙特卡羅強化學習介紹、同策略、異策略強化學習演演算法

Alphago原理講解

1.universe(OpenAI)環境搭建

2. gym(OpenAI)實驗環境搭建

3. 迷宮演演算法簡單演示

4. 實現一個Alphago

第4講：MDP以及傳統強化學習演演算法及實現

基本概念： 馬爾科夫性、馬爾科夫過程、     馬爾科夫決策過程

MDP基本組成元素： 策略、回報、值函式、狀態行為值函式

貝爾曼方程、最優策略

Q-learning演演算法

Sarsa演演算法、Sarsa（lamda）演演算法

1.編寫第一個增強學習的python 程式

2. Q-learning實現迷宮遊戲

3. Sarsa演演算法實現迷宮遊戲

4. 尋寶藏遊戲

第5講：DQN及其變種演演算法（案例實現）

DQN演演算法原理介紹

Double DQN演演算法原理介紹

Prioritized Replay演演算法原理介紹

Dueling DQN演演算法原理介紹

構建agent玩Atair games

深度神經網路DNN以及RNN

1. Atari Pong遊戲

2. 飛翔的小鳥案例實戰

3. DQN實現迷宮遊戲

4. Double DQN演演算法實現迷宮遊戲

5. Prioritized Replay演演算法實現迷宮遊戲

6. Dueling DQN演演算法實現迷宮遊戲

第6講：策略梯度、TRPO 方法介紹及推導

策略梯度方法介紹

似然率策略梯度推導及重要性取樣視角推導

似然率策略梯度的直觀理解，

常見的策略表示

常見的減小方差的方法：引入基函式法，修改估計值函式法

TRPO 實用演演算法介紹

共軛梯度法搜尋可行方向，PPO 方法

1.程式設計實踐課（基於tensorflow和gym）

2. 基於python 的TRPO 方法實現

3. TRPO實現迷宮遊戲

4. PPO實現迷宮遊戲

5. 基於RL打星際爭霸2遊戲

第7講：DDPG、AC、A3C演演算法及其實現

DDPG演演算法原理介紹

基於 python 的 DDPG 方法實現

AC演演算法原理介紹

A3C演演算法原理介紹

1. Atari Pong遊戲

2. DDPG實現迷宮遊戲

3. AC實現迷宮遊戲

4.實現迷宮遊戲

5. 基於RL演演算法來預測股票價格

第8講：逆向強化學習介紹

逆向強化學習分類、學徒學習、 MMP 方法、結構化分類方法、神經逆向強化學習

最大熵逆向強化學習、相對熵逆向強化學習

深度逆向強化學習

1. 程式設計指導、答疑、交流

2. 強化學習總結