■ 連結 | http://www.paperweekly.site/papers/1911

■ 解讀 | 鄧淑敏，浙江大學博士生，研究方向為知識圖譜與文字聯合表示學習

動機

機器學習一直是許多 AI 問題的典型解決方案，但學習過程仍然嚴重依賴於特定的訓練資料。一些學習模型可以結合貝葉斯建立中的先驗知識，但是這些學習模型不具備根據需要訪問任何結構化的外部知識的能力。

本文的標的是開發一種深度學習模型，可以根據任務使用註意力機制從知識圖譜中提取相關的先驗知識。本文意在證明，當深度學習模型以知識圖譜的形式訪問結構化的知識時，可以用少量的標記訓練資料進行訓練，從而降低傳統的深度學習模型對特定訓練資料的依賴。

模型 

模型的輸入是一組句中的詞構成的詞向量序列 x=[x_1, x_2,…,x_T]，經過一個 LSTM 單元得到每個詞向量的隱藏層狀態 h_t = f(x_t, h_{t-1})，然後將得到的隱藏層狀態向量加和平均得到 o = 1/T(\sum_{t=1}^{T}h_t)。根據可以計算背景關係向量 C=ReLU(o^T W)。

物體和關係對應的背景關係向量分別與物體和關係的向量相乘，經過softmax操作，算出每個物體和關係的權重 \alpha_{e_i}, \alpha_{r_i}。其中，物體和關係的向量是透過 DKRL 模型（一種結合文字描述的知識圖譜表示學習模型）計算得到。

然後將文字中的所有物體和關係分別根據前面算出的權重進行加權平均，從而得到文字中所有物體和關係的向量 e, r。

根據 TransE 的假設 (h+r≈t)，構建事實元組 F=[e,r,e+r]，將這個輸入 LSTM 模型中進行訓練，得到文字分類的結果。

計算文字中物體和關係表示的原始模型架構如下圖所示：

將計算物體和關係表示的模型與文字分類的 LSTM 模組進行聯合訓練，聯合模型架構如下圖所示。

文字中物體和關係的數目很大，為每一個物體和關係分別計算權重開銷不菲。為了減少註意力空間，本文利用 k-means 演演算法對物體和關係向量進行聚類，並引入了基於摺積的模型來學習知識圖譜物體和關係集的表示。

實驗 

本文使用了 News20，DBPedia 資料集來解決文字分類的任務，使用斯坦福自然語言推理（SNLI）資料集進行自然語言推斷的任務。還使用了 Freebase (FB15k) 和 WordNet (WN18) 作為相關的知識庫輸入。

圖 (a)、圖 (b) 分別表明，在 SNLI 資料集上訓練的準確度和損失函式值。實驗中分別比較 100% 資料集，70% 資料集，以及 70% 資料集 + KG 三種情況輸入的結果。

可以發現，引入 KG 不僅可以降低深度學習模型對訓練資料的依賴，而且還可以顯著提高預測結果的準確度。此外，本文提出的方法對大量的先驗資訊的處理是高度可擴充套件的，並可應用於任何通用的 NLP 任務。

■ 連結 | http://www.paperweekly.site/papers/1909

■ 解讀 | 高桓，東南大學博士生，研究方向為知識圖譜、自然語言處理

動機

傳統的知識圖譜問答主要是基語意解析的方法，這種方法通常是將問題對映到一個形式化的邏輯運算式，然後將這個邏輯表達轉化為知識圖譜的查詢例如 SPARQL。問題的答案可以從知識圖譜中透過轉化後的查詢得到。

然而傳統的基於語意解析的知識庫問答會存在一些挑戰，如基於查詢的方法只能獲取一些明確的資訊，對於知識庫中需要多跳才能獲取的答案則無法回答。舉例來說當問到這樣一個問題“Who wrote the paper titled paper1?，傳統的基於語意解析的方法可以獲得如下陳述句進而可以查到 paper1 這個物體。

但是在上例中，當我們詢問 Who have co-authored paper with author1? 由於缺乏 co-author 這個明確的關係，傳統的方法則無法轉換成合適的查詢陳述句。但實際上，在上例中 author2 則是 author1 在 paper1 中的 co-author。

另一個對於傳統方法的挑戰是，在傳統方法中問句中含有的物體通常都使用很簡單的方法來匹配到知識庫上，例如字串匹配。但實際場景中使用者的輸入可能是透過語音識別轉換而來或者是使用者透過打字輸入而來。因此使用者的輸入很難確保不存在一定的噪聲。在具有噪聲的場景下，問句中的物體則很難直接準確的匹配到知識庫上。

因此本文提出了一個端到端的知識庫問答模型來解決以上兩個問題。 

創新點

▲ 模型框架圖

本文提出的模型如上圖所示，這個模型為了剋服上述所說的問題則將模型分為兩個部分： 

第一部分是透過機率模型來識別問句中的物體。如問句 who acted in the movie Passengers? 我們希望能將 Passengers 識別出來。但由於訓練資料中的物體沒有被標註出來，因此這個識別的物體將被看成一個隱變數。整個識別物體的過程如下： 

1. 先將輸入的問句 q 進行編碼，將問句 q 轉換為一個維度是 d 的向量；

2. 隨後將圖譜中每個物體都轉化為一個向量；

3. 透過 softmax 計算在 q 下圖譜中每個物體是 q 中物體的機率。

該過程在整個模型框架圖的左上部分在上例中輸入問句 The actor of lost Christmas also starred in which movies，透過演演算法在圖中找到 lost Christmas 為問句中對應的物體。

第二部分則是在問答時在知識圖譜上做邏輯推理，在推理這部分的工作中我們給出了上一步識別的物體和問句希望系統能給出答案。由於在整個系統的學習過程中沒有人來標註在問答時使用的推理規則，因此在問答時使用的規則將被學習出來。整個推理過程如下所示： 

1. 透過另一個網路對問句 q 進行編碼，將 q 轉化為一個維度是 d 的向量； 

2. 透過一個 Reasoning graph embedding，對 y 的相鄰物體進行編碼；

3. 透過 softmax 計算透過 y 推理找到物體是問題 q 答案的機率；

4. 如果推理沒有達到限定的步數則傳回 2，將原來 y 相鄰的物體轉換為 y 進而進行推理。

整個推理過程則在上圖的右半部分，該部分分別計算推理時物體是問句答案的機率，最後得到物體 shifty 對於問句 q 機率最大。而機率最大的物體到 y 的路徑則是推理所獲取的路徑為 lost Christmas acted Jason Flemyng acted Shifty。

最後演演算法透過 EM 進行最佳化，整體訓練的思路是希望第一部分和第二部分的概率同時最大。

實驗結果

實驗結果顯示在 Vanilla、NTM 和 Audio 資料集下，演演算法的效果都超過傳統的 QA 系統，同時在需要推理的問題中效能更為顯著。

AAAI 2018

■ 連結 | http://www.paperweekly.site/papers/1913

■ 原始碼 | https://github.com/TimDettmers/ConvE

■ 解讀 | 汪寒，浙江大學碩士，研究方向為知識圖譜和自然語言處理

本文主要關註 KG Link prediction 問題，提出了一種多層摺積神經網路模型 ConvE，主要優點就是引數利用率高（相同表現下引數是 DistMult 的 8 分之一，R-GCN 的 17 分之一），擅長學習有複雜結構的 KG，並利用 1-N scoring 來加速訓練和極大加速測試過程。

背景

一個 KG 可以用一個集合的三元組表示 G={(s,r,o)}，而 link prediction 的任務是學習一個 scoring function \psi(x)，即給定一個三元組 x=(s,r,o) ，它的 score \psi(x) 正於與 x 是真的的可能性。

Model ConvE

這是 ConvE 的整體結構，把輸入的物體關係二元組的 embedding reshape 成一個矩陣，並將其看成是一個 image 用摺積核提取特徵，這個模型最耗時的部分就是摺積計算部分。

為了加快 feed-forward 速度，作者在最後把二元組的特徵與 KG 中所有物體的 embedding 進行點積，同時計算 N 個三元組的 score（即1-N scoring），這樣可以極大地減少計算時間，實驗結果顯示，KG 中的物體個數從 100k 增加到 1000k，計算時間也只是增加了 25%。 

ConvE 的 scoring function：

Loss function 就是一個經典的 cross entropy loss：

Test Set Leakage Problem 

WN18 和 FB15k 都有嚴重的 test set leakage problem，即測試集中的三元組可以透過翻轉訓練集中的三元組得到，舉個例子，測試集中有 (feline, hyponym, cat) 而訓練集中有 (cat, hypernym, feline)，這個問題的存在導致用一個很簡單的 rule-based 模型就可以在某些資料集上實現 state-of-the-art 效能。

作者構造了一個簡單的 rule-based inverse model 來衡量這個問題的嚴重性，並利用消去了 inverse relation 的資料集 WN18RR 和 FB15k-237 來進行實驗，實驗結果如下：

■ 連結 | http://www.paperweekly.site/papers/1914

■ 原始碼 | https://github.com/bxshi/ConMask

■ 解讀 | 李娟，浙江大學博士生，研究方向為知識圖譜和表示學習

本文解決知識庫補全的問題，但和傳統的 KGC 任務的場景有所不同。以往知識庫補全的前提是物體和關係都已經在 KG 中存在，文中把那類情況定義為 Closed-World KGC。從其定義可以發現它是嚴重依賴已有 KG 連線的，不能對弱連線有好的預測，並且無法處理從 KG 外部加入的新物體。

對此這篇文章定義了 Open-World KGC，可以接收 KG 外部的物體並連結到 KG。論文提出的模型是 ConMask，ConMask 模型主要有三部分操作：

1. Relationship-dependent content masking

強調留下和任務相關的詞，抹去不相關的單詞； 模型採用 attention 機制基於相似度得到背景關係的詞和給定關係的詞的權重矩陣，透過觀察發現標的物體有時候在權重高的詞（indicator words）附近，提出 MCRW 考慮了背景關係的權重求解方法。

2. Target fusion

從相關文字抽取標的物體的 embedding（用 FCN 即全摺積神經網路的方法）；這個部分輸入是 masked content matrix，每層先有兩個 1-D 摺積操作，再是 sigmoid 啟用函式，然後是 batch normalization，最後是最大池化。

為避免引數過多，在得到物體名等文字特徵時本文選用語意平均來得到特徵的 embedding 表示。

3. Target entity resolution

透過計算 KG 中候選標的物體和抽取的物體的 embedding 間的相似性，結合其他文字特徵得到一個 ranked list。本文設計了一個 list-wise ranking 損失函式，取樣時按 50% 比例替換 head 和 tail 生成負樣本，S 函式時 softmax 函式。