關於作者：Britin，中科院物理學碩士，研究方向為自然語言處理和計算機視覺。

■ 論文 | Chains of Reasoning over Entities, Relations, and Text using Recurrent Neural Networks

■ 連結 | https://www.paperweekly.site/papers/1521

■ 原始碼 | https://rajarshd.github.io/ChainsofReasoning

論文動機

使用神經網路進行更為複雜的推理以增加 KB 中的條目正在引起廣泛關註，這麼做的一個重要原因是為了同時支援 look-up 型別的問答系統以及從 entity 和 relation 中間接推理到答案的問答系統。

KB 通常是非常不完整的，推理可以完善那些缺失的資訊。見下圖：

已有的方法大多是基於 symbolic 和 logical 的推理系統，比如 Universal Schema，它學習 relation type 的向量表示，包括結構化 KB 中的以及自然語言文字中的關係表示，其中的 matrix completion 機制可以進行簡單的推理，但只能對單條 evidence 進行操作，比如從 microsoft-located-in-seattle 推理出 microsoft-HQ-in-seattle。

更高階的推理是從從句中得到包含三個或更多物體的 multi-hop 的知識庫圖路徑。比如可以從 Melinda–spouse–Bill–chairman–Microsoft–HQ-in–Seattle 得到 Melinda–lives-in–Seattle。

這種推理通常用 path ranking algorithm 進行。RNN 沿著任意長度的路徑組成了每條邊關係的 embeddings，輸出一個表示路徑兩端物體之間關係的向量表示。但是這些方法只能用於小型或人造資料庫上，並且對於許多情況下來說還是不準確不實際。 

本文提出的方法則可以對大型的多語意 KB 進行推理，本文對基於 RNN 的從大規模 KB 中進行推理進行了精度和可操作性的改善：

• 之前的工作只推理了 relation，沒有推理組成路徑上節點的 entities，本文對關係型別，物體和物體型別進行了聯合學習和推理。

• 本文使用了 neural attention 機制對多條路徑進行推理。

• 之前的方法最大的問題是要為每一個需要預測的 relation-type 單獨訓練模型。而本文只訓練一個 RNN 來預測所有的 relation type。另外，由於訓練的 multi-task 特性，共享了 RNN 引數，精度也顯著提高了。

模型介紹

本文首先介紹了基本的 Path-RNN 的架構，本文的一切改進都是基於該模型的。

Path-RNN 的輸入是兩個物體之間的路徑，輸出推理出的二者之間的新關係。透過將關係之間的連線用 RNN 表示來進行推理。路徑的表示是在處理完路徑中所有的關係之後由 RNN 的最後的隱狀態給出的。 

架構如圖所示，對每一條可能的路徑用一個 RNN 來表示，將改路徑每一個節點上的 entity 和連線的 relation 進行向量化後輸入一個 RNN 單元，整條路徑的最終向量表示就是 RNN 最後一個單元輸出的 Hidden state，將改路徑的向量表示和要預測的關係的向量表示求相似度，相似度最高的就是標的路徑。

這個模型的缺點是每一個 relation type 都要訓練一個新的模型，變數無法共享，數量巨大。另外只選擇相似度最高的那一個路徑可能會忽略掉其他路徑所隱含的資訊，還造成了計算浪費。

本文對這個模型做出的改進有：

• 本文共享了 relation type 的表示以及 RNN 的 composition matrices，這樣同樣的訓練資料變數就大大減少了。訓練模型的損失函式用的是 negative log-likelihood。

• 分別用 Top-k，average 和 LogSumExp 方法為每一條路徑的相似度評分加上權重，這樣就考慮了每一條路徑包含的資訊，而不僅僅是評分最高的那條。

實驗結果

本文在一個大型的 freebase 物體和關係資料集以及 clueweb 文字資料集上做了驗證。

和先前最好的結果相比，本文在 MAP 上提高了 25%。另外本文還單獨設計了一個驗證來驗證在同一個 RNN 中共享 strength 的效果，結果證明在訓練過程中一些出現頻率較小的關係也提高了 54% 的精度。

本文還在另一個資料集上做了驗證：chains of resoning in WordNet。和目前最好的結果相比，在平均分位數上的錯誤率減少了 84%。

文章評價

本文提出的模型使用單個 RNN 就可以在多種 relation types 之間進行推理。並且利用了多條可能路徑以及路徑間所有物體和關係的綜合資訊，這些資訊在之前的方法中都是忽略的，極大程度的提高了精度。但是由於資料的稀疏性，在處理較長的文字特徵時效能就會減弱。

本文由 AI 學術社群 PaperWeekly 精選推薦，社群目前已改寫自然語言處理、計算機視覺、人工智慧、機器學習、資料挖掘和資訊檢索等研究方向，點選「閱讀原文」即刻加入社群！

#榜 單 公 布 #

2017年度最值得讀的AI論文 | NLP篇 · 評選結果公佈

2017年度最值得讀的AI論文 | CV篇 · 評選結果公佈

  我是彩蛋