在過去十幾年，推薦系統一直是資料挖掘領域和各大網際網路公司持續關註的一個熱點技術。其核心目的在於根據使用者的行為挖掘出使用者的興趣並由此對使用者提供精準的推薦。 

傳統的推薦系統主要依賴於協同過濾技術從使用者對商品的歷史打分行為中學習使用者個性化的品味。雖然基於協同過濾的推薦系統取得了不錯的推薦效果，但受限於使用者行為資料的稀疏性等原因，其在推薦效能上存在比較明顯的瓶頸。

近年來，基於評論的推薦系統已經引起了學術界和工業界的廣泛關註。其核心思想在於根據使用者（商品）的評論構建使用者（商品）評論檔案（user/item document），並從對應的使用者檔案和商品檔案中挖掘出使用者的興趣（商品的特徵）以進一步輔助推薦。

這類同時利用使用者打分資料和評論資料來學習使用者-商品關係的推薦模型取得了比協同過濾模型更好的效果。其主要原因在於，作為使用者評分資料以外另一個重要的使用者生成內容，評論資料不僅能緩解使用者-商品互動資料的稀疏性問題，並且能為推薦系統的推薦行為提供一定程度上的可解釋性。 

雖然大部分的基於評論的推薦系統被證明能有效緩解推薦領域中使用者-商品互動資料稀疏的問題，它們自身仍然存在一些不足： 

1. 評論資料本身面臨的稀疏性問題：大多數使用者在完成網上購物/評分後，並不會留下相應的評論來表達他們的觀點。 

2. 使用者的評論不能完整反應使用者的感受：雖然平臺並不對評論的字數作出限制，但大多數使用者留下的評論字數較少，無法完整表達出使用者的想法。 

為解決上述問題，本文提出了一個深度推薦模型——PARL。PARL 嘗試從同好使用者（like-minded user）所寫的輔助評論（auxiliary reviews）中提取語意特徵，來提升現有的基於評論的深度推薦模型在分數預測任務上的預測精度。我們認為同好使用者所做出的評論能夠輔助模型對標的使用者進行更好的畫像，進而提升推薦系統的最終效果。

從圖 1 可以看出，兩位 IMDB 的使用者“Shawn”和“Jayden”均對“復仇者聯盟 3”給出了十分的滿分。雖然他們在真實世界裡可能互為陌生人，但他們對“復仇者聯盟 3”所給出的評價均有利於我們對另一個使用者做出更好的畫像（例如：根據 Jayden 的評論，我們可以合理推測 Shawn 也會喜歡“蟻人”這部電影）。

模型

模型第一步是為每個使用者構建對應的輔助評論檔案（auxiliary document）。該輔助評論檔案，由此使用者的同好使用者所寫的評論所組成。輔助評論檔案的構造主要遵循三個原則： 

• 檔案不能被熱門商品的評論所主導； 

• 不同的使用者有不同的打分習慣； 

• 大多數使用者傾向於給高分。 

所以在構建檔案時，我們將和使用者對同一商品有相近打分行為的使用者都當作同好使用者，並傾向於選擇和標的使用者打相同分數或者比標的使用者打分高的使用者所寫的評論作為輔助評論。對於使用者所有的打分行為，我們都隨機挑選一位同好使用者所寫的輔助評論加進輔助評論檔案中。 

完成對輔助評論檔案的構建後，如圖 3 所示，PARL 利用四層網路結構來從輔助檔案中提取語意特徵：1）摺積層（Convolution layer）。2）抽象層（Abstracting layer）。3）過濾層（Filtering layer）。4）融合層（Fusion）。

摺積層

給定一篇輔助評論檔案，摺積層先透過一個對映矩陣把檔案中的單詞轉換成對應的詞向量，從而得到詞向量矩陣。得到後，PARL 利用一層摺積操作來捕捉檔案中的短語和片語資訊，並且將矩陣 D 轉換成帶背景關係資訊的矩陣 C：

其中 C 裡面的每一列向量 c 都建模了短語的背景關係資訊。 

抽象層

由於輔助評論檔案裡麵包含的評論內容並不是標的使用者本人所寫，所以一個比較合理的假設是：輔助評論檔案中只有部分觀點可以有效反映標的使用者的興趣。所以在得到矩陣 C 後，我們會再利用一層基於最大池化操作的摺積神經網路（max-pooling based CNN）來進一步抽像輔助評論檔案中提取出來的語意特徵：

其中，是經過抽象後從輔助評論檔案中得到的初級語意隱向量。在得到後，我們會讓它經過一層非線性變化的全連線層，從而得到最終的語意表達向量：

過濾層

一般來說，可以被認為是從輔助評論檔案中提取出來的語意特徵，並可作為額外的資訊用以輔助其他基於評論的推薦系統，以獲得更好的分數預測效果。但由於使用者對不同的商品會體現出不一樣的興趣點，並最終影響使用者對不同商品所打的分數。

為了有針對性地提取對標的使用者-商品對有效的語意特徵，從而更好地預測標的使用者對標的商品的評分。過濾層透過結合高速網路（highway network）和門機制（gated mechanism）來進一步最佳化所攜帶的語意資訊。 

首先，PARL 用一層高速網路來最佳化所攜帶的資訊流：

透過高速網路後，為了過濾無效特徵，PARL 利用門機制，結合已經得到的使用者表達和商品表達來最終選擇向量所攜帶的語意資訊：

其中, 是基礎的基於評論的推薦模型（本文中是 DeepCoNN）分別從使用者評論檔案（user document）和商品評論檔案（item document）中提取出的使用者向量和商品向量。而被認為是最終的從輔助評論檔案中提取出來的特徵向量，其攜帶針對標的使用者-商品對的語意特徵資訊。

融合層

在學到後，每一個使用者 u 會關聯兩個向量：從使用者評論檔案中學出的隱向量和從使用者輔助評論檔案中提取出的隱向量。為了完整地刻畫使用者，我們利用單層的全連線層把它們合併成一個向量，得到使用者的最終表達如下：

然後 PARL 把和拼接起來：，得到使用者和商品的聯合表達後，把它送進分解機（Factorizaiton Machine）來實現分數預測的功能。

最後，我們基於回歸的平方損失函式來最佳化整個模型：

由於和是分別從兩份異構的檔案中提取出來的語意特徵向量，它們所攜帶的特徵具有不相容性。為了消融這種不相容，我們給標的函式設定了第二項，並利用 λ 引數來控制兩個向量之間的相容程度。

實驗結果

本文在五個資料集上做了實驗來驗證模型的有效性。同時為了驗證 PARL 是否能有效改善基於評論的推薦系統在評論資料稀疏時對分數的預測精度，本文把使用者檔案根據長度劃分成不同的使用者群並分別進行了分數預測的實驗。最後，本文透過一個視覺化實驗來說明 PARL 具有從輔助檔案中提取有效語意特徵的能力。

表 2 列出的是各推薦模型在不同資料集的分數預測任務上的總體表現。可以看出：本文所提出的 PARL 模型的表現更好。同時 DeepCoNN-Aux 模型是在把使用者輔助檔案拼接在使用者檔案後嘗試透過 DeepCoNN 模型來提取額外的語意特徵。

但根據 DeepCoNN-Aux 和 DeepCoNN 模型的效果對比來看，在分數預測的精度上該操作並沒有取得明顯的提升。這一對比也說明瞭利用額外網路結構來單獨提取輔助檔案中包含的語意特徵的必要性。

另外，為了驗證 PARL 是否能透過利用輔助檔案改善基於評論的推薦系統在評論資料稀疏時的表現。作者根據使用者評論檔案的長度把使用者劃分為 5 組。我們可以發現在 Beer 和 Office Products 資料集的大多數分組上，PARL 都能達到最低的預測誤差。因此說明 PARL 可以透過利用輔助評論檔案更好地提高分數預測的精確度。另外隨著檔案長度越長，PARL 帶來的效果提升也更明顯。

表 3 是本文對 PARL 模型做的消融實驗的結果，可以觀察到：每個元件層都對提升分數預測的精度起到了正面的影響。

表 4 展示了輔助檔案中和標的評論相關聯的語意特徵之間的視覺化。可以看出，當輔助檔案與當前標的的評論在語意上關聯度越大，他對分數預測的精確度就會越好（排名就會越高）。也在一定程度上展示了 PARL 模型具有有效地提取使用者-商品對相關的語意特徵的能力。

總結

本文提出一個基於深度學習技術的推薦模型 PARL。PARL 可以透過從同好使用者所寫的輔助評論中提取有效的語意特徵來最佳化基於評論的深度推薦模型在分數預測任務上的效能。PARL 也是第一個嘗試解決文字稀疏性的推薦工作。

未來，我們嘗試利用註意力機制來更有針對性地挑選輔助評論檔案，併進一步提升推薦系統的效能和可解釋性。

關於作者

吳黎兵，武漢大學計算機學院教授。主要研究方向為大資料、無線網路、網路管理、分散式計算等。近年來主持國家自然科學基金、湖北省創新群體、湖北省科技支撐計劃、湖北省自然科學基金重點專案和麵上專案、武漢市科技攻關、國家科技部支撐計划子課題、中國博士後科學基金特別資助、武漢市軟體發展基金等專案的研究工作，曾參加國家863計劃引導專案、可信軟體重大研究計劃等研究工作。目前已發表160餘篇學術論文，其中110多篇被SCI/EI收錄，曾獲第十二屆中國計算機網路與通訊學術會議優秀論文獎。獲得ICoC2016中國網際網路學術會議Best Paper獎。擔任雜誌IEEE TVT，IEEE Transactions on Cloud Computing，IEEE Transactions on SMC等國際期刊審稿人。

全聰，武漢大學計算機學院博士研究生。主要研究方向為推薦系統，自然語言處理等。

李晨亮，武漢大學國家網路安全學院副教授，碩導，武漢大學珞珈青年學者。研究興趣包括資訊檢索、自然語言處理、機器學習和社交媒體分析，在SIGIR、TOIS、TKDE、ACL、AAAI、CIKM相關領域權威會議及期刊發表論文30餘篇。擔任中國中文資訊學會青年工作委員會委員、社交媒體專委會委員、資訊檢索專委會委員。長期擔任相關領域國際權威學術期刊審稿人和重要學術會議 程式委員會委員(TPC)。擔任資訊檢索國際權威學術期刊JASIST的編委。獲SIGIR2016 年Best Student Paper Award Honorable Mention；SIGIR2017 年Outstanding Reviewer Award。

姬東鴻，武漢大學國家網路安全學院教授，博士生導師，武漢大學珞珈特聘教授。先後在武漢大學和牛津大學獲計算機和語言學博士學位。主要研究方向為自然語言處理、深度學習、大資料平臺（智慧醫療、智慧建築、智慧教育等）和對話機器人等。近年來主持省部級以上專案近20項，在AAAI，EMNLP，COLING等國際頂級會議與期刊發表論文40多篇。

主辦單位