在碎片化閱讀充斥眼球的時代，越來越少的人會去關註每篇論文背後的探索和思考。

在這個欄目裡，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點選本文底部的「閱讀原文」即刻加入社群，檢視更多最新論文推薦。

這是 PaperDaily 的第 80 篇文章

本期推薦的論文筆記來自 PaperWeekly 社群使用者 @wutong_SEU。DeepMind 提出了一個全新閱讀理解資料集 NarrativeQA，機器需要面對的是一整部書籍或電影劇本，在沒有限定答案範圍的前提下，機器需要從文字中找到最相關的段落並且總結出問題的答案。

如果你對本文工作感興趣，點選底部閱讀原文即可檢視原論文。

關於作者：吳桐，東南大學碩士生，研究方向知識圖譜。

■ 論文 | The NarrativeQA Reading Comprehension Challenge

■ 連結 | https://www.paperweekly.site/papers/1397

■ 原始碼 | https://github.com/deepmind/narrativeqa

論文導讀

相比於資訊抽取，閱讀理解任務要求機器能夠整合篇幅較長的背景關係資訊（如整篇文章）並能夠對事件進行推理。但是現階段的閱讀理解任務仍然能夠以一種投機取巧的方法，利用淺層的語言形態學資訊（如問答對之間的文字相似性以及整個文章內的統計詞頻）從問題中直接找到關於答案的蛛絲馬跡。

因此文中提出了一個新的閱讀理解資料集，旨在迫使機器必須通篇閱讀書籍或者電影指令碼（遠遠長於一篇文章）才能回答問題。該資料集更側重於發掘機器閱讀理解對於含蓄的敘述的理解能力而不是基於淺層的樣式匹配就能夠直接得到答案。

工作動機

人在閱讀的時候往往通讀全篇，並不一定能夠記住書中的每一點細節，但是一定能夠註意到書中有哪些關鍵的物體，並且記住這些物體的關係是怎麼樣的。

但是，現在的閱讀理解任務的 benchmark 資料集並不能夠針對這點進行測評，相反，多數問題可以透過 question 和 paragraph 之間的 pattern match 得到答案。

因此 DeepMind 提出了這個新的資料集 NarrativeQA，機器需要面對的是一整部書籍或電影劇本，在沒有限定答案範圍的前提下，機器需要從文字中找到最相關的段落並且總結出問題的答案。該任務十分具有挑戰性。

那麼，這個新的資料集理論上應該具備以下特徵：

資料量足夠大，用以滿足神經網路的訓練需求；
問題和答案最好都是自然語言，且答案最好和多個片段相關或者需要從一大段話中總結出來；
標註者要自己總結答案，從更高的層面理解文章中物體之間的關係，而且最好使用個性化的語言描述而不是從文中直接擷取答案；
從判別器的角度上講，最好能夠從答案的流暢性和正確性等兩個角度進行判斷；
資料量需要控制在對於當前既有的模型來說十分困難，但仍處在人可以解決的範圍內。

資料集分析

資料集的問答對中主要會出現 Title，Question，Answer，Summary snippet，Story snippet 等欄位，其中 title 確定了問答對的出處，即圍繞著哪本書或劇本來進行閱讀。其中相關片段由人工標註得出，但並不建議在訓練中作為標註語料使用，且最終的測試集中不會出現該類片段，需要程式自行設計文字段落的定位方案。