NLP、CV、ML全改寫，這份私藏論文清單你一定要看看-知識星球

在碎片化閱讀充斥眼球的時代，越來越少的人會去關註每篇論文背後的探索和思考。

在這個欄目裡，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點選本文底部的「閱讀原文」即刻加入社群，檢視更多最新論文推薦。

這是 PaperDaily 的第 128 篇文章

@xwzhong 推薦

#Sequence Modeling

本文來自斯坦福大學和 Google Brain，論文主要的想法是深化句子層面的語意表徵，跟近期的 BERT 有相通之處，但使用的資料量相對於 BERT 少很多。針對有監督任務中資料量少的情況，作者提出使用半監督的方式強化句子層面的表示。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2749

原始碼連結

https://github.com/tensorflow/models/tree/master/research/cvt_text

@paperweekly 推薦

#Sentiment Classification

本文是香港中文大學、阿裡巴巴和騰訊發表於 AAAI 2019 的工作。傳統的基於評論標的的情感分析（Target/Aspect-Based Sentiment Analysis, TBSA）通常涉及到評論標的抽取和標的情感分類兩個子問題，它們作為獨立的任務在近幾年受到了研究者的廣泛關註。然而，孤立地研究這兩個子任務與完整的基於評論標的的情感分析任務是有一定衝突的（例如：標的情感分類任務假設評論標的是給定的但是在 TBSA 任務中評論標的是未知的）。

因此，本文提出了一種端到端的方案同時解決評論標的抽取和標的情感預測問題。作者將完整的 TBSA 問題定義為一個資訊抽取的任務並仔細設計了標簽集合，使得評論標的資訊和情感資訊能夠包含在一個標簽序列中。

除此之外，作者還提出了一個新的堆疊式 RNN 來解決 TBSA 問題。這個模型包含了兩層堆疊的 RNN，上層的 RNN 用於解決完整的 TBSA 問題（預測 TBSA 的標簽序列），下層的 RNN 負責檢測評論標的的邊界。

為了充分利用評論標的的邊界資訊，本文提出了一個元件顯式地把下層 RNN 提取的邊界資訊加入到 TBSA 的序列決策中。在序列預測過程中，作者也嘗試加強當前詞和過去一個時刻的詞的關係，來緩解同一個評論標的短語內情感標簽不一致的問題。

作者在 3 個標準資料集上進行了實驗，結果表明本文模型一致優於基準模型和現有的序列標註模型。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2718

原始碼連結

https://github.com/lixin4ever/E2E-TBSA

@jingyihiter 推薦

#Language Model Pretraining

本文是來自 Facebook AI Research 的最新工作，論文針對的是跨語言的語言模型預訓練任務。本文方法在無監督機器翻譯任務上提升 9 個 BLEU 值，在有監督機器翻譯上也得到超過 4 個 BLEU 值的提升。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2790

@aforever 推薦

#Word Embeddings

本文是華盛頓大學和 FAIR 合作的論文，透過最大化詞對與其背景關係的點間互資訊（pointwise mutual information）來預訓練詞對錶示（word pair representations）。這鼓勵模型學習更有意義的詞對錶示，而不是使用語言建模等更通用的標的。在 SQuAD 和 MultiNLI 等要求跨句推理的任務中，預訓練表示是有效的。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2745

@paperweekly 推薦

#Text Summarization

本文是北京大學、騰訊、京東和阿裡巴巴發表於 AAAI 2019 的工作。在基於神經網路的生成式文字摘要研究領域中，傳統的基於序列到序列的模型對檔案主題的建模經常出錯。為瞭解決這個問題，本文提出了讀者感知的摘要生成任務，它利用讀者的評論來幫助生成符合檔案主題的更好的摘要。

與傳統的生成式摘要任務不同，讀者感知型摘要面臨兩個主要挑戰：1）評論是非正式的、有噪音的；2）聯合建模新聞檔案和讀者評論具有一定挑戰性。

為瞭解決上述挑戰，作者設計了一個基於對抗學習的讀者感知型摘要生成模型（RASG），它由四個部分組成：1）基於序列到序列的摘要生成模組；2）讀者註意力建模模組來捕捉讀者關註的主題；3）督導建模模組來描述生成的摘要和讀者關註主題之間的語意差距；4）標的跟蹤模組來產生每個生成步驟的標的。

督導和標的定位模組以對抗學習的方式來指導框架的訓練。作者在自己的文摘資料集進行了大量實驗，結果表明 RASG 在自動評測和人工評測方面都取得了最好的效果。實驗結果還證明瞭本文框架中每個模組的有效性。此外，作者還釋出了一個大規模資料集供進一步研究。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2716

資料集連結

http://t.cn/EAH5JxS

@priver 推薦

#Named Entity Recognition

本文是蘇州大學發表於 COLING 2018 的工作，作者嘗試解決了遠端監督存在的兩類問題：1）錯標；2）漏標。對於錯標的情況，作者使用了強化學習的機制實現了一個 instance selector。對於漏標的情況，作者考慮了所有可能的 label 序列，再對他們進行打分，從而給出最有可能的序列結果，而不是武斷地就標記為 O。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2769

原始碼連結

https://github.com/rainarch/DSNER

@figo 推薦

#Super-Resolution

本文出自小米原班人馬（上一篇是 MoreMNAS：https://www.paperweekly.site/papers/2740），屬於目前很火的 AutoML Neural Architecture Search。

論文基於彈性搜尋（宏觀+微觀）在超解析度問題上取得了令人震驚的結果。在相當的 FLOPS 下生成了多個模型，結果完勝 ECCV 2018 明星模型 CARNM（乘加數引數數量少，PNSR/SSIM 指標高，文中稱 dominate），這應該是截止至 2018 年可比 FLOPS 約束下的 SOTA（涵蓋 ICCV 2017 和 CVPR 2018）。而達到這樣的效果，論文基於一臺 V100 用了不到 3 天時間。

此外，論文還給出了幾個前向模型。要知道上一篇論文中他們初步結果是擊敗 CVPR 2016，才半個月時間就提升這麼大，這也進一步驗證了 AutoML NAS 技術的強大和可怕。需要指出的是，該項技術具有一定的普適性，理論上可以應用於任何監督學習，值得關註和學習。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2786

原始碼連結

https://github.com/falsr/FALSR

@paperweekly 推薦

#Person Re-identification

本文來自中科院自動化所和地平線，論文驗證了部件對齊在跨域重識別中起著重要的作用。透過強化模型的對齊，作者透過提高模型的泛化效能來提升模型直接跨庫測試的效能；另一方面，本文提出的部件對齊模型可以很自然地利用標的域無標簽資料實現領域自適應，使得模型可以適配標的域。

作者在 Market1501、CUHK03、DukeMTMC-reID 和 MSMT17 四個目前最大的行人重識別資料庫上證明瞭本文方法的有效性，並且取得了 SOTA 結果。同時，出於完整性，論文還透過實驗證明瞭和現有跨域方法的互補性。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2736

原始碼連結

https://github.com/huanghoujing/EANet

@paperweekly 推薦

#Object Detection

本文是密歇根大學發表於 ECCV 2018 的工作。當前的標的檢測演演算法大多基於 Anchor，引入 Anchor 容易導致正負樣本不均衡和引入更多超引數。本文在不採用 Anchor 的前提下取得了不錯效果，是一篇非常有意思的探索工作。

具體來說，論文借鑒了人體關鍵點檢測的思路來做標的檢測，透過檢測標的框的左上角和右下角兩個關鍵點就能得到預測框。其次，整個檢測網路訓練是從頭開始的，且不基於預訓練的分類模型，這使得使用者能夠自由設計特徵提取網路，不用受預訓練模型的限制。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2771

原始碼連結

https://github.com/princeton-vl/CornerNet

@WHUSteven 推薦

#3D Reconstruction

本文是普林斯頓、Google 和 MIT 發表於 CVPR 2018 的工作，論文使用無監督訓練的方法基於 3DMM 進行人臉三維重建。作者主要使用了基於編碼器和解碼器模型，創新性地將人臉識別網路引入訓練的損失函式，使得生成的 3D 人臉能很好地保留了輸入圖片的人臉個體特徵。

該模型旨在擬合形狀和紋理，並沒有學習姿態表情和光照。演演算法的編碼器接受影象作為輸入，輸出用於 3DMM 模型的引數。解碼器接受引數後合成 3D 人臉。

為了使網路不僅能保持個體資訊，還能生成自然真實的人臉，作者提出了 3 個新的損失函式，即批分佈損失（batch distribution loss）、迴環損失（loopback loss）和多視角身份損失（multi-view identity loss）。批分佈損失可使每個批的統計量與 3DMM 的統計量一致。迴環損失可保證生成的 3D 人臉模型的 2D 成像圖片重新進入編碼器得到的引數和原圖的引數儘量一致。多視角身份損失能使得模型學習到獨立於觀察角度的個體特徵。

實驗結果說明，模型不僅僅可以生成與輸入影象高度相似的 3D 人臉，而且生成的人臉獨立於輸入的表情和姿態，甚至被遮擋的人臉也可以達到不錯的生成效果。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2747

原始碼連結

https://github.com/google/tf_mesh_renderer

@whyguu 推薦

#Active Learning

本文提出了兩種訓練資料集抽取子集的方法 Facility-Location & Disparity-Min。透過抽取的子集來初步表示整個樣本集可以加速網路超引數的最佳化時間。透過從大量無標簽樣本中抽取資料減少標註成本。此外，文章還提供了一種貪婪搜尋演演算法來減少搜尋的時間。做影片或超大樣本學習的同學可以關註一波，看是否有用。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2742

@zhangjun 推薦

#Bayesian Deep Learning

本文的亮點在於用 Bayes By Backprop 演演算法對 bayesian CNN 的每個引數分佈進行了學習，不同於 Gal 15 年提出的 MC Dropout 的方法，是一種基於貝葉斯後驗推斷的方法。

在此之前，Bayesian MLP 和 RNN 都已有了相應的變分近似求解方法，本文針對 CNN 的摺積層進行了相應的改進，取得了不錯的效果。相比於 Gal 的 MC Dropout 優勢不明顯，而 MC Dropout 的計算效率則快非常多。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2731

原始碼連結

https://github.com/felix-laumann/Bayesian_CNN

@QAQ 推薦

#Neural Networks

本文是 Uber AI Labs 發表於 ICLR 2019 的工作，論文提出了一種受生物學啟發的訓練網路自我修改權重的方法，並且提出了一種可靠的可塑性框架，該框架已經在各種監督學習和強化學習任務上提高了效能，可透過梯度下降進行訓練，為大規模自最佳化神經網路開闢了新的研究方向。實現了學習如何學習（Learning to learn）的網路的基礎。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2774

@paperweekly 推薦

#Recommender Systems

本文來自 CMU。針對協同過濾中的冷啟動問題，作者提出了一種基於 DQN 的問卷調查法來學習如何在電影推薦系統中處理使用者冷啟動。DQN 生成問卷問題，由冷啟動使用者來回答。根據使用者對前一個問題的響應，DQN 將動態生成後續問題。一旦問卷調查完成，問答資訊將被傳遞到多層感知器中（MLP），並生成一個預測的 user embedding。一旦有了 user embedding 和電影 embedding，系統就可以對電影評級進行建模。

▲ 論文模型：點選檢視大圖

論文連結

https://www.paperweekly.site/papers/2691

@wwwangzhch 推薦

#Memory Networks

本文是北京大學、IBM 與佐治亞理工發表在 AAAI 2019 上的論文，作者將電子病歷資料（Electronic Health Records, EHR）與藥物相互反應資料（Drug-Drug Interaction, DDI）透過圖摺積網路轉換成 Memory Bank，並結合病人的歷史病歷記錄生成 Dynamic Memory，動態調整損失函式以使得系統在較高精確度與較低 DDI rate 之間權衡，在 MIMIC-III 資料集上使用雅卡爾相似繫數、Average Precision、Average Recall 等多種評價指標均取得了最高的推薦準確率與極低的 DDI rate（僅次於邏輯回歸）。