知識星球
在碎片化閱讀充斥眼球的時代，越來越少的人會去關註每篇論文背後的探索和思考。 在這個欄目裡，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。 點選本文底部的「閱讀原文」即刻加入社群，檢視更多最新論文推薦。
@jingyihiter 推薦
#Neural Sequence Generation
本文是自動化所張家俊老師發表於 TACL 2019 的工作，論文研究的問題是在序列生成任務的解碼過程中如何進行雙向解碼。文章提出一種新的 beam search 演演算法用於雙向解碼，提出了改進 transformer 進行雙向解碼的 BIFT model，在機器翻譯和文字摘要任務上都取得明顯的提升。文中分別給出了詳細的實驗，並附有開源實現程式碼。
▲ 論文模型：點選檢視大圖
@paperweekly 推薦
#Abstractive Summarization
本文來自 NAACL-HLT 2019，論文提出了一個名為多級儲存網路（MMN）的生成式摘要模型，直接用多級摺積儲存器代替基於 RNN 的編碼器。該模型利用摺積來控制多級句子，段落和整個文字中的表示程度。
此外，本文還貢獻了一個大型抽象摘要資料集—Reddit TIFU，包含來自 Reddit 的 120K 個帖子。基於 AMT 的定量評估和使用者研究，本文模型在 Reddit TIFU 和新聞類生成式摘要資料集上均優於當前最先進的抽象概括方法。
▲ 論文模型：點選檢視大圖
@stevewyl 推薦
#Natural Language Understanding
本文來自微軟，論文提出將多工學習（MTL）和語言模型進行結合，提升了 NLU 領域的 GLUE 榜單 1.8%。本文是基於多工學習框架和特徵共享層硬連線的方式實現的，將原有 MT-DNN 模型中的特徵表示層，替換為目前大熱的 BERT。與 BERT 不同的是，微調是在多個任務上同時進行的。
本文是在 BERT 的基礎上比較成功的一次探索，後續可以考慮任務之間的相關性。BERT 和 MTL 的結合可能是接下來的一個研究熱點。 不足之處是沒有重大創新，MTL 的使用比較簡單，有提升空間。
▲ 論文模型：點選檢視大圖
@Hutommy 推薦
#Dialogue Systems
本文是波恩大學和波鴻魯爾大學發表於 CoNLL 2018 的工作，論文基本說明瞭對話系統的類別，而且介紹了 RNN，BiRNN 以及 GRU 的思想。此外，本文結合了外部知識增加了一種機制，提高處理較低頻的字詞的能力。同時結合了領域關鍵字描述編碼，在多回合對話中有所幫助。
▲ 論文模型：點選檢視大圖
@chunhualiu 推薦
#Story Ending Generation
本文是清華大學黃民烈老師組發表於 AAAI 2019 的工作，論文提供了一種如何利用常識知識做故事結尾生成的新思路。作者提出利用增量編碼的方式來對 RocStories 資料集中的 context 進行編碼，並且將從 ConceptNet 中檢索得到的知識進行編碼，利用 multi-source attention 的方式融合到 context 的編碼過程中。
▲ 論文模型：點選檢視大圖
@paperweekly 推薦
#Named Entity Recognition
本文是曼徹斯特大學和豐田工業大學發表於 NAACL 2018 的工作，論文提出了一種由 flat NER layers 動態連續堆疊而成的神經網路模型，每個 flat NER layer 含有一個 BiLSTM 和 CRF 分別進行輸入編碼和標簽預測，整體模型為 Layered-BiLSTM-CRF。
當前 flat layer 將已被識別為物體的 token 經過 LSTM 處理的新表示合併起來，傳遞給下一個 flat layer，從而使得模型能以從內到外的方式，充分利用內部物體編碼資訊識別出外部物體，直到沒有更外部的物體被識別出來。
▲ 論文模型：點選檢視大圖
@xiaolu 推薦
#Visual Question Answering
本文是一篇來自港中文、清華大學等機構的最新 VQA 論文，被 CVPR 2019 接收為口頭報告。Github 上已經有人復現了該工作。
學習多模態之間的高效特徵融合是視覺問答問題的核心，本文提出了一種動態融合多模態特徵的新方法，透過模態內（intra-modality ）和模態間（inter-modality）的資訊流，交替地在視覺和語言模態之間傳遞動態資訊。它可以穩健地捕獲語言和視覺域之間的高層次語意互動，從而顯著提高視覺問答的效能。
本文還發現，基於其它模態的約束，一種模態內的註意力可以動態調節標的模態的註意力。本文模型在 VQA2.0 資料集上實現了當前最好的效果。
▲ 論文模型：點選檢視大圖
@vimjian 推薦
#6D Object Pose Estimation
本文是斯坦福和上海交大發表於 CVPR 2019 的工作，論文提出了一種可單獨處理兩個資料源的異質架構—DenseFusion。實驗表明，DenseFusion 在 YCB-Video 和 LineMOD 兩個資料集上的表現都優於當前最先進的方法。此外，研究者還將該方法應用於真實的機器人上，使其可以根據估計的姿態來抓取和操縱標的。
▲ 論文模型：點選檢視大圖
@Flawless1202 推薦
#Object Detection
本文是中山大學和華為諾亞方舟實驗室發表於 NeurIPS 2018 的工作，論文提出了大尺度標的檢測的新思路，透過顯性知識和隱性知識模組，將先驗資訊融合到神經網路中以豐富特徵，取得了 SOTA 的效果。
▲ 論文模型：點選檢視大圖
@paperweekly 推薦
#Pose Transfer
本文來自特倫託大學和Snap，論文研究的問題是將影片中的物體動作遷移到一張圖片上，然後基於這張圖片和指定動作生成一個新影片。
作者透過一個深度框架夠將外形和運動資訊解耦，該框架由三個模組組成：1）關鍵點檢測器，可以無監督訓練提取物件關鍵點；2）深度運動預測網路，可從稀疏關鍵點生成密集的熱圖（heatmaps），從而更好地編碼運動資訊；3）運動遷移網路，該網路基於運動熱圖和從輸入影象提取的外形資訊去合成輸出幀。
▲ 論文模型：點選檢視大圖
@alichen 推薦 #Robotics 本文是普渡大學發表於 ICRA 2019 的工作。這篇文章提出了 Flapping Wing Micro Air Vehicles (FWMAVs) 開源模擬平臺，並比較了模擬和實驗測得的 force map，開環控制響應及閉環控制響應，發現模擬結果和實驗結果非常相近。 和其他機器人模擬相比（例如 legged robots, ground vehicles），FWMAVs 模擬需要考慮在高頻的 flapping motion 下，周圍空氣動力學的不穩定性，對系統進行建模難度更大。這個平臺可用於機器人設計、控制與最佳化的研究，並與和 OpenAI Gym 環境完全相容，利於今後強化學習和飛行控制相結合的研究。 ▲ 論文模型：點選檢視大圖
@paperweekly 推薦 #Collaborative Filtering 本文是 Netflix、MIT 和 Google AI 發表於 WWW 2018 的工作，論文將變分自編碼器（VAE）擴充套件到協同過濾以進行隱式反饋，透過非線性機率模型剋服線性因子模型的侷限。其次，作者引入了具有多項式似然（multinomial likelihood）的生成模型，並使用貝葉斯推斷進行引數估計。 作者基於 VAE 提出了一個生成模型 VAE_CF，並針對 VAE 的正則引數和機率模型選取做了適當調整，使其在當前推薦任務中取得最佳結果。 ▲ 論文模型：點選檢視大圖
@zhangjun 推薦 #Bayesian Neural Network 本文是 UCLA 和 UC Davis 發表於 ICLR 2019 的工作，論文提出了一種新的對抗防禦方法，結合了貝葉斯神經網路（BNN）和對抗訓練的優勢，獲得了不錯的效果。其中，BNN 將每個權重引數視作一個隨機變數，在預測時相當於一個無限個數的整合模型，實驗證明只依靠 BNN 並不能做好防禦，結合對抗訓練才會提升模型的防禦能力。 點評：本文沒有提出原創的方法，而是結合兩種現有的方法進行了組合測試，取得了不錯的效果。 ▲ 論文模型：點選檢視大圖
@RememberMe 推薦 #Financial Time Series 本文提出了一種確定股票價格時間序列中最佳 buy, sell, hold 時間點的股票交易模型，作者結合了兩種已有方法 GA+DMLP (Genetic Algorithm and Deep Multi Layer Perceptron)。 具體思路：已有 1）技術分析指標（technical analysis indicator）作為深度網路模型的輸入特徵來做時間序列預測；2）用於技術分析指標尋優的進化演演算法。本文結合二者，將進化演演算法最佳化後的技術分析指標作為深度網路的輸入特徵，從而嘗試使深度網路從進化演演算法的最佳化中學習判斷最佳的進出點。 ▲ 論文模型：點選檢視大圖
@chlr1995 推薦 #Network Pruning 本文是圖森發表在 ECCV 2018 的工作，論文在結構稀疏化的基礎上提出了一種更簡潔的方式，達到粗粒度的剪枝（直接剪枝整個 residual function/aggregated residual block 中的一個 group），透過引入一個結構縮放因子 lambda，在訓練過程中對 lambda 施加一個 L1 正則化，訓練結束後，剪掉 lambda=0 的塊或 group，達成網路剪枝的效果。 ▲ 論文模型：點選檢視大圖
