知識星球
在碎片化閱讀充斥眼球的時代，越來越少的人會去關註每篇論文背後的探索和思考。 在這個欄目裡，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。 點選本文底部的「閱讀原文」即刻加入社群，檢視更多最新論文推薦。
@jingyihiter 推薦
#Text Generation
本文來自國防科大和微軟亞研院，文章提出 pre-training-based 的 encoder-decoder 框架，encoder 採用 BERT 將輸入序串列示為 context 向量，decoder 分為兩階段：第一階段採用 transformer-based 解碼生成偽輸出序列，第二階段對偽輸出序列進行 mask 送入 BERT 表示，將輸入序列與偽輸出序列聯合，解碼預測輸出序列。
文章首次將 BERT 應用於文字生成任務，在 CNN/Daily Mail 和 New York Times 資料集上達到 SOTA 的結果。
▲ 論文模型：點選檢視大圖
@QAQ 推薦
#Language Model
本文介紹了來自 OpenAI 的新語言模型 GPT-2，其在文字生成任務上達到接近人類水平，可生成論文（並編造資料與取用使論證看上去合理）、續寫幻想故事。在多個資料集上碾壓當前結果。在未經專門訓練的情況下實現翻譯與閱讀理解。不足是會出現重覆文字與世界建模失敗（如在水下發生火災）。
▲ 論文模型：點選檢視大圖
@rico93 推薦
#Attention Mechanism
本文來自康奈爾大學和 Facebook AI Research，論文提出的 lightweight convolution 模型相對於 transformer 來說能達到一致的水平，但只需要更少的運算元量，運算速度比 Transformer 快 20%。
▲ 論文模型：點選檢視大圖
@Ttssxuan 推薦
#Auto ML
本文來自 Google Brain，論文提出了 progressive dynamic hurdles (PDH) 神經網路架構搜尋方法，此方法能夠動態的把資源分配到相對優秀的候選者，最終得到“Evolved Transformer”，其在幾個翻譯任務（WMT 2014 English-German, WMT 2014 English-French, WMT 2014 English-Czech, LM1B）相對原始 Transformer 有一致的提升，並且有更高的計算效率和更少的引數量。
▲ 論文模型：點選檢視大圖
@paperweekly 推薦
#Dialog System
本文是微信 AI 團隊和上海交大發表於 AAAI 2019 的工作，論文關註的任務是基於背景知識的對話生成，透過指標生成機制和註意力機制，基於對話歷史和背景知識生成更有意義的回覆。作者提出了一個泛化的指標生成機制，能同時從對話歷史和外部知識中複製物體。此外，作者還提出了一種 Cluster-based Beam Search 演演算法，能在解碼時動態地將相似語意的序列分組歸類，避免生成通用回覆。
▲ 論文模型：點選檢視大圖
@VanceChen 推薦
#Multimodal Sentiment Analysis
本文是 CMU 的 MultiComp Lab 發表在 AAAI 2019 上的工作。多模態情感分析是 NLP 的一個新的核心研究領域，研究從語言、視覺和聲學模態表達的說話人情緒。多樣式學習的核心挑戰涉及可以處理和關聯這些模態資訊的推斷聯合表示。然而，現有工作透過要求所有模態作為輸入來學習聯合表示，因此，學習的表示可能對測試時的噪聲或丟失模態敏感。
隨著機器翻譯中 Seq2Seq 模型的成功，有機會探索在測試時可能不需要所有輸入模態的聯合表示的新方法。論文提出了一種透過在模態之間進行轉換來學習魯棒聯合表示的方法。論文的方法基於 Key Insight，即從源到標的模態的轉換提供了僅使用源模態作為輸入來學習聯合表示的方法。
論文使用週期一致性損失來增加模態轉換，以確保聯合表示保留所有模態的最大資訊。一旦翻譯模型使用配對的多模態資料進行訓練，我們只需要在測試時從源模態獲得最終情緒預測的資料。這確保了我們的模型在其他模態中不受擾動或缺失資訊的影響。
我們使用耦合的翻譯預測標的訓練我們的模型，併在多模態情緒分析資料集上實現新的最新結果：CMU-MOSI，ICT-MMMO 和 YouTube。 另外的實驗表明，我們的模型學習越來越多的判別性聯合表示，具有更多的輸入模態，同時保持對丟失或擾動模態的魯棒性。
▲ 論文模型：點選檢視大圖
@paperweekly 推薦
#Object Detection
本文來自中國科學院大學和圖森未來。檢測任務中存在標的尺寸多樣化的問題，為瞭解決這一問題，湧現了很多包含 SSD、FPN、SNIP 等在內的經典演演算法。基於感受野對不同尺度標的的檢測影響，作者提出了一個全新的三叉戟網路（TridentNet）。
為了使模型對不同尺寸標的的“表達能力”近似，作者借鑒了 SNIP 的特徵提取網路，採用了“scale-aware”的並行結構。為了加快模型的推理速度，作者採用了 dilated convolution 得到不同感受野的特徵圖，從而實現檢測不同尺度標的的目的，取代了 SNIP 中的特徵金字塔生成不同尺度標的的做法。
▲ 論文模型：點選檢視大圖
@paperweekly 推薦
#Human Pose Estimation
本文來自曠視科技，奪得 COCO Keypoints 2018 比賽冠軍。本文旨在設計出一個好的 multi-stage 的人體姿態檢測方法，隨著網路 stage 數目增加，模型的預測能力能夠逐步提高的網路。而不會像 Hourglass 及其它網路一樣，增加 stage 數目並不會顯著提高模型的預測能力。作者採用了 top-down 的解決思路，將重心放在對單人關節點的檢測上。針對 multi-stage 演演算法存在的問題，作者分別進行了不同的探索。
▲ 論文模型：點選檢視大圖
@Phil 推薦
#Object Detection
本文來自香港中文大學、商湯科技、Amazon 和南洋理工，論文提出了一種新的 anchor 生成方法——Guided Anchoring，即透過影象特徵來指導 anchor 的生成。 透過預測 anchor 的位置和形狀，來生成稀疏而且形狀任意的 anchor，並且設計了 Feature Adaption 模組來修正特徵圖，使之與 anchor 形狀更加匹配。
▲ 論文模型：點選檢視大圖
@afei 推薦
#Image Segmentation
本文提出了一種新的分割網路——BOWDA Net。基於此網路，作者在 MICCAI 2012 前列腺分割競賽中排行第一，結果為 state of the art。創新點有兩點：1）針對前列腺 MR 影象邊界不清晰的問題，提出了邊界加權分割 loss，平滑了邊界；2）針對資料集小的問題，作者借鑒了遷移學習以及 GAN 的思想，解決了 source domain 和 target domain shift 的問題，值得閱讀。
▲ 論文模型：點選檢視大圖
@JasonZHM 推薦 #Image Compression 利用摺積自編碼器進行影象壓縮需要同時最佳化壓縮率和重構影象質量，但由於用於表徵壓縮率的編碼位元率不可微，因此不能直接反向傳播。現有研究普遍採用額外訓練熵估計器的方法解決這個問題。 該研究則引入了來自神經網路架構搜尋領域的網路剪枝方法，提出了 CAE-ADMM 模型，直接對壓縮後的編碼進行剪枝，在保持編碼速度的情況下，SSIM 及 MS-SSIM 的表現均超越了使用熵估計器的現有模型和傳統編碼器（JPEG、JPEG 2000 等）。該研究同時對引入的剪枝方法在模型中的效果進行了檢驗。 ▲ 論文模型：點選檢視大圖
@zhangjun 推薦 #Bayesian Deep Learning DNN 的不確定性量化是當前一大研究熱點，在小資料機器學習、自動駕駛、強化學習、貝葉斯最佳化、主動學習等領域應用廣泛。一種經典的方法是將模型引數視為隨機變數，用近似推斷的方法（比如：MCMC 類和 VI 類）扎實地求出每個引數的後驗分佈，這種方法相對準確，但計算效率較差，尤其對於引數數以億計的複雜結構網路更加困難；另一種方法是朝著實用方向的，訓練還是基於傳統的 SGD + Dropout，在測試時對引數後驗分佈進行近似，使得模型在預測時可考慮到不確定性的影響。 本文屬於第二種思路，基於一種叫做 Stochastic Weight Averaging （SWA）的方法，即將 T 個 Epoch 中的引數作為統計資料，求平均作為引數後驗分佈的均值，方差作為分佈的方差（僅考慮後驗分佈為高斯的情況，也是大多數方法的假設。）。思路比較簡單，相對傳統的貝葉斯推斷方法，計算效率非常高。這類方法中另一個典型代表是 Oxford 的 Yarin Gal 提出的 MC Dropout。 ▲ 論文模型：點選檢視大圖
@paperweekly 推薦 #Recommender Systems 本文是明尼蘇達大學和京東發表於 WSDM 2018 的工作。當前大多數推薦系統更註重使用者和商品之間的宏觀互動（如使用者-商品評分矩陣），很少有人會結合用戶的微觀行為資料（如瀏覽商品的時長、對商品的閱讀和評論）進行推薦。 本文從微觀行為的角度對推薦系統進行改進，作者將使用者的固有資料視為使用者和商品之間的宏觀互動，並保留了宏觀互動的順序資訊，同時，每個宏觀互動都包含一系列微觀行為。具體來說，論文提出了一個全新模型——RIB，它由輸入層、Embedding 層（解決資料稀疏和資料高維的問題）、RNN 層（建模時序資訊）、Attention 層（捕捉各種微觀行為影響）和輸出層組成。 ▲ 論文模型：點選檢視大圖
@paperweekly 推薦 #Deformable Convolution 本文來自牛津大學，論文提出了一種分佈偏移摺積 DSConv，可以輕鬆替換標準神經網路體系結構，並實現較低的儲存器使用和較高的計算速度。DSConv 將傳統的摺積核心分解為兩個元件：可變數化核心（VQK）和分佈偏移。透過在 VQK 中僅儲存整數值來實現較低的儲存器使用和較高的速度，同時，透過應用基於內核和基於通道的分佈偏移來保持與原始摺積相同的輸出。 作者在 ResNet50 和 34 以及 AlexNet 和 MobileNet 上對 ImageNet 資料集測試了 DSConv。透過將浮點運算替換為整數運算，本文方法在摺積核心中實現了高達 14x 的記憶體使用量減少，並將運算速度提高了 10 倍。 ▲ 論文模型：點選檢視大圖
@Rcypw 推薦 #Network Embedding 本文是 UIUC 和 HEC Montreal 發表於 WSDM 2018 的工作，論文開創性地將強化學習思想應用到星型異構網路節點表示學習當中 ，利用馬爾科夫鏈去獲取最優的節點之間邊的序列。作者將獎勵計算作為節點表示的外部任務的效能作為特徵，標的是採取一系列行動來最大化累積獎勵，基於長短記憶網路利用深度強化學習模型，完成網路表示學習。 ▲ 論文模型：點選檢視大圖
@Layumi 推薦 #Person Re-identification 現在行人重識別高準確率模型真的魯棒麼？是不是像傳統分類問題一樣容易被攻擊呢？本文提出的方法，將目前行人重識別上較高的 baseline Recall@1=88.56%, mAP=70.28% （layumi/Person_reID_baseline_pytorch） 降到 Recall@1=0.68%, mAP=0.72%。 對抗樣本存在於很多工中，但如何在不同任務中構造對抗樣本是一個問題。對於 reID 來說，攻擊的方式與正常的分類不同。因為 reID 在測試的時候的類別與訓練時類別不同，沒有相同的類別（也就是測試的人和訓練的人不是同一批，Open-set）。那麼在構造對抗樣本時，傳統的降低預測機率回傳梯度方法就受限。在實驗中也有相應結果。文章提出了一種新的方法來攻擊影象檢索（reID 是影象檢索的一個子問題）。 ▲ 論文模型：點選檢視大圖
