知識星球
在碎片化閱讀充斥眼球的時代，越來越少的人會去關註每篇論文背後的探索和思考。
在這個欄目裡，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。
點選本文底部的「閱讀原文」即刻加入社群，檢視更多最新論文推薦。
@xwzhong 推薦
#Attention Mechanism
本文來自 LinkedIn，這是一篇 NLP 領域 Attention model 的綜述文章，論文詳細介紹了不同架構的網路與 Attention 的結合、Attention如何提高模型的可解釋性和 Attention 的應用。
▲ 論文模型：點選檢視大圖
@paperweekly 推薦
#Relation Classification
本文是清華大學劉知遠老師組發表於 AAAI 2019 的工作，論文提出文字與影象的一大區別在於其多樣性和噪音更大，並提出了一種基於混合註意力的原型網路結構。
具體來說，作者首先使用 instance-level 的 attention 從支撐集中選出和 query 更為貼近的實體，同時降低噪聲實體所帶來的影響。然後 feature-level 的實體能夠衡量特徵空間中的哪些維度對分類更為重要，從而為每種不同的關係都生成相適應的距離度量函式，從而使模型能夠有效處理特徵稀疏的問題。
▲ 論文模型：點選檢視大圖
@paperweekly 推薦
#Contextual Representations
本文是華盛頓大學和 AllenAI 發表於 NAACL 2019 的工作，論文主要研究的問題是預訓練詞表示的語言知識和可遷移性。作者探索了不同背景關係表示的語言知識及其可遷移性，並且還基於 Transformer 模型，將不同層的輸出標量加以混合取得了更好的效果。
▲ 論文模型：點選檢視大圖
@boom 推薦
#Neural Machine Translation
本文是 CMU 發表於 NAACL 2019 的工作。模仿人類從簡單的知識學習到複雜知識的學習方式，NMT 方向提出了一個從學習簡單的陳述句翻譯到複雜陳述句翻譯的框架，能夠在翻譯速度上提升百分之 70，BLEU 的得分提高 2.2 個點。
本文提出了學習陳述句的難度和機器的學習能力兩個概念，使得機器只學習難度低於其能力的陳述句的翻譯，然後逐步提升難度；主要應用於資料的預處理上面，所以可以應用於各種 NMT 模型上。
▲ 論文模型：點選檢視大圖
論文連結
https://www.paperweekly.site/papers/2950
@jingyihiter 推薦
#Text Generation
本文是阿裡巴巴發表於 ICASSP 2019 的工作。為了提高生成文字多樣性、解決傳統 CVAE 中的 KL 散度 vanish 問題，本文提出了一個直接的最佳化標的，此最佳化標的指導編碼器變成最優編碼器增強模型的表達能力。
該方法全稱為自標註 CVAE (self labeling CVAE)，文中給出了一個“一對多”（生成多種文字）的資料集，實驗表明在兩個資料集（開放域對話生成和推薦系統句子生成）上與 SOTA 演演算法相比提高了生成文字的多樣性。
▲ 論文模型：點選檢視大圖
@SRIN 推薦
#Graph Embeddings
本文是 CMU、NYU、FAIR 和 Google 發表於 NeurIPS 2018 的工作，論文的主要貢獻在於將學習特徵之間的關係圖作為遷移學習 representation。
作者研究的是遷移學習中的表示問題，學習用表徵兩個元素之間的關係的圖表示，而不是用特徵向量表示。作者提出了一種新的無監督隱藏圖學習框架，從大規模的未標記資料中訓練一個神經網路來輸出隱藏圖型，並將該網路遷移到提取下游任務的圖結構來加強對它的訓練。
▲ 論文模型：點選檢視大圖
@O3oBigFace 推薦
#Multimodal Machine Learning
本文是 CMU 發表於 TPAMI 2019 的綜述性文章，不同於以往對多模態學習的分類，將多模態的近期研究成果按照應用型別劃分。對其中的每一種分類進行了詳細的描述。本文是近期多模態領域中最詳細最完整最新穎的一篇綜述，可以看出 CMU 在 multimodal 這方面的造詣很深。
▲ 論文模型：點選檢視大圖
@xiaotian311 推薦
#Object Tracking
本文是林雪平大學、ETH 和起源人工智慧研究院發表於 CVPR 2019 的工作，論文著眼於解決標的跟蹤過程中的定位精度不夠問題。作者將標的跟蹤分為標的分類和標的評價兩個網路部分，前者分類用於粗定位，後者用於精細定位，即兩階段跟蹤。
標的估計網路使用了 ECCV 2018 的 IoUNet 結構，基於大資料集離線訓練，訓練時最大化與 gt 的 IoU；標的分類網路使用了深度回歸網路結構，由兩層摺積層構成，線上訓練，根據輸出的 map 選擇候選框交給標的估計網路，並且提出了新的快速線上訓練方法。實驗表明，本文方法的效能超過了 DaSiamRPN，GPU 下達到 30 fps。
▲ 論文模型：點選檢視大圖
@danieljf24 推薦
#Video Retrieval
本文是浙江工商大學、人民大學、浙江大學和阿裡巴巴發表於 CVPR 2019 的工作，論文主要探討零示例影片檢索。在這種檢索範例中，使用者在沒有示例的情況下，僅透過自然陳述句描述其即席查詢需求。考慮到影片是幀序列而查詢是詞序列，我們需要建立一個有效的序列到序列的跨模態匹配。
現有方法以基於概念為主，透過分別從查詢和影片中提取相關概念，從而建立兩種模態之間的關聯。相比之下，本文采用了一種無需概念建模的方法，提出對偶深度編碼網路，首次使用具有相似架構的多層編碼網路同時對句子和影片進行量化編碼和表示學習，在多個極具挑戰性的評測集（MSR-VTT，TRECVID 2016和2017 Ad-hoc Video Search）上超過了現有結果。
▲ 論文模型：點選檢視大圖
@Kralkatorrik 推薦
#Face Recognition
本文來自京東和中科院自動化所。人臉識別中有兩種常見的從 loss 方面促進 feature discriminative 的方法：mining-based 和 margin-based 損失函式，這兩種方法都存在其侷限性。這篇文章提出了 SV-Softmax loss 能夠將兩種方法結合，並彌補他們的缺陷，在各個資料集上都取得了 SOTA 的效果。
@CLAYxxliu 推薦
#Generative Adversarial Networks
當前現有的很多 GAN 結構在訓練的時候並不穩定，很容易就會發生樣式崩塌的現象。在本文文中，作者提出一個新穎 GAN 框架稱為進化對抗網路（E-GAN）。
該框架摒棄了單一的生成器的設定，將生成器當做一個族群，每個單個的生成器就是一個體，而每個個體的變異的方式是不同的。作者利用一種評價機制來衡量生成的樣本的質量和多樣性，這樣只有效能良好的生成器才能保留下來，並用於進一步的培訓。
透過這種方式，E-GAN 剋服了個體對抗性訓練標的的侷限性，始終保留了對 GANs 的進步和成功做出貢獻的最佳個體。
▲ 論文模型：點選檢視大圖
@shoujin 推薦
#Recommender Systems
本文是第一篇全面深入總結 session-based recommendations 的綜述文章，值得推薦。文章系統總結了目前一種新型推薦正規化：session-based recommendations 的特點、挑戰和目前取得的進展，對整個推薦系統研究領域和相關的工業界人員提供了一個全面瞭解推薦系統領域最新研究進展的機會。
該文從問題本質和相關的資料特徵入手，為 session-based recommendations 建立了一個層次化模型來深入理解裡面存在的各種資料複雜性和潛在挑戰，然後採用了兩個不同維度對現有研究成果進行了系統分類和總結，最後提出了展望。
▲ 論文模型：點選檢視大圖
@Xiaoha0607 推薦
#Search Ranking
本文來自 Airbnb，論文主要介紹了 Airbnb 搜尋排序系統的演進以及深度學習的應用。文章給出了深度學習在搜尋標的問題的實踐經驗談，尤其在特徵工程、特徵重要性分析方面有很多 insight 值得借鑒。
▲ 論文模型：點選檢視大圖
@Glimmer123 推薦
#Continual Lifelong Learning
本文來自漢堡大學、羅徹斯特理工大學和赫瑞-瓦特大學，論文詳細介紹了持續終身學習領域相關概念（比如災難性遺忘），總結三個主要的研究領域，是持續終身學習領域比較好的綜述。
▲ 論文模型：點選檢視大圖
@QAQ 推薦
#Convolutional Neural Network
本文來自 Facebook AI、新加坡國立大學和奇虎 360，論文提出 OctConv 用於壓縮低頻資訊，分別處理高低頻兩個部分的資料，併在二者之間進行資訊交換，從而減少摺積運算對儲存和計算量的消耗。替代傳統摺積，在提升效果的同時，節約計算資源的消耗。即插即用，無需修改原來的網路架構，不用調整超引數。
▲ 論文模型：點選檢視大圖
@NeoTheSunshine 推薦
#Graph Embeddings
本文透過實驗證明，現有的 GNN 及其相關變體仍然存在對圖結構表達能力不足的問題。為了進一步提升模型的表達能力，作者提出一種帶有 gating mechanism 的輔助模組 Graph Warp Module，它可以通用使用在 GNN 上而無須改變原有模型結構。透過實驗證明瞭可以使用帶有 GWM (Graph Warp Module) 的 GNN 來達到 state-of-the-art generalization performance。
▲ 論文模型：點選檢視大圖
朋友會在“發現-看一看”看到你“在看”的內容