實錄分享 | 計算未來輕沙龍：揭秘AutoML技術（影片 + PPT）-知識星球

10 月 27 日（週六）上午，PaperWeekly 攜手清華大學計算機系推出了計算未來輕沙龍第三期線下活動——揭秘 AutoML 技術。來自中國科學技術大學、中國科學院自動化研究所和探智立方的三位嘉賓，系統而深入地分享了他們各自在自動機器學習領域的最新研究進展。

本文將獨家分享本期活動的完整影片回顧和嘉賓課件下載。

吳開源 / 北京航空航天大學博士

吳開源，北京航空航天大學數學博士。目前是探智立方（北京）科技有限公司演演算法工程師，從事人工智慧自動化平臺演演算法研發。

DarwinML：基於圖進化演演算法的自動機器學習

AutoML 技術可以減少模型設計過程中需要機器學習專業知識的手動操作，降低傳統行業的進入門檻，讓更多的社群開發者方便地使用人工智慧技術。AutoML 技術最近得到學術界和工業界的越來越多的關註。

在這個講座中，我們將介紹一種基於計算圖的 AutoML 技術。利用計算圖，可以靈活地表示各種複雜的 ML 模型。與 tree-based 和 stacking-based 等方法相比，基於計算圖的方法可以提供了更大的搜尋空間。我們引入了一種進化演演算法來搜尋最佳的模型計算圖，並設計相應的突變和遺傳運算元。結合貝葉斯超引數最佳化，我們實現了機器學習的整個工作流程的自動化。在 PMLB 資料集上，與 TPOT，AutoStacker 和 AutoSklearn 相比，所提出的方法顯示了更好的效能。我們還將展示幾個基於 DarwinML 平臺的工業使用者案例。

羅人千 / 微軟－中科大聯合培養博士生

羅人千，微軟亞洲研究院－中國科學技術大學聯合培養博士生，目前博士三年級在讀。研究方向：機器學習、深度學習、機器翻譯。曾在 NIPS 上發表論文。

NIPS 2018：神經網路結構最佳化

神經網路搜尋（Neural Architecture Search）是 AutoML 的一個分支，標的是針對給定的任務和資料，透過演演算法自動搜尋出合適的深度神經網路結構，從而減少繁雜的人工設計過程。當前的一些搜尋方法有在離散空間裡基於強化學習、進化演演算法等搜尋更優的結構。

本次報告將介紹我們今年發表在 NIPS 上的工作 Neural Architecture Optimization。本工作將神經網路結構對映到連續空間內，直接基於網路的效能這一標的進行最佳化，使得搜尋過程更高效、使用資源更少，搜尋得到的網路結構效能更好。

陳玉康 / 中國科學院自動化研究所碩士生

陳玉康，本科畢業於北京航空航天大學，曾赴加拿大約克大學、德國慕尼黑工業大學交流交換，先後在百度 IDL、地平線機器人實習。現為中科院自動化所樣式識別方向碩士，目前研究深度學習模型最佳化、模型壓縮等方向。

基於進化演演算法和強化學習的網路結構搜尋演演算法

深度神經網路逐漸替代了人工設計的特徵，併在影象、語音、文字等領域不斷超越傳統演演算法。然而，深度神經網路的興起也帶來了新的問題。良好神經網路的結構通常需要研究者在擁有豐富經驗的情況下不斷嘗試，消耗大量的時間和計算資源來設計。而這樣設計出來的網路結構通常情況下仍然存在著各種各樣的問題，比如引數量大，精度低等等。因此，自動化的神經網路結構設計逐漸成為深度學習的進一步需求。

本報告將詳細介紹我們提出的一種在進化演演算法框架下結合強化學習的神經網路結構搜尋演演算法。本演演算法在消耗極少計算資源的情況下，在 CIFAR-10 和 ImageNet 等分類任務上取得了良好的效果。此外，我們還會討論神經網路結構搜尋方向的重點難點，以及未來的工作和趨勢。