如何區分理解資料科學家與機器學習工程師-知識星球

資料科學家Vs機器學習工程師

原文: What are machine learning engineers?

來源: https://tech.co/12-ways-advantage-big-data-2017-05

導讀：

真正讓“資料科學”發揮出了強大威力的，是在人們意識到，資料不僅止於精算統計、商業智慧和資料倉庫的時候。將資料人和其他部門（軟體開發、營銷、管理、人力資源）隔離開來的筒倉被打破後，資料科學才真正彰顯出了自己的獨特之處。這門學科的中心思想，便是資料適用於萬事萬物。
在任何應用中，嚴格屬於“機器學習”的部分其實都不算大：總需要有人去維護伺服器設施，監控資料收集管道，確保計算資源充足什麼的。
據我們所知，尚未出現過專門針對機器學習系統的嚴重攻擊。但機器學習系統將成日漸成為誘人的攻擊標的。機器學習會帶來怎樣的新型漏洞？有沒有可能在訓練系統用的資料中“下毒”，或者強迫系統在錯誤的時候接受重新訓練？由於機器學習系統會自我訓練，我們需要想到，全新漏洞型別的出現必不可免。

原文翻譯：

十年來，我們一直在談論資料科學和資料科學家。雖然在怎麼才叫“資料科學家”的問題上始終存在著爭議，但如今已有很多大學、網校和訓練營都在提供資料科學課程：碩士學位、資格證書等等，凡是你能想到的都有。當我們只有統計學的時候，這個世界顯得更加簡單，但簡單並不總是科學的。而除了世界對資料科學家的需求程度以外，資料科學課程如此多種多樣，其實也說明不了什麼。

隨著資料科學領域的發展，出現了很多難以區分的專業。公司用“資料科學家”和“資料科學團隊”來描述各種各樣的角色，包括：

進行專門分析與報告（包括商業智慧和商業分析）的人
負責統計分析和建模（很多情況下會涉及到正式的實驗和測試）的人
越來越多地使用膝上型電腦來開發原型的機器學習建模師

這當中並沒有提及DJ·帕提爾（DJ Patil）和傑夫·哈默巴赫（Jeff Hammerbacher）在發明“資料科學家”這個稱謂時所想到的人——依據資料打造產品的人。

他們所想的這種資料科學家倒是跟機器學習建模師最為接近，只不過他們的工作是打造產品——一切以產品為中心，而不是秉持著研究人員的身份。他們的工作通常涉及到資料產品的很大一部分。無論具體的職務為何，資料科學家的角色絕非單純的統計學家。他們往往擁有理科博士學位，在處理大量資料方面擁有豐富的實踐經驗。他們基本上都是優秀的程式員，絕非只是精通R或其他某種統計軟體包。他們懂得資料獲取、資料清洗、原型開發、原型投產、產品設計、搭建和管理資料設施等等。在實踐中，他們是典型的矽谷“獨角獸”：稀有，非常難招到。

重點並不是我們設立了邊界明確的專業。在一個欣欣向榮的領域裡，總會存在著十分廣袤的灰色地帶。真正讓“資料科學”發揮出了強大威力的，是在人們意識到，資料不僅止於精算統計、商業智慧和資料倉庫的時候。將資料人和其他部門（軟體開發、營銷、管理、人力資源）隔離開來的筒倉被打破後，資料科學才真正彰顯出了自己的獨特之處。這門學科的中心思想，便是資料適用於萬事萬物。資料科學家的使命就是收集和利用所有的資料。所有部門都會牽涉其中。

當我們找不著獨角獸的時候，就把他們的能力分解成不同的專業，而資料科學在開始盛行起來後，也遭遇了這一齣。突然之間，我們就有了資料工程師。資料工程師並非以數學家或統計學家為主要身份，但他們都懂數學和統計學；他們的主要身份也不是軟體開發人員，但他們也懂軟體。資料工程師負責資料堆疊的操作和維護。他們能讓膝上型電腦上執行的原型在生產中可靠執行。他們負責弄清楚如何搭建和維護Hadoop或Spark叢集，還有整個生態系統中的很多其他工具：資料庫（比如Hbase、Cassandra），流資料平臺（Kafka、SparkStreaming、Apache Flink），還有更多的活動部件[princeray1] 。他們知道如何在雲端操作，充分利用Amazon Web Services、MicrosoftAzure和Google Compute Engine的效能。

如今，我們已經進入了“資料科學”的第二個十年，機器學習已大行其道，於是“資料工程師”的定義也變得更加明確。2015年，谷歌發表了一篇後來得到廣泛取用的論文，裡面凸顯了一項事實：除了分析模型以外，現實世界中的機器學習系統還有很多其他構成要素。企業開始註重打造資料產品，並將他們一直以來所採用的技術運用到生產中。在任何應用中，嚴格屬於“機器學習”的部分其實都不算大：總需要有人去維護伺服器設施，監控資料收集管道，確保計算資源充足什麼的。於是，開始有越來越多的企業建立機器學習工程師隊伍。這其實算不上一個新的專業領域，隨著機器學習（尤其是深度學習）在資料科學圈子裡變得炙手可熱，資料工程師必然會有進一步的發展空間。但是機器學習工程師和資料工程師之間的區別到底是什麼呢？

從某種程度上來說，機器學習工程師所做的正是一直以來軟體工程師（和優秀資料工程師）的工作。以下是機器學習工程師的幾個重要特徵：

·他們擁有比常見的資料科學家更厲害的軟體工程技能。機器學習工程師能夠和維護產品系統的工程師協同工作（有時就在同一個團隊）。他們懂得軟體開發方法、敏捷實踐和現代軟體開發人員使用的全套工具，從Eclipse和IntelliJ這樣的整合開發環境，到持續部署流水線的各個環節，他們樣樣精通。
由於他們的焦點放在能讓資料產品順利投產上，他們會進行全面思考，甚至將日誌記錄、AB測試設施等環節也一併考慮進來。
他們對在生產活動中監控資料產品所特有的問題有著最新的認識。監控應用程式的辦法有很多，但機器學習讓這個任務的要求上升到了一個新的層面。資料管道和模型都有可能過時，需要重新訓練，也可能遭到對手採用並不適用於傳統網路應用的方式大肆攻擊。機器學習系統會不會因為提供輸入的資料管道被黑而失真？會，所以機器學習工程師必須知道可如何探測到這些攻擊。
深度學習的興起催生出一種與其相關但更加專門化的崗位——深度學習工程師。我們還看到了“資料運維團隊”的出現，但在如何定義這類團隊的問題上，（截至目前）人們似乎仍未達成共識。

機器學習工程師的工作涉及到軟體架構和設計。他們懂得AB測試這樣的實務操作，但更重要的是，他們不只是“懂得”AB測試——他們還知道如何進行生產系統的AB測試。他們也懂得日誌、安全這一類的問題，而且知道如何讓日誌資料在資料工程師那裡派上用場。所有這一切沒有什麼新鮮東西：這隻是崗位的深化，而不是改變。

機器學習和“資料科學”又有什麼不同？顯然，資料科學的涵蓋面更廣，但深度學習的工作方式卻存在著一些格外不同的地方。人們總是容易把資料科學家想象成挖掘資料的人——研究不同的方法和模型，從中找出一個切實可行的。圖基（Tukey）的探索性資料分析等經典方法為很多資料科學家迄今為止的工作定下了基調：挖掘分析大量資料，找到其中隱藏的價值。

深度學習顯著改變了這種樣式。你不再親自處理資料。你知道你想要什麼樣的結果，但你讓軟體去發現它。你想要打造一臺能夠打敗圍棋冠軍、正確標記照片或者實現語言翻譯的機器。在機器學習的範疇中，這些標的不會透過細緻的挖掘來達成。在很多情況下，要挖掘的資料量實在太大，維度也太多。（圍棋的維度有多少？語言的維度呢？）機器學習能做到的，就是自己建立模型——自己進行資料挖掘和調整。

於是，資料科學家並沒有做多少挖掘的工作。他們的標的並非找到資料的意義。他們認為價值本來就在那裡。他們真正的標的是打造能夠分析資料和生成結果的機器——創建出一張可以被調教到能使用輸入資料生成可靠結果的神經網路。統計學不再那麼重要。事實上，機器學習的大神器是“大眾化”，讓機器學習系統可由主題專家而不是人工智慧博士打造。我們想讓圍棋選手打造出下一代的AlphaGo，而不是研究人員。我們想讓說西班牙語的人打造出能把其他語言自動翻譯成西班牙語的引擎。

這種變化也對機器學習工程師產生了相應的影響。在機器學習的範疇裡，模型不是靜態的。隨著時間的推移，模型可能會逐漸失效。必須有人來監控系統，在必要時對其重新訓練。這項工作對於當初打造該系統的開發人員來說，可能很是無趣，但當中的技術性卻很強。而且，這也需要對監控工具有充分瞭解，因為這些監控工具在設計時並不會考慮到資料應用的問題。

所有的軟體開發人員和IT從業人員都應該對安全性這個問題有所瞭解。據我們所知，尚未出現過專門針對機器學習系統的嚴重攻擊。但機器學習系統將成日漸成為誘人的攻擊標的。機器學習會帶來怎樣的新型漏洞？有沒有可能在訓練系統用的資料中“下毒”，或者強迫系統在錯誤的時候接受重新訓練？由於機器學習系統會自我訓練，我們需要想到，全新漏洞型別的出現必不可免。

隨著工具的改進，我們將看到更多的資料科學家有能力轉型到生產系統領域。雲環境和軟體即服務（SaaS）讓資料科學家能夠更簡單地部署資料科學原型，將其投入生產，而諸如Clipper、Ground（美國加州大學伯克利分校RISE實驗室的新專案）這樣的開源工具也正開始湧現。但我們仍將需要資料工程師和機器學習工程師——那些通曉資料科學和機器學習知識，知道如何在生產中部署和執行系統，能夠為機器學習產品提供支援的工程師。他們才是最終極的“人性因素”。 （這裡的moving parts我也不是很確定到底指什麼）

關聯閱讀：乾貨：資料科學十大技能