前沿分享-基於區塊鏈技術的機器學習行業概述

    以區塊鏈市場資料為基礎的訓練出來的機器學習有可能創造出世界上最強大的人工智慧。它們結合了兩個強大的源力:私有機器學習，它允許在敏感的私有資料上進行訓練而不洩露資料；以及基於區塊鏈的激勵措施（incentive），它可以使這些系統獲取最佳資料和模型，使它們變得更智慧。結果是開放的市場，任何人都可以出售他們的資料，並保護他們的資料隱私，而開發人員可以利用激勵措施來獲得他們的演演算法所需要的最佳資料。
    構建這些系統是一項挑戰，必要的構建塊仍在建立中，但簡單的初始版本似乎已開始成為可能。我相信這些市場將把我們從目前的Web 2.0資料壟斷時代轉變為一個資料和演演算法公開競爭的Web 3.0時代，兩者都直接貨幣化。

起源

    這個想法的基礎來自於2015年與Numerai的理查德的談話。Numerai是一家對沖基金公司，它將加密的市場資料傳送給任何希望參與股市建模競爭的資料科學家。Numerai將最佳模型提交組合成一個“元模型”，交易該元模型，並向模型效能良好的資料科學家支付報酬。
讓資料科學家之間進行競爭似乎是一個強大的想法。所以它讓我想到:是否可以建立一個完全分散的系統版本，可以推廣到任何問題？我相信答案是肯定的。

構建

    例如，讓我們嘗試建立一個完全分散的系統，用於在分散的交易所之間交易密碼貨幣。這是許多潛在構件之一:
    資料：資料提供者將資料與模型相關聯並提供給建模人員。
    模型構建（Model Building）：建模人員選擇需要使用的資料並建立模型。

    訓練是使用一種安全的計算方法來完成的，該方法允許在不暴露底層資料的情況下訓練模型。模型也被固定了。

    元模型（Metamodel）構建：元模型是基於每個固定的模型的為基礎構造的演演算法建立的。
建立元模型是可選的—構造模型時，也可以不適用一些元模型。
    使用元模型：一個智慧協議（smart contract）將獲取元模型，透過鏈上分散的交換機制（Decentralized exchange mechanism on-chain）以程式設計方式進行交易。
    分散gains/losses：經過一段時間後，交易會產生利潤（profits）或loss。這種profits或loss在元模型的貢獻者之間根據他們的聰明程度進行分配。起負貢獻的模型採用了部分或全部的註資（staked funds）。然後，模型會發生變化，並對其資料提供者執行類似的分發/stake。
    驗證性計算：每個步驟的計算或者使用諸如Truebit的驗證遊戲集中執行，但是可以驗證和挑戰，或者使用安全多方計算（secure multiparty computation）分散執行。
    託管（Hosting）：資料和模型或者託管在IPFS上，或者託管在安全多方計算網路中的節點上，因為鏈上儲存太昂貴。

是什麼使這個系統強大？

    吸引全球最佳資料的激勵措施：吸引資料的激勵措施是系統中最有效的部分，因為資料往往是大多數機器學習系統中最重要的部分。就像比特幣透過開放式激勵機制建立了一個擁有全球最高計算能力的應急系統一樣，一個經過適當設計的資料激勵結構將使你的的應用程式獲得世界上最好的資料。而且幾乎不可能關閉一個可以從數千或數百萬來源獲取資料的系統。
    演演算法之間的競爭：在不同的模型/演演算法之間建立一個公開的競爭，在以前是不存。想象一下一個分散的Facebook上有成千上萬種相互競爭的新聞推薦演演算法。
    報酬的透明度：資料和模型提供者可以看到他們得到了他們所提交的資料的公正的價值，因為所有計算都是可驗證的，這使得他們更有可能參與。
    自動化：在鏈上執行操作並直接在token中生成值的方法，建立了一個自動化且不可信的閉環系統。
    網路效應：來自使用者、資料提供者和資料科學家的多方面網路效應使系統自我強化（self-reinforce）。它表現得越好，吸引的資本就越多，這就意味著潛在的回報也就越多，這就吸引了更多的資料提供商和資料科學家，他們使系統變得更智慧，從而吸引了更多的資本，然後又回到原來的位置。

隱私

    除了以上幾點之外，一個主要特徵是隱私。它允許1 )人們提交一些會太私人而無法共享的資料，2 )防止資料和模型的經濟價值洩露。如果未加密，資料和模型將被免費複製，並由沒有貢獻任何工作的人使用(“搭便車（Free rider）”問題)。

    Free rider問題的一些解決方案是私下出售資料。即使購買者選擇轉售或釋出資料，其價值也會隨著時間而衰減。然而，這種方法限制了我們的短時用例，並且仍然產生典型的隱私問題。因此，更複雜但更強大的方法是使用一種安全計算的方法。

安全計算

    安全計算方法允許模型在不暴露資料本身的情況下對資料進行訓練。目前使用和研究的安全計算主要有三種形式:同態加密(Homomorphic encryption，HE )、安全多方計算(secure multi-party computation，MPC )和零知識證明(zero knowledge proofs，ZKPs )。多方計算是木器於私有機器學習最常用的方法，因為同態加密往往太慢，如何將ZKPs應用於機器學習還不清楚。安全計算方法正處於電腦科學研究的前沿。它們通常比常規計算慢幾個數量級，是系統的主要瓶頸，但近年來一直在改進。

最終推薦系統（Ultimate Recommender System）

    為了說明私人機器學習的潛力，想象一個叫做“最終推薦系統”的應用。它會監視你在裝置上所做的一切:瀏覽歷史記錄、應用程式中所做的一切、手機上的圖片、位置資料、消費歷史記錄、可穿戴感測器、簡訊、家中的相機、未來AR眼鏡上的相機。然後它會給你一些建議:你應該訪問的下一個網站，要閱讀的文章，要聽的歌曲，或者要購買的產品。
    這種推薦系統將是非常有效的。比Google、Facebook或其他公司現有的任何資料都要多，因為它可以最大限度地縱向檢視您的資訊，並且可以從本來就太私人而無法考慮共享的資料中學習。類似於先前的密碼貨幣交易系統，它將透過允許集中於不同領域的模型市場(例如:網站推薦、音樂)來競爭對加密資料的訪問許可權，並向您推薦內容，甚至可能會因為您貢獻了資料或關註了生成的推薦而向您付費。
    Google的聯合學習（federated learning）和Apple的差異隱私（differential privacy）是這種私人機器學習方向實用化發展的一步，但仍然需要信任，不允許使用者直接檢查他們的安全性，並保持資料私有化。

現行辦法

    太早了。沒有幾個小組有任何工作，大多數人都試圖一次能往前進一大步。
    Algoria Research的一個簡單框架（construction）為準確超過某個回溯測試閾值的模型提供獎勵:

    Algorithmia Research在機器學習模型上建立獎勵的簡單框架
    Numerai目前更進一步，採取了三個步驟:使用加密資料(雖然不是完全同態)，將眾包模型組合成元模型，並且基於未來的效能(在本例中，是一週的股票交易)而不是透過名為Numeraire的本地 Ethereum token進行回溯測試。資料科學家必須在遊戲中以數字作為賭註，在將要發生的事情(未來的表現)上鼓勵人們表現（performance），而不是在已經發生的事情(事後測試的表現)上表現。但是，目前集中分發資料，限制了最重要的內容。
    迄今為止，還沒有人成功建立基於區塊鏈技術的資料市場。Ocean公司最早嘗試去勾勒這個市場的框架。
    還有一些公司則開始構建安全的計算網路。Openmined正在建立一個多方（multiparty）計算機網路，用於在Unity之上訓練機器學習模型，該網路可以在任何裝置上執行，包括遊戲控制檯(類似於在家裡Folding)，然後擴充套件到安全的MPC。Enigma也有類似的策略。
    一個令人著迷的最終狀態是相互擁有的元模型，它賦予資料提供者和模型建立者與他們變得聰明程度成正比的所有權。這些模型將被標記化，可以隨著時間的推移而產生紅利，甚至可能由訓練它們的人來管理。一種相互擁有的蜂箱思維（Hive mind）。原始的開放影片是我迄今為止看到的最接近的結構。

哪些方法可能首先起作用？

    我不會說什麼是最好的、最精確的結構，但我有一些想法。
    我用來評價區塊鏈思想的一個觀點是:在一系列物理上（physically）的native到數字上（digitally）的native，再到區塊鏈（blockchain）的native，區塊鏈native越多越好。區塊鏈native越少，引入的第三方就越可信，從而增加了複雜性並降低了與其他系統一起作為構建塊的易用性。

    在這裡，我認為這意味著，如果創造的價值是可以量化的，那麼一個系統更有可能發揮作用—理想的是直接以貨幣的形式，更好的是以token的形式。這使得一個清潔的閉環系統（clean，closed-loop system）成為可能。將密碼貨幣交易系統的先例與在X射線中識別腫瘤的例子進行比較。在後一種情況下，您需要讓保險公司相信X射線模型是有價值的，協商其價值，然後找一群實際在場的一小群人來驗證模型的成敗。
    這並不是說更清楚且肯定的、社會的數字native相關的用途不會出現。像前面提到的推薦系統可能非常有用。如果連線到營銷市場，則是另一種情況，在這種情況下，模型可以以程式設計方式在鏈上執行操作，系統的回報是token(在這種情況下，來自營銷市場)，從而再次建立一個乾凈的閉環。現在看起來很模糊，但我預計區塊鏈native任務的範圍會隨著時間的推移而擴大。

意義

    第一，分散的機器學習市場可以打破當前科技巨頭的資料壟斷。過去20年來，它們使網際網路價值創造的主要來源標準化和商品化:專有資料網路及其強大的網路效應。因此，價值建立將從資料向上移動到演演算法。

技術領域的標準化和商品化週期，資料壟斷的網路時代即將結束

    換句話說，他們為人工智慧建立了一個直接的商業樣式。同時Feeding和訓練它。
    第二，它們創造了世界上最強大的人工智慧系統，透過直接的經濟激勵（economic incentives）吸引了最好的資料和模型。它們的強度（strength）透過多面網路效應（multi-sided network effects）而增加。隨著Web 2.0時代的資料網路壟斷變得商品化，它們似乎是下一個重聚合點（re-aggregation）的理想選擇。我們可能離這點還有幾年時間，但方向似乎是正確的。
    第三，如推薦系統例子所示，搜尋得到反轉。不是人們搜尋產品，而是產品搜尋和使用者的競爭。每個人都可能有自己的推薦市場，推薦系統在那裡競爭把最相關的內容放在他們的feed中，相關性是由個人定義的。
    第四，它們可以讓我們從谷歌和Facebook等公司那裡得到同樣的好處，而不用洩露我們的資料。
    第五，機器學習可以更快進步，因為任何工程師都可以訪問開放的資料市場，而不僅僅是大型Web 2.0公司中的一小部分工程師。

挑戰

    首先，安全計算方法目前非常慢，並且機器學習目前非常消耗計算資源。另一方面，人們對安全計算方法的興趣開始升溫，效能也在不斷提高。在過去的6個月中，我看到了HE、MPC和ZKPs提出了顯著改進效能的新方法。
    將特定資料集或模型提供給元模型（metamodel）計算是很困難的。
    清理和格式化眾包資料具有挑戰性。我們可能會看到一些將工具、標準化和小型企業（small businesses）的組合來解決這個問題。
    最後，具有諷刺意味的是，建立這種系統的通用結構的業務模型不如建立單個實體清晰。這似乎對於許多新的crypto primitive是真的，包括curation market。

結論

    將私人機器學習與區塊鏈incentives相結合可以在各種各樣的應用中產生最強的機器智慧。隨著時間的推移，有一些重大的技術挑戰可以被解決。他們的長期潛力是巨大的，這是一個可喜的轉變，擺脫了目前大型網際網路公司對資料的掌控。它們也有點可怕—它們引導自己生存、自我強化、消耗私人資料，而且幾乎無法關閉，這讓我懷疑建立它們是否比以往任何時候都更能召喚出一個強大的Moloch。無論如何，它們是另一個例子，說明密碼貨幣（cryptocurrencies）是如何慢慢進入各個行業的。