模型|“請解釋”黑盒機器學習模型的解釋性

2019年2月，波蘭政府對銀行法進行了修訂，賦予客戶在做出信貸拒絕時獲得解釋的權利。這是在歐盟實施GDPR的直接後果之一。這意味著，如果決策過程是自動的，銀行需要能夠解釋為什麼不發放貸款。

2018年10月，《世界新聞頭條》報道了亞馬遜的人工智慧招聘工具偏袒男性。亞馬遜的模型是根據偏向男性候選人的有偏見資料建立的。它制定了一些規則，對包含“女性”一詞的簡歷進行處罰。

不理解模型預測的後果

上述兩個例子的共同之處在於，銀行業的模型和亞馬遜構建的模型都是非常複雜的工具，即所謂的黑箱分類器，它們不提供直接的、可由人類解釋的決策規則。

如果金融機構想繼續使用基於ml的解決方案，就必須對模型可解釋性研究進行投資。他們很可能會這麼做，因為這類演演算法在預測信貸風險方面更準確。另一方面，如果這個模型被正確地驗證和理解，亞馬遜本可以省下很多錢和壞的新聞。

為什麼是現在?資料建模的趨勢

自2014年以來，機器學習一直處於Gartner的炒作週期的頂端，2018年將被深度學習(ML的一種形式)所取代，這表明機器學習的應用還沒有達到頂峰。

來源：https://www.gartner.com/smarterwithgartner/5-trends-emerge-in-gartner-hype-cycle-for-emerging-technologies-2018/

預計機器學習的增長將進一步加快。根據Univa的報告，96%的公司預計將在未來兩年內在生產中使用ML。

這背後的原因是:廣泛的資料收集、大量計算資源的可用性和活躍的開源社群。ML的採用增長伴隨著ML可解釋性研究的增加，這些研究受到諸如GDPR、歐盟的“解釋權”、對安全(藥物、自動駕駛汽車)的擔憂、可重覆性、偏見或終端使用者期望(除錯模型以改進模型或學習一些東西)等法規的推動。

來源：http://people.csail.mit.edu/beenkim/papers/BeenK_FinaleDV_ICML2017_tutorial.pdf

黑盒演演算法的解釋可能性

作為資料科學家，我們應該能夠向終端使用者解釋模型是如何工作的。然而，這並不一定意味著理解模型的每一部分或生成一組決策規則。

也有可能不需要這樣做:

• 問題研究得很好
• 模型結果沒有影響
• 理解模型的終端使用者可能會對系統構成博弈風險

如果我們看看Kaggle 2018年機器學習和資料科學調查的結果，大約60%的受訪者認為他們可以解釋大多數機器學習模型(有些模型仍然很難解釋)。用於ML理解的最常用方法是透過檢視特徵重要性和特徵相關性來分析模型特性。

特性重要性分析首先提供了對模型正在學習的內容和可能重要的因素的深入瞭解。然而，如果特徵是相關的，這種技術可能是不可靠的。只有模型變數是可解釋的，它才能提供良好的洞察力。對於許多GBMs庫，生成特性重要性圖相當容易。

在深度學習的情況下，情況要複雜得多。當使用神經網路時，你可以觀察權重，因為它們包含了關於輸入的資訊，但是資訊被壓縮了。更重要的是，你只能分析第一層的聯絡，因為在更深的層次上它太複雜了。

難怪2016年在NIPS大會上發表的LIME (Local interpretation model – interpretation interpretation)論文產生了巨大的影響。LIME背後的思想是區域性逼近一個黑盒模型，在可解釋的輸入資料上構造一個更容易理解的白盒模型。它為影象分類和文字解釋提供了很好的結果。然而，對於表格資料，很難找到可解釋的特性，其區域性解釋可能具有誤導性。

LIME可用Python (LIME and Skater)和R (LIME package and iml package, live package)實現的，非常容易使用。

另一個有前途的想法是SHAP (Shapley加法解釋)。它基於博弈論。它假設特徵是參與者，模型是聯盟，Shapley值告訴我們如何在特性之間公平分配“支出”。這種技術公平地分配效果，易於使用，並提供了視覺上引人註目的實現。

R中可用的DALEX package(描述性機器學習解釋)提供了一組工具，幫助理解複雜模型是如何工作的。使用DALEX，您可以建立模型直譯器並視覺化地檢查它，例如分解圖。您可能還對DrWhy.Ai感興趣，它是由DALEX所在的研究小組開發的。

實際用例——檢測圖片上的物體

影象識別已經得到了廣泛的應用，比如在自動駕駛汽車上檢測汽車、交通燈等是否在畫面上，在野生動物保護上檢測是否有某種動物在畫面上。

我們將使用的“Husky vs Wolf例子”來說明模型解釋的重要性。分類器的任務是識別圖片上是否有狼。它錯誤地將西伯利亞哈士奇誤認為狼。多虧了LIME，研究人員能夠識別出圖片的哪些區域對模型來說是重要的。原來，如果照片上有雪，它就被歸為狼。

該演演算法利用影象的背景，完全忽略了動物的特徵。模型應該看動物的眼睛。多虧了這一發現，才有可能修正模型並擴充套件訓練示例，以防止出現snow = wolf推理。

分類作為決策支援系統

阿姆斯特丹聯合醫科大學重症監護室希望預測患者出院時再入院和/或死亡的機率。其目的是幫助醫生選擇正確的時機將病人從ICU轉移出來。如果醫生瞭解模型在做什麼，他更有可能在做出最終判斷時使用模型的建議。

為了演示如何使用LIME解釋這樣的模型，我們可以看看另一個研究的例子，該研究的目的是對ICU的死亡率進行早期預測。隨機森林模型(black-box model)用於預測死亡狀態，lime包用於區域性解釋每個患者的預測得分。

來源：https://www.researchgate.net/publication/309551203_Machine_Learning_Model_Interpretabilit

所選示例中的患者具有較高的死亡率(78%)。導致死亡率的模型特徵是房顫計數較高，乳酸水平較高，這與目前醫學認識一致。

人和機器——完美的組合

為了成功地構建可解釋的人工智慧，我們需要結合資料科學知識、演演算法和終端使用者的專業知識。建立模型之後，資料科學的工作還沒有完成。這是一個迭代的過程，通常很長，由專家提供反饋迴圈，確保結果是可靠的，並且可以被人類理解。

我們堅信，透過將人類的專業知識與機器的效能相結合，我們可以得到最好的結論:提高機器的效能，剋服人類的直覺偏見。

原文連結：
https://appsilon.com/please-explain-black-box/

如果文章對您有啟發，請點贊，並分享給同事或者朋友。
文中連結，請點選閱讀原文。您有任何想法或者見解，請留言。