知識星球
筆者邀請您，先思考：
1 信用評分卡如何做模型驗證？
過上你的生活只有兩種方式。 一個好像什麼都不是奇跡。 另一個就好像一切都是奇跡。- 艾爾伯特愛因斯坦
好奇心評論
我認為欣賞和享受瑣事的最佳方式是旅行。當我說瑣碎的時候，它包括門把手，海報，信箱，塗鴉以及我們從未在我們自己的城市中轉過頭來做的一切。上週我與妻子一起在佛羅倫薩和托斯卡納旅行時經歷了同樣的經歷。我認為一個人的意識水平和好奇心在旅行時會增加很多倍。在佛羅倫薩，我們住在Fiorenza,它可愛並有早餐。早餐很好，人們甚至更好。在那裡，我們遇到了這個來自英國的友好家庭，一個名叫Owen的嬰兒和他7歲的妹妹Kyra。歐文和凱拉在吃早餐時玩捉迷藏。凱拉反覆躲在同一把椅子後面，跳出來向她的弟弟透露自己。歐文在這個過程中每次都感到驚喜。所有人都天生好奇。然而，隨著年齡的增長和熟悉事物，他們會失去它。這種現象可能是我們永遠不會為自己城市中的瑣事而煩惱的原因。
好奇心與資料科學事業
充滿好奇和意識需要不斷的精力和努力。也許，人類有自然傾向於陷入低能量狀態。儘管如此，這對分析師來說尤其危險，因為他們的工作需要在對他人而言看似平凡的事情中找到意義。在我看來，分析的最大挑戰不是統計演演算法的複雜性和計算能力的提高，而是讓其從業者保持好奇並不斷提出問題。禪宗佛教徒試圖透過生活在當下來實現宇宙意識。如果這太難了，我建議把你的工作當作一個很棒的旅遊目的地，做個好遊客 – 好奇又有意識。
好的，所以這與我們對評分卡的最初討論有點迂迴。但是，有幾個原因告訴你上面的內容：主要是告訴你為什麼我在釋出這個系列的這一部分時遲到了。其次，我希望我們討論一般對工作和生活充滿好奇的重要性和挑戰。我已經有一些例子，即路易斯巴斯德和愛德華洛倫茲，但這是為了以後。
現在，讓我們繼續討論這個部分的主題，即模型評估。
模型驗證和評估
當我在高中時，我在暑假期間加入了板球學院。 Cricket是一款與棒球非常相似的遊戲。我將在括號中使用棒球術語，讓每個人都能理解。訓練營的設計是訓練大約一個月，然後與來自另一個俱樂部的相同技能水平的孩子進行完整的比賽。在營地裡有一個高大瘦弱的孩子和我們在一起;在訓練期間，他一直是明星投手（投手）。他過去常常把一些最好的Yorkers（曲線球）弄成一團糟。我們非常肯定他會在遊戲中勝過每個人。我們要求他開啟bowling，他的第一個bowling去了六個（本壘打），然後是幾個。也許這是混合比賽壓力，期望和人群，但他的表現是絕對的災難。後來教練告訴我們發生的事情並不罕見，他以前曾多次見過這件事。在更高的級別，遊戲不是在地面上播放，而是在耳朵之間的空間播放。顯然，他指的是球員的思想和氣質。
模型驗證的抽樣策略
正如俗名所說，布丁的考驗就在於吃。一個人可能是訓練場上的明星，但在比賽情況下完全失敗了。對於分析模型也是如此。經過一輪訓練（系列的第5部分）後，模型經過了幾輪測試。
1.樣本外測試：記住第2篇文章，我們將樣品分成培訓和測試樣品。第一級測試發生在保持或測試樣本上。測試樣本需要與訓練樣本一樣好。讓我們在下一節回到這一點，我將討論效能和ROC曲線的措施。
2.時間外樣本測試：由於該模型是基於合理年份的投資組合樣本（參見第2部分），因此分析師希望測試最近投資組合的表現。在這段時間樣本中，不良借款人（90+ DPD）的數量肯定會減少，但是對比分的好/壞比率的整體趨勢仍將是模型表現的良好指標。此外，分析師可以放鬆不良貸款的條件，並認為30+ DPD是壞的。同樣，整體趨勢應該與記分卡估計相匹配。
3.現場測試：這是布丁測試的地方;分析師需要完全瞭解銀行自開發記分卡以來所經歷的任何信貸政策變化，更重要的是，變更將對評分卡產生的影響。永遠記住不是每個政策變化都會影響記分卡 – 良好的商業理解和一些常識在這裡真的很有幫助。定期監控並相應地校準記分卡是保持更新的好方法。
模型驗證的效能測試
有幾種方法可以測試記分卡的效能，例如混淆矩陣，KS統計，基尼繫數和ROC曲線下麵積（AUROC）等.KS統計量是記分卡開發中廣泛使用的度量標準。 但是，相對其他，我個人更喜歡AUROC。 我必須新增Gini是AUROC的變種。 我喜歡AUROC的原因可能是我在物理和工程方面的正式培訓。 我認為這是一個更全面的衡量標準，讓分析師可以直觀地分析模型的表現。相對原始數字，我更喜歡圖形和視覺統計。
相鄰的圖表顯示了ROC。曲線上的兩個軸是真實和誤報率。正如預期的那樣，該圖表通知了該模型的預測水平。一個完美的模型將完美地隔離好的和壞的案件。因此，您將在開始時獲得100％真實的正數（即絕對提升），如圖中的綠色曲線所示。但是，生活中的任何事物都不存在完美。正如他們所說 – 如果真是太好了，那可能就是這樣。另一個極端是一個毫無價值的模型，曲線標記為紅色。任何靠近或低於紅色曲線的東西都和投擲硬幣一樣好，那麼為什麼要費心去打造一個模型。最後，典型的記分卡ROC看起來像藍色曲線。通常的信用評分模型的AUROC在70到85之間，越高越好。但是，對於某些欺詐和保險樣式，略高於60的是可接受的ROC。同樣，分析師應該在最終確定ROC之前確保評分卡的業務收益。在最終確定模型並將其報告給最高管理層之前，簡單的成本收益分析可以顯著提供幫助。
總結
我希望在閱讀完之後，你會拿起你的相機並參觀街角的未開發的角落 – 並準備好迎接一些奇妙的驚喜！
參考資料
-
Credit Risk Scorecards: Developing and Implementing Intelligent Credit Scoring – Naeem Siddiqi
-
Credit Scoring for Risk Managers: The Handbook for Lenders – Elizabeth Mays and Niall Lynas
作者：Roopam Upadhyay
原文連結：
http://ucanalytics.com/blogs/credit-scorecards-model-validation-part-6/
版權宣告：作者保留權利，嚴禁修改，轉載請註明原文連結。
資料人網是資料人學習、交流和分享的平臺http://shujuren.org 。專註於從資料中學習到有用知識。
平臺的理念：人人投稿，知識共享；人人分析，洞見驅動；智慧聚合，普惠人人。
您在資料人網平臺，可以1）學習資料知識；2）建立資料部落格；3）認識資料朋友；4）尋找資料工作；5）找到其它與資料相關的乾貨。
我們努力堅持做原創，聚合和分享優質的省時的資料知識！
我們都是資料人，資料是有價值的，堅定不移地實現從資料到商業價值的轉換！
點選閱讀原文，進入資料人網