如何評估和應(yīng)用監(jiān)督模型

申請免費試用、咨詢電話：400-8352-114

在生產(chǎn)系統(tǒng)中使用監(jiān)督模型進行預(yù)測之前，評估監(jiān)督模型的質(zhì)量很重要。用戶可以選擇針對問題的最佳模型，并用它來預(yù)測應(yīng)用數(shù)據(jù)集的目標值。

為了測試監(jiān)督模型，將歷史數(shù)據(jù)分成兩個數(shù)據(jù)集，一個用于構(gòu)造模型，另一個用于測試模型。測試數(shù)據(jù)集實例通常不用于構(gòu)造模型，目的是為了真正評估模型的預(yù)測正確性。JDM為分類模型支持四種流行的測試度量: 預(yù)測準確率、模糊矩陣、受試者工作特征（ROC）和提升率。這些度量的計算方式是通過比較預(yù)測目標值和實際目標值。這里探討在ABCBank客戶流失問題這一環(huán)境下的這些測試度量。

評估分類模型的質(zhì)量

在客戶流失問題中，假定測試數(shù)據(jù)集有1000個實例，分類模型正確預(yù)測了910個實例、錯誤預(yù)測了90個實例。那么模型預(yù)測該數(shù)據(jù)集的準確率為910/1000 = 0.91，即91%。

假設(shè)在910個正確的預(yù)測中，750個客戶是非流失客戶，剩余160個是流失客戶。在90個錯誤的預(yù)測中，60個被預(yù)測為流失客戶，而實際上是非流失客戶；30個被預(yù)測為非流失客戶，而實際上是流失客戶。為此，我們使用名為模糊矩陣的方法。模糊矩陣是一張二維的N×N表，表明了分類模型對特定測試數(shù)據(jù)進行的正確預(yù)測和不正確預(yù)測的數(shù)量，其中N代表目標屬性值的數(shù)量。之所以被稱為模糊矩陣，因為它指出了模型在何處變得模糊，即做出不正確的預(yù)測。

雖然在本例中模糊矩陣度量的是目標值的錯誤分類，但錯誤否定的成本是錯誤肯定的三倍。為了從業(yè)務(wù)角度評估模型質(zhì)量，除了準確率外，我們還需要度量成本。如果指定了成本矩陣，考慮成本值來度量性能、選擇成本值最小的模型很重要。

受試者工作特征（ROC）是比較分類模型質(zhì)量的另一個方法。ROC圖把錯誤肯定率放在X軸上、把真肯定率放在Y軸上，如圖1所示。其中，錯誤肯定率是錯誤肯定數(shù)量與實際否定總數(shù)之比。同樣，真肯定率是真肯定數(shù)量與實際肯定總數(shù)之比。

想繪制ROC圖，測試任務(wù)就要確定在不同概率閾值下，錯誤肯定和真肯定的比率。超過概率閾值預(yù)測的肯定目標值的概率就被認為是肯定預(yù)測。不同的概率閾值導(dǎo)致出現(xiàn)不同的錯誤肯定率和真肯定率。如圖1(a)所示。

圖1（b）顯示了兩個分類模型在不同概率閾值下繪制的ROC曲線。如果錯誤肯定率不同，這些模型的性能也不同。ROC曲線下方面積越大，模型性能一般越高。

提升率和累積增益也是評估分類模型效果的常用度量。提升率是使用分類模型獲得的結(jié)果與使用隨機選擇獲得的結(jié)果之比。累積增益是由模型通過數(shù)據(jù)分位數(shù)（quantile）決定的肯定響應(yīng)比例。實例通常分成10個或者100個分位數(shù)，可以根據(jù)這些分位數(shù)得出提升率和累積增益，如表1所示。提升圖和累積增益圖往往用做評估性能模型的直觀教具。了解累積提升和累積增益的計算方式有助于了解累積提升和累積增益圖，如圖2所示。

獲得預(yù)測結(jié)果

使用測試數(shù)據(jù)評估了模型性能后，用戶可以選擇針對問題的最佳模型，并用它來預(yù)測應(yīng)用數(shù)據(jù)集的目標值。有些算法可能在最終模型中使用輸入屬性的一個子集。這個屬性子集稱為模型特征（model signature），它可以從模型中獲取，確定應(yīng)用模型需要哪些屬性。

本文利用簡單的決策樹模型來演示模型應(yīng)用操作。該模型有三個輸入屬性：年齡、資本收益和平均儲蓄余額，如上文B23版表2所示。模型只用了其中的兩個屬性：年齡和平均儲蓄余額，如圖3所示。這兩個屬性構(gòu)成了模型特征。因而，要使用這個模型，該模型的應(yīng)用數(shù)據(jù)集只需要包含有年齡和平均儲蓄余額兩個屬性值的實例。要了解應(yīng)用過程，不妨考慮有兩個客戶實例：客戶Jones和Smith的應(yīng)用數(shù)據(jù)集，如表2所示。

分類應(yīng)用操作可以使用各種內(nèi)容來生成預(yù)測結(jié)果，譬如預(yù)測類別、概率、成本。在JDM中，可通過各種形式顯示應(yīng)用預(yù)測結(jié)果，譬如頂層預(yù)測細節(jié)、頂節(jié)點或底節(jié)點預(yù)測等。預(yù)測結(jié)果的選擇取決于問題需求以及用戶想看到的信息類型。在本例中，我們生成了頂層預(yù)測值及對應(yīng)的概率和成本，以確認流失客戶。

即使將模型應(yīng)用到數(shù)據(jù)集上很常見，但如果客戶屬性發(fā)生變化，預(yù)測和概率可能會隨之變化。譬如說，如果客戶打電話給銀行要求把大筆資金從儲蓄賬戶轉(zhuǎn)到另一家銀行，呼叫中心的應(yīng)用系統(tǒng)就會顯示預(yù)先計算的預(yù)測，表明該客戶可能會流失。這基于客戶的前一個賬戶余額。如果轉(zhuǎn)賬，這可能會改變模型對該客戶的預(yù)測。因此，根據(jù)最新數(shù)據(jù)實時重新評估客戶很有用。這可以使用JDM的單記錄應(yīng)用功能就可以實現(xiàn)，旨在提供實時響應(yīng)機制。 (ccw)