建立指標(biāo)體系是企業(yè)數(shù)據(jù)分析的重要步驟。一個(gè)好的指標(biāo)應(yīng)該具有穩(wěn)定性、可靠性,而且要有明確定義和易于量化。但是,如何評(píng)價(jià)一個(gè)指標(biāo)的好壞呢?準(zhǔn)確率是一個(gè)非常常用的指標(biāo),下面從多個(gè)角度分析準(zhǔn)確率是否是一個(gè)好的指標(biāo)。

1.準(zhǔn)確率的定義

準(zhǔn)確率是一個(gè)二分類模型評(píng)估指標(biāo),表示分類正確的樣本占總樣本數(shù)的比例,數(shù)學(xué)公式為:Accuracy = (TP + TN) / (TP + TN + FP + FN),其中TP表示真正例,TN表示真反例,FP表示假正例,FN表示假反例。準(zhǔn)確率越高,模型的分類效果越好。

2.準(zhǔn)確率的優(yōu)點(diǎn)

(1)直觀易懂,不需要太多專業(yè)知識(shí)就能理解,這使得準(zhǔn)確率成為非常通用的指標(biāo)。

(2)針對(duì)于數(shù)據(jù)樣本來說,準(zhǔn)確率是比較準(zhǔn)確的評(píng)估指標(biāo),可以很好的評(píng)估模型的分類效果,特別是對(duì)于樣本類別分布均勻的數(shù)據(jù)集來說,準(zhǔn)確率是一個(gè)比較好的指標(biāo)。

(3)對(duì)于某些業(yè)務(wù)場(chǎng)景來說,準(zhǔn)確率是最為重要的指標(biāo),比如金融場(chǎng)景中對(duì)于信用評(píng)分模型以及拒絕推斷模型來說,準(zhǔn)確率是絕對(duì)不能出錯(cuò)的,否則將會(huì)給企業(yè)帶來巨大的風(fēng)險(xiǎn)。

3.準(zhǔn)確率的缺點(diǎn)

(1)不適用于樣本不均衡的數(shù)據(jù)集。當(dāng)樣本不均衡時(shí),模型會(huì)把大部分樣本都預(yù)測(cè)為占比較大的類別,從而導(dǎo)致準(zhǔn)確率會(huì)非常高,但是模型的分類效果相對(duì)較差,比如垃圾郵件分類問題中,真實(shí)垃圾郵件的比例通常只有1%左右,這時(shí)分類器把所有郵件都預(yù)測(cè)為非垃圾郵件,準(zhǔn)確率就會(huì)達(dá)到99%以上,但是這個(gè)模型毫無實(shí)用價(jià)值。

(2)無法反映模型的分類置信度。比如一個(gè)二分類模型,對(duì)于一個(gè)樣本的預(yù)測(cè)結(jié)果是正樣本,但是其分類置信度為50%,那么這里的準(zhǔn)確率是0.5,無法反映出模型對(duì)這個(gè)判斷的置信度。

4.如何應(yīng)對(duì)準(zhǔn)確率的缺點(diǎn)

(1)針對(duì)樣本不均衡的問題,可以采用其他評(píng)價(jià)指標(biāo),比如精確率、召回率、AUC等指標(biāo)。

(2)在某些業(yè)務(wù)場(chǎng)景下,可以考慮引入閾值(threshold)來解決準(zhǔn)確率無法反映分類置信度的問題,比如將閾值設(shè)置為0.8,只有當(dāng)模型的分類置信度高于0.8時(shí),才將樣本分類為正樣本。

總的來說,準(zhǔn)確率作為一個(gè)指標(biāo),具有很多的優(yōu)點(diǎn),但是也存在很多的限制,需要針對(duì)不同的業(yè)務(wù)場(chǎng)景,選擇最適合的評(píng)估指標(biāo)。