AUC介紹

AUC (Area Under Curve)是機器學習二分類模型中非常常用的評估指標，相比于 F1-Score 對項目的不平衡有更大的容忍性，目前常見的機器學習庫中(比如 scikit-learn )一般也都是集成該指標的計算，其計算原理可以參考這個 ROC和AUC介紹以及如何計算AUC ，但是有時候模型是單獨的或者自己編寫的，此時想要評估訓練模型的好壞就得自己搞一個 AUC 計算模塊，本文在查詢資料時發現 libsvm-tools ¹ 有一個非常通俗易懂的 auc 計算，因此摳出來用作日后之用。

AUC計算

AUC 的計算分為下面三個步驟：

1. 計算數據的準備，如果模型訓練時只有訓練集的話一般使用交叉驗證的方式來計算，如果有評估集( evaluate )一般就可以直接計算了，數據的格式一般就是需要預測得分以及其目標類別（注意是目標類別，不是預測得到的類別）

2. 根據閾值劃分得到橫（X: False Positive Rate ）以及縱（Y: True Positive Rate ）點

3. 將坐標點連成曲線之后計算其曲線下面積,就是 AUC 的值

直接上python代碼

#! -- coding=utf-8 --
import pylab as pl
from math import log,exp,sqrt

evaluate_result="you file path"
db = []  #[score,nonclk,clk]
pos, neg = 0, 0 
with open(evaluate_result,'r') as fs:
    for line in fs:
        nonclk,clk,score = line.strip().split('\t')
        nonclk = int(nonclk)
        clk = int(clk)
        score = float(score)
        db.append([score,nonclk,clk])
        pos += clk
        neg += nonclk
db = sorted(db, key=lambda x:x[0], reverse=True)
計算ROC坐標點
xy_arr = []
tp, fp = 0., 0.

for i in range(len(db)):
    tp += db[i][2]
    fp += db[i][1]
    xy_arr.append([fp/neg,tp/pos])
計算曲線下面積
auc = 0.

prev_x = 0
for x,y in xy_arr:
    if x != prev_x:
        auc += (x - prev_x) * y
        prev_x = x
print "the auc is %s."%auc
x = [_v[0] for _v in xy_arr]
y = [_v[1] for _v in xy_arr]
pl.title("ROC curve of %s (AUC = %.4f)" % ('svm',auc))
pl.xlabel("False Positive Rate")
pl.ylabel("True Positive Rate")
pl.plot(x, y)# use pylab to plot x and y
pl.show()# show the plot on the screen
</code></pre> 
  
輸入的數據集可以參考svm預測結果
 
  
其格式為:
 
  
nonclk \t clk \t score
 
  
其中：
 
  
 
   
nonclick :未點擊的數據，可以看做負樣本的數量
 
   
clk :點擊的數量，可以看做正樣本的數量
 
   
score :預測的分數，以該分數為group進行正負樣本的預統計可以減少 AUC 的計算量
 
  
 
  
運行的結果為:
 
  
 
  
如果本機沒安裝 pylab 可以直接注釋依賴以及畫圖部分
 
  
注意
 
  
上面貼的代碼:
 
  
 
   
只能計算二分類的結果（至于二分類的標簽隨便處理）
 
   
上面代碼中每個 score 都做了一次閾值，其實這樣效率是相當低的，可以對樣本進行采樣或者在計算橫軸坐標時進行等分計算
 
  
 
  
參考
 
  
 
   
http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/#roc_curve_for_binary_svm
 
  
 
  
 
 
  
 
 
  
 
 
  
來自：http://kubicode.me/2016/09/19/Machine Learning/AUC-Calculation-by-Python/