基于sklearn的線性分類器logistics（對數幾率回歸）Python實現

聲明 ：本人小白，文章作為自己的學習參考資料，供大家學習交流
本文章 refer to

作者：月見樽 鏈接：https://www.jianshu.com/p/f9cb59dc99ec 來源：簡書
作者： 周志華 書名：《機器學習》 出版社：清華大學出版社

感謝此文章及書籍原創者
如有侵犯您的知識產權和版權問題，請通知本人，本人會即時做出處理并刪除文章

Email：louhergetup@gmail.com

理論部分

線性分類器

特征與分類結果存在線性關系的模型為線性分類器，模型通過累積特征和對應權值的方式決策，幾何學上可看成一個n維空間中的超平面，學習的過程就是不斷調整超平面的位置與傾斜程度，使該超平面可以最完美的將屬于不同類別的特征點區分開，公式為： $$f(w,x,b)=w^{T}x+b$$

logistic 函數

線性分類器輸出的是一個數，我們希望這個數在區間[0,1]之間，需要一個映射關系，這個映射關系就是logistic函數 $$g(x)=\frac{1}{1+e^{?x}}$$ 下面使用numpy和matplot繪制該函數的圖像

            
              x = np.linspace(start=-10,stop=10,num=1000)
y = 1 / (1 + np.exp(-x))
plt.plot(x,y)
plt.show()

            
          

將線性分類器公式帶入logistics函數后，可得logistics回歸模型 $$f(x,w,b)=\frac{1}{1+e?(wTx+b)}$$

對數幾率回歸

對數幾率回歸實際上是在用線性回歸模型的預測結果去逼近真實的對數幾率，特別需要注意的是雖然他的名字是“回歸”，但實際上卻是一種分類學習的方法，這種方法的優點有很多，例如：

• 它是直接對分類可能性進行建模，無需事先假設數據分布，這樣就避免了假設分布不準所帶來的問題；
• 它不是僅預測“類別”，而是可得到近似概率預測，這對許多需利用概率輔助決策的任務很有用；
• 對率回歸求解的目標函數是任意階可導的凸函數，有很好的數學性質，現有的許多數值化算法都可直接用于求解最優解。

使用python實現logistics

實驗環境

• 操作系統：win10 64
• 編程語言：Python3.7.3

導入Python庫

            
              import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import re
import csv
from sklearn.feature_extraction import DictVectorizer

            
          

數據源

我們用買電腦的例子作為數據源

將這些數據記錄保存成 .csv 文件：

            
              RID,age,income,student,credit_rating,class:buys_computer
1,youth,hight,no,fair,no
2,youth,hight,no,excellent,no
3,middle_aged,hight,no,fair,yes
4,senior,medium,no,fair,yes
5,senior,low,yes,fair,yes
6,senior,low,yes,excellent,no
7,middle_aged,low,yes,excellent,yes
8,youth,medium,no,fair,no
9,youth,low,yes,fair,yes
10,senior,medium,yes,fair,yes
11,youth,medium,yes,excellent,yes
12,middle_aged,medium,no,excellent,yes
13,middle_aged,hight,yes,fair,yes
14,senior,medium,no,excellent,no

            
          

這些數據即我們這次應用的數據源

數據整理

利用python標準庫中 csv 對這個數據源進行讀取
整理原始數據集，把隨機變量放在一個數組，分類結果放到另一個數組，形如：

            
              future_list = [
    {
        "age"   : "youth",
        "income": "hight",
        ...
    }
    ...
]
?
answer_list = ["no", "no", "yes", ...]

            
          

按照這個思路我們構造一下：

            
              data_file = open("computer_buy.csv", "r")
reader = csv.reader(data_file)
headers = next(reader)

future_list = []
label_list = []

for row in reader:
    label_list.append(row[-1])
    row_dict = {}
    for i in range(1, len(row) - 1):
        row_dict[headers[i]] = row[i]
    future_list.append(row_dict)
data_file.close()

            
          

隨機變量向量化

在 sklearn 提供的庫中，對輸入的特征有一定的要求，所有特征和分類都要是數值型的值，不能是例子中的類別的值。

怎么轉化呢？ 比方說 age 這個特征，它有三個值: youth , middle_aged , senior 。有一條記錄的 age=youth 針對這個特征我們就變成：

youth	middle_aged	senior
1	0	0

那么第一條記錄 youth,hight,no,fair 轉化為：

age=middle_aged	age=senior	age=youth	credit_rating=excellent	credit_rating=fair	credit_rating=fair	income=low	income=medium	student=no	student=yes
0	0	1	0	1	1	0	0	1	0

特征向量化

            
              vec = DictVectorizer()
dummy_x = vec.fit_transform(future_list).toarray()

print("dummy_x:", dummy_x)
print("vec.get_feature_names()", vec.get_feature_names())

            
          

特征向量化結果

            
              dummy_x: [[0. 0. 1. 0. 1. 1. 0. 0. 1. 0.]
 [0. 0. 1. 1. 0. 1. 0. 0. 1. 0.]
 [1. 0. 0. 0. 1. 1. 0. 0. 1. 0.]
 [0. 1. 0. 0. 1. 0. 0. 1. 1. 0.]
 [0. 1. 0. 0. 1. 0. 1. 0. 0. 1.]
 [0. 1. 0. 1. 0. 0. 1. 0. 0. 1.]
 [1. 0. 0. 1. 0. 0. 1. 0. 0. 1.]
 [0. 0. 1. 0. 1. 0. 0. 1. 1. 0.]
 [0. 0. 1. 0. 1. 0. 1. 0. 0. 1.]
 [0. 1. 0. 0. 1. 0. 0. 1. 0. 1.]
 [0. 0. 1. 1. 0. 0. 0. 1. 0. 1.]
 [1. 0. 0. 1. 0. 0. 0. 1. 1. 0.]
 [1. 0. 0. 0. 1. 1. 0. 0. 0. 1.]
 [0. 1. 0. 1. 0. 0. 0. 1. 1. 0.]]

            
          

分類結果向量化

            
              from sklearn import preprocessing
lb = preprocessing.LabelBinarizer()
dummy_y = lb.fit_transform(label_list)

            
          

模型建立

            
              from sklearn.linear_model import LogisticRegression
lr = LogisticRegression()

            
          

模型訓練

            
              lr.fit(dummy_x, dummy_y)

LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,
          intercept_scaling=1, max_iter=100, multi_class='ovr', n_jobs=1,
          penalty='l2', random_state=None, solver='liblinear', tol=0.0001,
          verbose=0, warm_start=False)

            
          

模型測試

            
              from sklearn.metrics import classification_report
#測試數據
first_row = dummy_x[0, :]
new_row = list(first_row)
new_row[0] = 1
new_row[2] = 0

print(lr.score(dummy_x,dummy_y))
y_result = lr.predict(dummy_x)
print(classification_report(dummy_y, y_result, target_names=['NO', 'YES']))

            
          

            
              0.8571428571428571
              precision    recall  f1-score   support

          NO       1.00      0.60      0.75         5
         YES       0.82      1.00      0.90         9

   micro avg       0.86      0.86      0.86        14
   macro avg       0.91      0.80      0.82        14
weighted avg       0.88      0.86      0.85        14

            
          

• classification_report()用于測試準確率，精確率和召回率
• .score()用于評估本模型的準確率