主成分分析是一種常用的降維方法，多見于數(shù)據(jù)預處理階段，其偽代碼如下：

---

輸入：樣本數(shù)據(jù)集D={x1,x2,x3,x4},低空間維度數(shù)d'

過程：

• 1 對所有樣本進行中心化(每個特征維度都減去其均值)

• 2 計算所有樣本的協(xié)方差矩陣

• 3 對協(xié)方差矩陣進行特征分解

• 4 取最大的d'個特征值的對應特征向量w1,w2,w3

輸出： 投影矩陣W*=（w1,w2,wd'）

---

下面是其代碼實現(xiàn)：

首先是產(chǎn)生數(shù)據(jù)，我們使用sklearn的make_blobs方法產(chǎn)生三類數(shù)據(jù)，每類有三個特征。數(shù)據(jù)結(jié)構(gòu)是(n_samples, n_features)

圖片如下：

?

可以看到，三維空間下的三類數(shù)據(jù)分的很開，在二維結(jié)構(gòu)下，只有圖(1)分的較開，從這一角度來看，我們的feature1和feature2是比較好的特征。

?

            
              import numpy as np
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D


np.random.seed(123)
if __name__ == '__main__':
    # 產(chǎn)生三類數(shù)據(jù)
    x, y = make_blobs(n_samples=600, n_features=3, centers=3)
    # 繪制三維圖像
    fig = plt.figure(figsize=(8, 6))
    ax = Axes3D(fig)
    ax.scatter(x[:, 0], x[:, 1], x[:, 2], c='r')
    plt.savefig('3-D distribution of Datapoints')
    plt.show()
    #  # 繪制二維圖像
    fig = plt.figure(figsize=(8, 6))
    ax1 = fig.add_subplot(2, 2, 1)
    ax1.scatter(x[:, 0], x[:, 1], c=y)
    ax2 = fig.add_subplot(2, 2, 2)
    ax2.scatter(x[:, 1], x[:, 2], c=y)
    ax3 = fig.add_subplot(2, 2, 3)
    ax3.scatter(x[:, 0], x[:, 2], c=y)
    plt.savefig('2-D distribution of Datapoints')
    plt.show()

    #  step1 中心化
    x_mean = np.mean(x, axis=0)
    x_center = x - x_mean
    #  step2 計算協(xié)方差矩陣
    covX = np.cov(x_center.T)
    #  step3 對協(xié)方差矩陣進行特征分解
    featureValue, featureVector = np.linalg.eig(covX)
    #  step4 取最大的幾個特征值
    index = np.argsort(-featureValue)
    selectVec = featureVector.T[index[:2]]
    print(selectVec.shape)
    final_matrix = np.dot(x_center, selectVec.T)
    print(final_matrix.shape)

    # 繪制最終二維圖像
    fig = plt.figure(figsize=(8, 6))
    plt.scatter(final_matrix[:, 0], final_matrix[:, 1], c=y)
    plt.title('2-D distribution after PCA')
    plt.savefig('2-D distribution of Datapoints after PCA')
    plt.show()
            
          

?

PCA的結(jié)果如下圖所示，可以看到，效果明顯：

?

總結(jié)分析：為什么PCA有效

分析：PCA的目標是通過某種線性投影方法，將高維的數(shù)據(jù)映射到較低維的空間中，并期望在所投影的維度上數(shù)據(jù)的信息量最大（方差最大，通過協(xié)方差矩陣的特征實現(xiàn)），具體內(nèi)容可看博客：PCA主成分分析 詳細解釋