rawpixel-602145-unsplash
 程式與統計統計模型

Principal Components Analysis (PCA) | 主成份分析 | R 統計

主成份分析(principal components analysis, PCA)的應用非常廣泛,可以簡化資料維度資訊,用最精簡的主成份特徵來解釋目標變數的最大變異,避免共線性與過度配適等問題。而主成份分析的計算過程會使用到線性代數中的特徵值與特徵向量技術。本學習筆記會介紹主成份分析的基礎以及R套件的函數用法。

Principal Components Analysis 主成份分析簡介

  • 主成分分析屬於非監督是式學習法,即處理一組沒有回應變數Y(目標變數)的一群X變數(\(X_{1},X_{2},…,X_{n}\)),即沒標籤的資料集(unlabeled data)。
  • 主成份分析的主要目的為:降低資料維度。一方面可以避免共線性問題發生,一方面別是當資料維度非常大量時,可以減少運算並避免過度配適等問題產生。

本篇文章主要會分成以下幾個部分

  1. 載入所需套件
  2. 資料準備
  3. 主成份分析
  4. 萃取主成分
  5. R語言內建的PCA函數

1. 載入所需套件

2. 資料準備

我們主要使用R內建數據USArrests。

3. Principal Components Analysis 主成份分析

  • 目的為使用較少的變數來解釋最多的變異。
  • 當遇上大量變數時,可以透過主成份分析將資料維度有效縮減,以利後續資料探勘與分析工作。
  • 我們希望透過主成份分析來達成:運用最少的代表性資料維度來有效摘要大部分的資料資訊或變異(能捕捉到越多資料變異越好)。

principal components analysis 主成份分析計算

假設我們的dataset由n個觀測值和p個維度所組成,而主成份分析(PCA)所找出的維度將是p個維度的線性組合

第一個主成份(\(Z_{1}\))到第p個主成份(\(Z_{p}\))可透過以下公式來表示:

$$Z_{1}=\phi_{11}X_{1}+\phi_{21}X_{2}+…+\phi_{p1}X_{p}$$

$$Z_{p}=\phi_{1p}X_{1}+\phi_{2p}X_{2}+…+\phi_{pp}X_{p}$$

其中,

  • \(\phi_{ji}\)稱為每一個主成分\(Z_{i}\)的負荷向量(loading vector)(由\(\phi_{1i},\phi_{2i},…,\phi_{pi}\)所組成)。為標準化數值,不同主成分間的負荷向量可互相比較。
  • 每個主成份\(Z_{i}\)的\(\phi_{ji}\)是透過最大化對應主成份\(Z_{i}\)的的解釋變異而得。
  • \(\sum_{j=1}^p\phi_{ji}^2=1\),表示各主成分由不同比重的原始維度所組成。
  • 每個主成分的負荷向量\(\phi_{ji}\)(loading vector)都是相互垂直的向量(\(\phi_{1}\perp \phi_{2} \perp …. \perp \phi_{p}\)),即表示各主成分彼此間的解釋變異為互相獨立的

我們可以使用線性代數的技術來計算每一個主成分的負荷向量(loading vector):

  1. 資料標準化。
  2. 計算個原始維度兩兩間的共變異矩陣(covariance matrix)。其中,共變異數計算公式如下:
    $$cov(X,Y)=\frac{1}{N-1}\sum_{i=1}^N(x_{i}-\bar{x})(y_{i}-\bar{y})$$
  3. 計算共變異矩陣的特徵值(eigenvalues)與特徵向量(eigenvectors)。而對應由大到小排列的特徵值的特徵向量,依序分別為解釋最大變異的主成分\(Z_{1}\)到解釋變異最小的主成分\(Z_{p}\)的負荷向量
  4. 萃取主成分。

Step 1: 資料維度標準化

主成份分析的第一步就是進行資料的標準化,標準化的好處是,可以消除不同指標間的單位度量衡差異。待分析出不同主成份後,可以互相比較不同主成份間的平均值。我們將各維度(欄)進行標準化(centering)。*而scale的方式就是 (x – mean(x)) / sd(x)。

step 2: 我們可以使用cov()函數來計算兩兩變數的共變異數矩陣\(p\times p\)如下。

step 3: 計算矩陣的特徵值(eigen values)與特徵向量(eigen vectors)。eigen()函數產出的物件包含兩部分:

  • $values:排序過後的特徵值。
  • $vectors:對應不同特徵值的特徵向量。

step 4: 我們將萃取首兩大主成分1和主成分2作為我們說明的例子。

因為R計算的特徵向量預設為指向負值,且我們知道特徵向量是獨特的值,只要是在同一方向上,不管是正向還是負向純量縮放,都是相同的。為了方便說明,我們將特徵向量乘上純量-1。

檢視以上萃取的主成分向量,我們可以做出以下推論:

  1. 主成分1(PC1): 代表各大犯罪(包含謀殺、突擊、強姦)的犯罪發生率因子。
  2. 主成分2(PC2): 代表為城市化水平因子。

有了對主成分的基本了解後,我們將各觀測值投影各主成分向量上,並計算各觀測值各主成分分數(principal component scores)

接著,我們將各國對應的主成分維度繪製成二維的平面圖。

  • 在PC1重大犯罪率維度上,Florida, Navada, California具有高重大犯罪率,而North Dakota, Vermont的重大犯罪率則較低。
  • 在PC2都市化程度維度上,Hawaii, New Jersey為高度都市化城市,而North California, Mississippi的都市化程度則較低。
  • 而接近中心點的城市如Indiana, Virginia則表示在兩維度表現皆為平均值。

principal components analysis, PCA, 主成份分析




4. 萃取主成分

透過以上計算過程我們能夠產出p個主成分向量,但是卻會有以下疑問:

  • 該如何決定萃取的主成分數目?
  • 萃取的主成分又構成資料變異的多少比例?

以下我們將介紹常用的指標PVE(The Proportion of Variance Explained)以及以利用該指標所繪出的資訊曲線圖,來輔助我們判斷每一個主成分解釋變異比例以及合適的萃取數。

The Proportion of Variance Explained (PVE)

第m個主成分解釋的變異量佔比計算公式如下:

$$PVE=\frac{\sum_{i=1}^n(\sum_{j=1}^p\phi_{jm}x_{ij})^2} {\sum_{j=1}^p\sum_{i=1}^n x_{ij}^2}$$

即為第m個主成分的特徵值除上所有主成分特徵值加總

從上面計算結果,我們可知第一個主成分解釋變異佔比為62%,第二主成分解釋變異占比為25%。而首兩個主成分總解釋變異便佔了87%。

我們可繪出各主成分所對應的解釋變異佔比以及累積佔比圖。

principal components analysis, PCA, 主成份分析

決定主成分萃取數

會視不同的分析目的和情形而定。一般來說,會根據每個主成分解釋變異百分比變化圖或累積圖,找出解釋絕大部分變異的最少主成分,約為線條出現「肘彎」轉折點處。比如說根據累積圖(上圖右),我們發現第三和第四主成分解釋的變異都有限,不如前兩個主成分,因此我們挑選解釋變異佔比前兩大主成分,兩主成分總構成約87%的變異。




5. R語言內建的PCA函數

在前面幾個步驟,我們為了熟悉主成分的計算邏輯,手動計算資料的共變異矩陣與矩陣對應的特徵值與特徵向量,但並不適合複雜的PCA運算。這邊將介紹一個R簡化PCA運算常用的套件: stats套件中的prcomp()函數。

prcomp()函數可以被用來快速處理上述幾個PCA相關運算。幾個重要參數包括:

  • center: 預設值為TRUE。表示將資料平均值置中為0。
  • scale: 預設值為TRUE。表示將資料標準差壓縮為1。

我們可將pca_result結果全部列出或列出list名稱names(pca_result)或透過pca_result$xxx單獨呼叫list物件,對照了解以下資訊。

sdev: 表示每個主成分的標準差。

rotation: 每個主成分的負荷向量(loading vector)。也因為R預設特徵向量指向負向,我們調整將特徵向量乘上純量-1。經調整後,便和我們先前手動計算的結果相同了。

center, scale: 每一個主成分在資料標準化前的平均數與標準差。

另外,我們也可以從結果取得每一個國家(每一個觀察值)的主成分分數。(但記得,如同特徵向量之處理,主成分分數也要乘上純量-1) 。

如果要印出二維主成分圖,可以使用stat套件中的biplot()函數。常用參數包括:

  • choice: 預設為使用第一和第二欄來繪製(choice = 1:2)。如果想要調整繪製x,y軸,比如說繪製第三和第四主成分則可將參數設定為choices = 3:4。

跟先前比較不同之處,圖中的標記的紅色向量分別表示各變數對主成分的作用的方向。

principal components analysis, PCA, 主成份分析

另外,我們也可以算出每個主成分解釋變異量。

計算PVE。結果跟先前手動計算相同。

總結

主成分分析的應用非常廣泛,不僅可搭配迴歸、羅吉斯回歸、分群演算法一併使用,來有效降低維度。

或是說,在查看分群結果時,我們可透過fviz_cluster()或plot.kmeans()函數將多維資料呈現在二維平面用的即是主成分分析方法(請參考「分群分析 Clustering | Partitional Clustering」)。





更多統計模型筆記連結:

  1. Linear Regression | 線性迴歸模型 | using AirQuality Dataset
  2. Regularized Regression | 正規化迴歸 – Ridge, Lasso, Elastic Net | R語言
  3. Logistic Regression 羅吉斯迴歸 | part1 – 資料探勘與處理 | 統計 R語言
  4. Logistic Regression 羅吉斯迴歸 | part2 – 模型建置、診斷與比較 | R語言
  5. Decision Tree 決策樹 | CART, Conditional Inference Tree, Random Forest
  6. Regression Tree | 迴歸樹, Bagging, Bootstrap Aggregation | R語言
  7. Random Forests 隨機森林 | randomForest, ranger, h2o | R語言
  8. Gradient Boosting Machines GBM | gbm, xgboost, h2o | R語言
  9. Hierarchical Clustering 階層式分群 | Clustering 資料分群 | R統計
  10. Partitional Clustering | 切割式分群 | Kmeans, Kmedoid | Clustering 資料分群
  11. Principal Components Analysis (PCA) | 主成份分析 | R 統計

參考:

  1. 歐萊禮  R資料科學

在《Principal Components Analysis (PCA) | 主成份分析 | R 統計》中有 1 則留言

  1. 請教一下,文中提及主成分分析可搭配迴歸、羅吉斯回歸等演算法。如將訓練資料集的輸入變數進行PCA,然後萃取前5個主成分進行建模(多元迴歸),之後的測試資料集是不是要自行萃取前5個主成分才能帶入模型; 或是要使用訓練資料集的PCA前5個主成分的權重來計算出測試資料集的5個主成分,然後再用多元回歸模型進行預測?
    再麻煩您解惑,謝謝。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *