前言

昨天师弟问我应该如何理解PCA，然后我又重新整理一下，也和大家聊一下主成分分析，英文 Principal Component Analysis，简称 PCA。其实它就是一个实用的工具，专门用来处理那种“特征太多”的数据。简单来说，PCA 能帮我们把复杂的数据“压缩”成更简单的东西，同时尽量不丢掉重要的信息。

比如说，你在研究房子数据，有一堆特征：面积、房间数、楼层、距离市中心的公里数、价格……光看这些就头晕了吧？PCA 就能把这些乱七八糟的特征“浓缩”成几个关键指标，让你一看就明白数据在讲啥。

这篇文章会用大白话把 PCA 讲清楚：它是什么、怎么来的、怎么用。会说一些具体的例子直观说明。后续也会持续更新其他算法，可以关注一下~

1. PCA 是什么？

主成分分析（PCA）是一种无监督学习方法，旨在通过线性变换将原始的高维数据映射到一个低维空间，同时尽可能保留数据的方差（即信息量）。简单来说，PCA 的目标是找到一组新的坐标轴（称为主成分），这些坐标轴能够捕捉数据中最大的变异性，并用更少的维度来近似表示原始数据。

关键名词：

维度：就是数据的“特征数量”。比如，房子的面积、房间数是 2 个维度，加个价格就变成 3 维。降维：把维度变少。比如，原来有 10 个特征，降维后只剩 2 个。主成分：PCA 找到的“新坐标轴”。这些新坐标轴是原来特征的某种组合，能抓住数据里最大的变化。

比如：如果数据是一堆散乱的点，主成分就像是你找到的最粗的那根“趋势线”，能概括大部分点的走向。 方差：数据的“散乱程度”。方差越大，说明数据点越分散，越能体现差异。

比如：如果所有学生的数学成绩都是 80 分，方差就很小；如果有人 100 分，有人 20 分，方差就很大。

2. PCA 的原理

我们一步步拆开，用例子讲明白它的原理。现假设我们有学生成绩的数据，来看看 PCA 怎么操作。

2.1 数据定义

我们有 5 个学生的数学和物理成绩：

学生

数学成绩

物理成绩

A

80

85

B

90

80

C

70

75

D

60

70

E

85

90

把这些点画在图上（横轴是数学，纵轴是物理），你会发现它们差不多沿着一条斜线分布。因为数学和物理成绩通常相关：数学好的，物理一般也不差。PCA 的目标就是找到这条“斜线”，然后用它来简化数据。

2.2 PCA 计算步骤

步骤 1：数据中心化

首先，我们需要将数据中心化，即让每个特征的均值变为 0。

计算均值：

数学均值：(80 + 90 + 70 + 60 + 85) ÷ 5 = 77物理均值：(85 + 80 + 75 + 70 + 90) ÷ 5 = 80 中心化后的数据（原始值减去均值）：

数学：80-77=3, 90-77=13, 70-77=-7, 60-77=-17, 85-77=8物理：85-80=5, 80-80=0, 75-80=-5, 70-80=-10, 90-80=10

中心化后数据表格：

学生

数学（中心化）

物理（中心化）

A

3

5

B

13

0

C

-7

-5

D

-17

-10

E

8

10

步骤 2：计算协方差矩阵

这是PCA的核心之一，协方差矩阵反映了特征自身的方差和特征之间的相关性。（这里不再给出具体公式，直接计算更直观）

协方差矩阵：

步骤 3：特征值分解

这是PCA的核心之一，我们需要对协方差矩阵进行特征值分解，得到主成分的方向（特征向量）和重要性（特征值）。这里直接给出计算结果（实际计算涉及求解二次方程，略去细节）：

特征值：

λ1​≈189.345

λ2≈18.15

特征向量：

v1​≈[-0.860， -0.50896]（对应 λ1​）

v2≈[-0.860，0.50896]（对应 λ2）

步骤4：排序、选择主成分

按特征值从大到小排序，λ1≈189.345最大，说明v1≈[-0.860， 0.50896]是第一个主成分，捕捉了数据中最大的变化，也就是数据分布中最显著的变化方向。第二个主成分与第一个主成分正交（相互垂直），且在正交约束下方差次大的方向。后续主成分：依此类推，每个主成分都与前面的主成分正交，并按特征值大小递减排列。

步骤5：投影数据

将中心化后的数据投影到第一个主成分1上，得到降维后的结果。

投影公式：Z=数学中心化值×0.894+物理中心化值×0.447

计算每个学生：

A:3×(-0.860)+5×(-0.50896)≈-5.127

B:13×(-0.860)+0×(-0.50896)≈-11.190

C:-7×(-0.860)+(-5)×(-0.50896)≈8.570

D:-17×(-0.860)+(-10)×(-0.50896)≈19.72

E:8×(-0.860)+10×(-0.50896)≈-11.9759

降维后数据：

学生

主成分值

A

-5.127 B

-11.190 C

8.570 D

19.72 E

-11.9759

PCA后可以看到第一主成分红色箭头表明了数据的主要变化趋势，绿色箭头表示第二主成分方向。

举的例子数据有点少，可能不太明显看出来，然后使用生成了100个大致符合y=2x+1分布的点，可以明显看出来红色箭头表明了其变化方向，如下（程序附后）：

3. 几个问题

3.1 为什么要计算协方差矩阵？

协方差矩阵是 PCA 的基础，它用于描述数据集中变量之间的关系。具体来说：

定义：协方差矩阵是一个对称矩阵，对角线上的元素表示每个变量的方差，非对角线上的元素表示变量之间的协方差（即变量之间的线性相关性）。作用：PCA 的目标是找到一组新的坐标轴（称为主成分），使得数据在这些轴上的投影方差最大化，同时这些轴相互正交（不相关）。协方差矩阵正好量化了数据中的变异性和变量间的相关性，为找到这样的轴提供了基础。意义：通过协方差矩阵，我们可以了解哪些变量变化较大，哪些变量之间存在较强的关联，从而为后续的主成分提取奠定基础。

简单来说，计算协方差矩阵是为了捕捉数据的变异性和结构信息。

3.2 为什么要进行特征值分解？

特征值分解是 PCA 的关键步骤，它将协方差矩阵分解为特征值和特征向量，用于确定主成分的方向和重要性。原因如下：

特征向量：特征向量表示数据变异性最大的方向，这些方向是新的坐标轴（主成分），且彼此正交。这种正交性确保了主成分之间没有相关性。特征值：特征值表示每个特征向量方向上的方差大小。特征值越大，说明该方向捕捉的变异性越多。目的：通过特征值分解，我们可以将原始数据投影到这些特征向量上，从而实现降维，同时尽可能保留数据的信息。

换句话说，特征值分解帮助我们找到数据中最重要的变异方向，并用这些方向重新表示数据。

3.3 为什么要对特征值进行排序？

对特征值排序是 PCA 的重要环节，其目的是确保主成分按重要性排列。原因如下：

重要性排序：特征值的大小反映了每个主成分捕捉的方差大小。较大的特征值对应于更重要的主成分，因为它们解释了数据中更多的变异性。降维应用：通过将特征值从大到小排序，我们可以：

确保第一个主成分捕捉最大方差，第二个主成分捕捉次大方差，以此类推。在降维时，只保留前几个主成分（即特征值最大的那些），从而减少数据维度，同时保留主要信息。 可视化：排序后，选择前两个或三个主成分，可以将高维数据投影到二维或三维空间，便于观察和分析。

因此，排序特征值是为了按重要性排列主成分，确保降维时优先保留数据中最有价值的部分。

3.4 PCA 能干啥？

①数据可视化

场景：你有 50 个特征的癌症基因数据，想看看样本分布。PCA 降到 2 维，画散点图，能看出正常和癌症样本的区别。

②去噪声

场景：一张模糊的人脸照片。PCA 保留主要成分（人脸轮廓），丢掉小方差的噪声，照片变清晰。

③特征压缩

场景：手写数字识别，28x28 像素 = 784 维。PCA 降到 50 维，模型训练更快，效果差不多。

④数据压缩

场景：视频每一帧 1920x1080 像素。PCA 压缩每帧，节省存储和传输空间。

等等...甚至还可以使用PCA 提取客户“购物倾向”（买了啥，多少次）主成分，帮超市分析顾客类型。

4. MATLAB程序

% 生成一个二维数据集

rng(1); % 设置随机种子以确保结果可重复

n = 100; % 样本数量

x = linspace(0, 10, n); % 生成x轴数据

y = 2 * x + 1 + randn(1, n); % y与x有线性关系，并加入噪声

data = [x; y]'; % 组合成n x 2的矩阵

% 绘制原始数据

figure;

scatter(data(:,1), data(:,2), 50, 'filled');

title('原始数据');

xlabel('X');

ylabel('Y');

xlim([0 25]); % 设置横坐标范围为 [0,25]

ylim([0 25]); % 设置纵坐标范围为 [0, 25

grid on;

% PCA步骤

% 1. 中心化数据

mean_data = mean(data); % 计算均值

centered_data = data - mean_data; % 数据减去均值

% 2. 计算协方差矩阵

cov_matrix = cov(centered_data);

% 3. 特征值分解

[eigen_vectors, eigen_values] = eig(cov_matrix);

% 4. 按特征值大小排序

[eigen_values, sort_idx] = sort(diag(eigen_values), 'descend');

eigen_vectors = eigen_vectors(:, sort_idx);

% 5. 选择主成分

principal_components = eigen_vectors; % 保留所有主成分（这里是2个）

% 6. 将数据投影到主成分上

projected_data = centered_data * principal_components;

% 绘制PCA结果

figure;

hold on;

scatter(projected_data(:,1), projected_data(:,2), 50, 'filled');

% 绘制主成分方向

scale = 5; % 缩放因子，用于可视化主成分向量

quiver(0, 0, principal_components(1,1)*scale, principal_components(2,1)*scale, 'r', 'LineWidth', 2);

quiver(0, 0, principal_components(1,2)*scale, principal_components(2,2)*scale, 'g', 'LineWidth', 2);

title('PCA降维后的数据');

xlabel('主成分1');

ylabel('主成分2');

legend('数据点', '主成分1', '主成分2');

xlim([-15 15]); % 设置横坐标范围为 [-15, 15]

ylim([-5 10]); % 设置纵坐标范围为 [-5, 10]

grid on;

hold off;