第 1 章 线性代数 I：向量空间、矩阵与四个基本子空间

本章要建立的不是"会算矩阵"，而是矩阵作为线性映射的思维方式：一个 m×n 矩阵把 n 维空间线性地压到 m 维空间，压掉了什么（零空间）、留下了什么（列空间）、有效维度是多少（秩）。后面所有章节——最小二乘、特征分解、SVD、PCA、注意力机制的维度账本——都是在这一套语言上做加法。

学习目标

读完本章，你应当能够：

1. 默写向量空间的八条公理，并用"对加法与数乘封闭"判定一个集合是否为子空间；
2. 推导矩阵乘法两种定义（元素求和式与线性组合式）的等价性，并解释为什么没有交换律；
3. 画出四个基本子空间的维度与正交关系图，写出秩-零化度定理并说明其证明思路；
4. 判定可逆性，并能从十个等价条件中任选一条推出另一条；
5. 辨析协方差矩阵与 Gram 矩阵的维度差异，说清"阶数由谁决定"。

前置知识检查

1.1 从向量到向量空间

1.1.1 先有直觉：向量是"可加、可缩放的东西"

中学阶段我们把向量理解为"带箭头的量"，或者干脆是一个坐标数组 x = (x₁, x₂, …, xₙ)。这个理解对计算够用，但对理解机器学习不够用。因为在机器学习里，被当作向量处理的往往是函数、多项式、图像块、词嵌入——它们不是箭头，却同样满足"能相加、能按比例缩放"。

两个向量最基本的操作是：

1

线性组合（linear combination）：  y = c₁x₁ + c₂x₂ + … + cₖxₖ

c₁…cₖ 是标量。线性代数的全部内容，本质上都在研究"线性组合能到达哪些点"以及"到达方式是否唯一"——前者是张成与列空间，后者是线性无关与零空间。

1.1.2 向量空间的公理化定义

设 V 是一个非空集合，在 V 上定义了加法 + 和数乘（标量乘法）两种运算。若对任意 u, v, w ∈ V 和任意标量 c, d ∈ R 都满足下列八条，则称 V 是向量空间（vector space），V 中的元素称为向量：

为什么要费劲列这八条？ 因为一旦某个结论只从这八条推出，它就自动对所有满足这八条的对象成立。后面我们会用同样的方式定义内积（第 2 章 2.1 节）、范数（2.2 节）、概率（第 4 章）——这叫"公理化方法"，是数学把特例升级为通用工具的标准手段。工程上的收益很直接：Faiss 里能对向量做的操作、NumPy 里能对数组做的操作，只要满足这八条就能共用同一套算法。

需要立刻记住的两个常见向量空间：

• R^n：所有 n 元实数列向量，加法和数乘按分量做。
• R^{m×n}：所有 m×n 实矩阵。注意矩阵本身也是向量——R^{m×n} 与 R^{mn} 只是排列方式不同。这一点在理解"梯度是一个向量"时很关键。

1.1.3 子空间与判定条件

V 的子集 W 若在继承的加法与数乘下自身也是向量空间，则称 W 是 V 的子空间（subspace）。

逐条验证八条公理是浪费的。因为 W ⊆ V，加法交换律、结合律、分配律等"等式型"公理自动继承。唯一可能失效的是封闭性与零元、负元是否存在。于是得到最常用的判定条件：

1
2
3
4

W 是子空间  ⟺  同时满足以下三条：
(1) 0 ∈ W                       （或：W 非空）
(2) 对任意 u, v ∈ W，u + v ∈ W   （加法封闭）
(3) 对任意 v ∈ W 和标量 c，cv ∈ W（数乘封闭）

(2)(3) 常合并成一句"对线性组合封闭"：∀ c₁,c₂ ∈ R, ∀ u,v ∈ W，c₁u + c₂v ∈ W。此时 0 的存在性由 c₁ = c₂ = 0 自动得到，−v 由 c₁ = −1, c₂ = 0 得到。

三类最重要的子空间来源（这三条要背下来，它们把"解方程"与"空间结构"连起来）：

1. n 元齐次线性方程组 Ax = 0 的解集是 R^n 的子空间，即零空间 N(A)。
2. 一组向量的全部线性组合构成子空间，即张成空间（span）。
3. 矩阵 A 的各列的全部线性组合构成子空间，即列空间 Col(A)。

1.1.4 张成、基与维数

给定向量组 {v₁, …, vₖ}，它的张成空间是

1

span{v₁, …, vₖ} = { c₁v₁ + c₂v₂ + … + cₖvₖ : cᵢ ∈ R }

直觉：span 是这组向量"用有限步线性组合能够到"的全部位置。span{(1,0),(0,1)} = R²；span{(1,0),(2,0)} = x 轴（第二个向量没带来任何新方向）。

如果一组向量 {b₁, …, b_d} 同时满足：

• 张成 W：span{b₁,…,b_d} = W；
• 线性无关：没有任何一个向量能由其余向量线性表示；

那么它称为 W 的一组基（basis）。基的两条要求恰好回答了两个问题：够不够用（张成）与有没有多余（无关）。所以基是"恰好够用的最小生成组"，也是"最大的无关组"。

维数（dimension） 定义为基中向量的个数。这里有一个必须证过才能安心使用的事实：同一个空间的所有基含有的向量个数相同。证明思路是标准的"替换论证"——若存在一组 d 个无关向量和一组 e 个张成向量，则 d ≤ e（否则方程 Σcᵢvᵢ = 0 的未知数比方程多，必有非零解，破坏无关性）。对两组基互相代入即得 d ≤ e 且 e ≤ d，故 d = e。有了这条，维数才是空间自身的属性，而不是"某个基的属性"。

几个必背维数：

1
2
3
4

dim R^n = n
dim{0} = 0
dim span{v₁,…,vₖ} = 该向量组的极大无关组所含向量个数
dim P_n（次数 ≤ n 的多项式）= n + 1

1.2 矩阵：线性映射的坐标表示

1.2.1 矩阵乘法为什么这样定义

教材给出的是"左行乘右列、逐项相乘再相加"。这个算法本身没有解释力，需要问的是：为什么不是对应元素相乘？ 答案要从"矩阵是线性映射"说起。

设 A 是 m×n 矩阵，x ∈ R^n。我们定义 A 作用于 x 的结果为 A 的各列按 x 的分量加权组合：

1
2

Ax = [a₁ a₂ … aₙ] · [x₁, x₂, …, xₙ]ᵀ
   = x₁a₁ + x₂a₂ + … + xₙaₙ        （aⱼ 是 A 的第 j 列，是 R^m 中的向量）

这个定义的含义是：Ax 一定是 A 的列向量的线性组合。于是"Ax = b 有解"与"b ∈ Col(A)“是同一句话，这就把线性方程组问题翻译成了空间问题。这是四个基本子空间的起点。

现在设 B 是 n×p 矩阵，复合映射 x ↦ A(Bx) 也是线性的，它的矩阵表示应该就是 AB。按上面的列组合定义推：

1

AB = A[b₁ b₂ … bₚ] = [Ab₁ Ab₂ … Abₚ]

即 AB 的第 j 列 = A 乘以 B 的第 j 列。再展开 Abⱼ：

1

(AB)_{ij} = Σ_{k=1}^{n} A_{ik} B_{kj}

这就回到了教材的"行乘列"公式。所以矩阵乘法的定义不是约定，是被"复合映射"逼出来的唯一选择：只有这种乘法的第 j 列才等于 A 作用在 B 第 j 列上的结果。如果改用逐元素相乘（Hadamard 积），复合映射就不再被正确表示，反传公式、层叠网络、注意力机制都会崩掉。

为什么没有交换律？ 因为映射的复合本身不可交换：先把 R² 沿 x 轴压扁再旋转，与先旋转再压扁，结果不同。另外 AB 要求 A 的列数等于 B 的行数，而 BA 有定义需要另一组条件，很多时候只有一边能乘。代数上，“乘法可交换"是极强约束——能与所有矩阵交换的矩阵只有 cI（标量矩阵）。

1.2.2 运算律与常见错误

转置的几何含义：(AB)ᵀ = BᵀAᵀ 与 (A⁻¹)ᵀ = (Aᵀ)⁻¹ 都是"反序”。转置的计算规则是主对角线元素不动、其余元素关于主对角线对称交换：(Aᵀ)_{ij} = A_{ji}。

1
2
3
4
5
6
7

A  = [ 1  2 ]        Aᵀ = [ 1  3 ]
     [ 3  4 ]             [ 2  4 ]
       ↑ 主对角线 1、4 位置不变，2 与 3 交换

错误做法：把矩阵旋转 180°  → [ 4  3 ]   （这是另一个矩阵，不是转置）
                              [ 2  1 ]
错误做法：只交换副对角线上的一个元素 → 不是合法的转置

1.3 四个基本子空间

1.3.1 定义与坐标归属

设 A ∈ R^{m×n}，r = r(A)。四个基本子空间（fundamental subspaces）如下。最容易被忽略、也最容易记错的是每个子空间住在哪个空间里，这取决于它是一个"输入侧"还是"输出侧"的概念。

判断象限的方法只有一句：看这个子空间的元素是什么东西。Col(A) 与 N(Aᵀ) 的元素是 m 维向量（它们住在输出空间 R^m）；N(A) 与 Col(Aᵀ) 的元素是 n 维向量（住在输入空间 R^n）。

1
2
3
4
5
6
7
8
9

                    输入空间 R^n                         输出空间 R^m
        ┌──────────────────────────────┐   ┌──────────────────────────────┐
        │  dim = r     行空间 Col(Aᵀ)   │   │  dim = r     列空间 Col(A)   │
        │      （A 真正"看得见"的方向）  │ A │      （A 能达到的全部输出）   │
        │                              │──▶│                              │
        │  dim = n−r   零空间 N(A)     │   │  dim = m−r   左零空间 N(Aᵀ)  │
        │      （被 A 压成 0 的方向）    │   │      （A 永远达不到的方向）   │
        └──────────────────────────────┘   └──────────────────────────────┘
              ↑ 两者互相正交（正交补）           ↑ 两者互相正交（正交补）

1.3.2 正交补关系

“正交补"的意思是：两个子空间里任取一个向量都互相垂直，并且两者合起来的维数恰好等于整个空间的维数。

• N(A) ⊥ Col(Aᵀ)，即 R^n = N(A) ⊕ Col(Aᵀ)（⊕ 表示直和，即两者之和覆盖全空间且只交于零向量）。
• N(Aᵀ) ⊥ Col(A)，即 R^m = N(Aᵀ) ⊕ Col(A)。

先看第一条为什么成立。取 x ∈ N(A)、v ∈ Col(Aᵀ)，则 v = Aᵀy 对某个 y ∈ R^m 成立。于是

1

xᵀv = xᵀ(Aᵀy) = (Ax)ᵀy = 0ᵀy = 0

关键一步是 xᵀAᵀ = (Ax)ᵀ——这正是转置的定义 (Ax)ᵀ = xᵀAᵀ。所以 N(A) 中每个向量与 Col(Aᵀ) 中每个向量正交。第二条把 A 换成 Aᵀ 即得。

为什么要关心正交补？ 因为它给出了"解的分解”。任意 x ∈ R^n 可以唯一写成

1

x = x_row + x_null ,   x_row ∈ Col(Aᵀ)，x_null ∈ N(A)

其中 x_row 是 x 里”A 能感知的部分"，x_null 是"A 完全看不见的部分"。这正是梯度下降中"平坦方向"的数学刻画：往 x_null 方向走多远，Ax 都不变，所以损失的一阶变化为 0。

1.3.3 秩-零化度定理

定理（rank-nullity theorem）：对任意 A ∈ R^{m×n}，

1

r(A) + dim N(A) = n        （n 是列数，不是行数）

证明思路（必须能复述）：取 N(A) 的一组基 {z₁, …, z_{n−r}}（设 dim N(A) = n − r），把它扩充成 R^n 的一组基

1

{z₁, …, z_{n−r}, x₁, …, x_r}

分两步走。

第一步，证明 {Ax₁, …, Ax_r} 张成 Col(A)。任取 b ∈ Col(A)，有 b = Ax。把 x 用上面这组基展开：x = Σaᵢzᵢ + Σbⱼxⱼ。两边左乘 A，由于 Azᵢ = 0，得 Ax = Σbⱼ(Axⱼ)。于是 b 是 {Axⱼ} 的线性组合。

第二步，证明 {Ax₁, …, Ax_r} 线性无关。设 Σcⱼ(Axⱼ) = 0，则 A(Σcⱼxⱼ) = 0，说明 Σcⱼxⱼ ∈ N(A)。但 N(A) 由 {zᵢ} 张成，而 {xⱼ} 与 {zᵢ} 合起来是一组基（无关），所以 Σcⱼxⱼ 只能等于 0；再由 {xⱼ} 无关得所有 cⱼ = 0。

两步合起来说明 {Ax₁, …, Ax_r} 是 Col(A) 的基，故 dim Col(A) = r，即 r(A) + dim N(A) = n。证毕。

证明里唯一容易卡住的地方是第一步的"展开 x 必须用一组扩充后的基"。这里用到线性代数的一条基本引理：无关向量组一定能扩充成空间的基。直觉解释是，若 {xⱼ} 还没张满空间，就一定能找到不在当前张成空间里的向量加进去；由于维数有限，这个过程必然在 n 个向量时停止。

把定理用到行空间上，还能得到两条常考的推论：

1
2

r(Aᵀ) = r(A)           （转置不改变秩）
dim N(Aᵀ) = m − r(A)

再代入 1.3.1 的表，四个维数全部由 m、n、r 三个数决定——这就是"四个基本子空间"这个名字的来历：它们把 R^n 和 R^m 各自完整地劈成了两块，四块拼起来刚好是全部信息。

1.3.4 一个贯穿全书的实例：梯度矩阵的秩与零空间

考虑一个参数量 n = 2000、样本量 m = 1000 的模型，某个参数点处的梯度矩阵为 A ∈ R^{1000×2000}，r(A) = 500。代入定理：

1
2

dim N(A)   = n − r = 2000 − 500 = 1500     （输入侧，参数空间里的"无效方向"）
dim N(Aᵀ)  = m − r = 1000 − 500 =  500     （输出侧，样本空间里"到不了的残差方向"）

由此可以读出三条工程结论：

1. 可自由漂移的方向有 1500 个。任取 d ∈ N(A)，有 Ad = 0，即所有样本的梯度在这个方向上的投影同时为 0，损失沿 d 的一阶变化为 0。参数可以沿着这些方向移动而不改变一阶损失，这正是平坦区域与鞍点的代数刻画。
2. 有效信息维度只有 500。2000 个参数方向里，只有 500 个能被梯度信号覆盖。这不是"参数量决定容量"的反例，而是提醒：参数量与实际有效维度是两回事，这是低秩微调（LoRA 一类方法）能成立的根本原因（详见第 3 章 3.4 节的低秩近似）。
3. 增大 batch 不能"直接降低零空间维数"。增大 batch 只增加 m（行数），而 r(A) ≤ min(m, n)。如果新样本的梯度仍落在原有的 500 维行空间内，秩不会增加，dim N(A) 也不变。这是最容易选错的一条——它违反"数据越多信息越多"的直觉，但代数上完全成立：秩的上限由 min(m, n) 和数据的实际张成能力共同决定。

1.4 可逆性：十个等价条件

1.4.1 为什么这些条件彼此等价

对 n 阶方阵 A，下列十条命题两两等价。等价性不是巧合，而是同一条链条的不同表述：

把链条串起来，只需要两个关键环节：

• 6 ⟺ 8：由秩-零化度定理，r(A) + dim N(A) = n。所以 N(A) = {0} ⟺ dim N(A) = 0 ⟺ r(A) = n。
• 2 ⟺ 6：列向量线性无关的定义就是"x₁a₁ + … + xₙaₙ = 0 只有零解"，而左边恰好是 Ax。
• 8 ⟺ 3：dim Col(A) = r(A) = n，而 Col(A) ⊆ R^n，维数相同的子空间必等于全空间，故 Col(A) = R^n，即列向量张成 R^n。
• 7 ⟺ 3：Ax = b 有解对所有 b 成立，等价于 Col(A) = R^n；解的唯一性等价于 N(A) = {0}。
• 9 与 8 的联系来自行列式的乘性：det(AB) = det(A)det(B)，且高斯消元中 det 非零当且仅当无自由变量，即 r(A) = n。
• 4、5 与 2、3 的联系来自 r(Aᵀ) = r(A)：对 A 用 2 ⟺ 8，对 Aᵀ 用同样的推理即得行的版本。

因此这十条不是十个独立知识，而是一条等价链：从"解唯一"出发，无论从哪一条切入都能走到其他九条。做题时只要有任意一条成立，就可宣称其余九条同时成立；反之任意一条不成立，其余九条全部不成立。

1.4.2 行列式在其中的角色

det(A) 的几何含义是线性映射对体积的缩放倍数（带符号，符号表示是否翻转手性）。det(A) = 0 意味着映射把 n 维体积压成了低维对象——必然有方向被压成零，于是 N(A) ≠ {0}，映射不可逆。这就是"det ≠ 0 等价于可逆"的几何解释。

需要强调的是：det = 0 是不可逆的判据，不是可逆的判据。选项里写"行列式为零则矩阵可逆"或"可逆的前提是行列式为零"都是把结论说反了。

另外，det 只对方阵有定义。长方形矩阵谈不上可逆，它最多有单边的伪逆 A⁺（见第 3 章 3.4.3 节）：当 A ∈ R^{m×n} 且列满秩时 A⁺ = (AᵀA)⁻¹Aᵀ 是左逆，满足 A⁺A = I_n 但 AA⁺ ≠ I_m（它是到 Col(A) 上的投影，见第 2 章 2.3.2 节）。

1.4.3 线性相关的定义与两个充分条件

向量组 {α₁, …, αₘ} 线性相关（linearly dependent） 的定义是：

1

存在一组不全为零的标量 k₁, …, kₘ，使得 k₁α₁ + k₂α₂ + … + kₘαₘ = 0

定义的核心是"存在不全为零“这五个字。与它等价的表述是"其中至少有一个向量可由其余向量线性表示”，但注意是至少一个，不是"任意一个"。两个常见误判：

• “含零向量的向量组必相关”——这是充分条件，不是定义。反例：{(1,0), (2,0)} 不含零向量却相关（2·(1,0) − 1·(2,0) = 0）。
• “向量个数大于维数则必相关”——这也是充分条件。反例：n 维空间里两个共线向量，个数不超过维数但依然相关。

定义与"至少一个可由其余表示"的等价性证明很短，值得记住：若 Σkᵢαᵢ = 0 且 kⱼ ≠ 0，则 αⱼ = −(1/kⱼ)Σ_{i≠j}kᵢαᵢ，即 αⱼ 由其余向量表示；反之若 αⱼ = Σ_{i≠j}cᵢαᵢ，则移项得到一组系数（第 j 个为 −1 ≠ 0）使组合为零，故相关。

但"任意一个向量都可由其余表示"是错的。反例：{(1,0), (2,0), (0,1)} 线性相关（前两个共线），但 (0,1) 无法由前两个线性表示。所以在相关组里，有些向量是"冗余的"，有些不是——这也是"极大无关组"这个概念的动机。

1.5 用秩统一看几个高频场景

1.5.1 协方差矩阵的维度：由谁决定

把 A ∈ R^{n×d} 读作 n 个样本、每个样本 d 维特征。协方差矩阵定义为

1
2
3

Σ = (1/(n−1)) · (A − Ā)ᵀ (A − Ā)

形状检查：(d×n) · (n×d) = d×d

第 (i,j) 个元素是特征 i 与特征 j 的协方差，所以它是 d×d 的对称方阵。判据只有一句：协方差矩阵刻画的是特征与特征的关系，阶数由特征数 d 决定，与样本数 n 无关。

两者通过共同的特征值（严格说是非零特征值）联系起来，这是第 3 章 3.5 节 SVD 与 PCA 的核心工具。

1.5.2 用高斯消元求秩与找基

实际计算中不去数线性无关的个数，而是用初等行变换把矩阵化成行阶梯形：

1
2
3
4
5

A = [ 1  2  3 ]    r2−2r1   [ 1  2  3 ]    r3−3r1   [ 1  2  3 ]    r3−2r2   [ 1  2  3 ]
    [ 2  4  7 ]   ───────▶  [ 0  0  1 ]   ───────▶  [ 0  0  1 ]   ───────▶  [ 0  0  1 ]
    [ 3  6  10]             [ 0  0  1 ]             [ 0  0  1 ]             [ 0  0  0 ]
                                                          主元列：第 1 列、第 3 列
                   r(A) = 2（非零行数 = 主元个数 = 主元列数）

三条必须记住的性质：

• 初等行变换不改变秩，也不改变行空间，但会改变列空间。所以求列空间的基要回到原矩阵去取主元所在的列，而不是取阶梯形的主元列。
• 主元列在原矩阵中对应的列向量构成 Col(A) 的一组基；非主元列对应的"自由变量"个数就是 dim N(A)。
• 自由变量个数 = n − r，这正是秩-零化度定理在消元过程中的具体体现。

本章小结

自测题

Q1（判断并说明理由）集合 W = {x ∈ R³ : x₁ + x₂ + x₃ = 1} 是 R³ 的子空间吗？把等号右边的 1 换成 0 之后呢？

Q2（计算）已知 A = [1 2 3; 2 4 6; 1 1 1]（分号换行），求 r(A)、dim N(A)、dim Col(Aᵀ)、dim N(Aᵀ)。

Q3（推导）设 A ∈ R^{m×n}，B ∈ R^{n×p}，证明 Col(AB) ⊆ Col(A)，并说明什么时候取等号。

Q4（辨析）下面四条关于可逆性的说法，哪些正确？

A. 若 A 是 n 阶方阵且 Ax = 0 只有零解，则 A 可逆 B. 若 det(A) = 0，则 A 可逆 C. 长方矩阵 A ∈ R^{3×5} 可能有逆矩阵 D. 若 A 的 n 个列向量线性无关，则 A 可逆

Q5（计算）某两层线性网络的权重为 W₁ ∈ R^{d×r}、W₂ ∈ R^{r×d}，中间维度 r 远小于 d。已知输入 x ∈ R^d，前向为 y = W₁W₂x。若 W₂ 行满秩，问 y 落在什么空间里？参数量是多少？

与真题的关联

延伸阅读

• Gilbert Strang, Introduction to Linear Algebra, 第 5 版：第 2 章（线性组合与子空间）、第 3 章（四个基本子空间与秩-零化度定理）——本章 1.3 节的组织方式基本沿用 Strang 的"四子空间图"。
• Sheldon Axler, Linear Algebra Done Right, 第 3 版：第 1 章（向量空间公理化）、第 2 章（基与维数）——想看清"哪些结论依赖公理、哪些依赖坐标"时读这本。
• 3Blue1Brown 的 Essence of Linear Algebra 系列前四集：从几何直觉上把"矩阵是线性变换"这件事看一遍，再回头读本章 1.2 节会顺畅很多。