# 第 4 章 概率论、统计推断与信息论


> 概率公理提供描述随机性的语言，统计推断提供从数据反推参数的算法，信息论提供度量两个分布差多远的尺子。这条链的下游是第 9 章的损失函数与第 16 章的 KL 约束。

## 学习目标

读完本章，你应当能够：
1. 写出概率空间的三要素，说明条件概率、乘法公式与独立性之间的关系；
2. 独立推出全概率公式与贝叶斯公式，用"先验—似然—后验—证据"解释后验被似然比拉动；
3. 说出十种常见分布的用途与期望方差，并证明 Beta 是伯努利似然的共轭先验；
4. 推导全期望公式与全方差公式，写出马尔可夫、切比雪夫与詹森不等式；
5. 陈述大数定律与中心极限定理，把内积方差随维度线性增长与之联系起来；
6. 用"整体平移"判据区分集中趋势、离散程度与分布形状统计量；
7. 推导伯努利与正态的 MLE，说明 MAP 与 MLE 的关系以及偏差—方差权衡；
8. 证明 KL 散度非负，推导交叉熵与 MLE 的等价性，解释困惑度的含义。

### 前置知识检查

| 你需要知道 | 在哪一节补齐 |
|---|---|
| 求和号 `Σ` 与积分号 `∫` 的用法 | 4.1.1 |
| 一元函数求导与极值点判据 | 4.6.2 |
| 指数与对数的运算律 | 4.7.1、4.7.2 |
| 向量内积记号 `xᵀy`（沿用第 1、2 章） | 4.4.3 |

## 4.1 概率空间、条件概率与贝叶斯公式

### 4.1.1 概率空间的三要素

要把随机性写成数学对象，需要三样东西：

```
(Ω, F, P)
Ω  样本空间  所有可能结果的集合：抛一次硬币 Ω = {正, 反}
F  事件域    Ω 的子集构成的 σ-代数，对补集与可数并封闭，
             使"非 A""A 或 B"都还是事件，都能谈概率
P  概率测度  从 F 到 [0,1] 的函数，满足三条公理：
             ① 非负性 P(A) ≥ 0    ② 规范性 P(Ω) = 1
             ③ 可数可加性 A_i 两两不交 ⟹ P(∪_i A_i) = Σ_i P(A_i)
```

为什么不直接给每个结果一个概率？因为可数可加性只能在**事件**层表达：像"均匀取 `[0,1]` 上一个实数"这种试验，单点的概率全是 0，只有区间才有非零概率，事件域 `F` 正是用来圈定哪些子集允许被赋概率，避开不可测集合造成的矛盾。三条公理不给出任何具体数值，只是约束——贝叶斯公式与大数定律全都是它们的推论。

### 4.1.2 条件概率、乘法公式与独立性

条件概率的定义是"把样本空间收缩到已知发生的事件上重新归一化"：`P(A|B) = P(A ∩ B)/P(B)`（要求 `P(B) > 0`）。把它反过来写就是**乘法公式** `P(A ∩ B) = P(B)·P(A|B) = P(A)·P(B|A)`。当 `P(A|B) = P(A)` 时，知道 `B` 发生不改变对 `A` 的判断，于是定义**独立性（independence）**：`P(A ∩ B) = P(A)·P(B)`。

> [!WARNING]
> "独立"与"互斥"完全不同。互斥指 `A ∩ B = ∅`，此时 `P(A ∩ B) = 0`；只要 `P(A)P(B) > 0`，互斥事件**一定不独立**。混淆二者是概率题最典型的失分点。

### 4.1.3 全概率公式与贝叶斯公式

设 `{B₁, …, B_n}` 是 `Ω` 的**划分**（两两不交、并集为 `Ω`、每个 `P(B_i) > 0`）。对任意事件 `D`：

```
第一步 全概率公式：把 D 按划分拆开（各项两两不交），再用可数可加性
  D = (D ∩ B₁) ∪ … ∪ (D ∩ B_n)
  P(D) = Σ_i P(D ∩ B_i) = Σ_i P(D|B_i)·P(B_i)        ← 每项用乘法公式

第二步 贝叶斯公式：同一条乘法公式的两条通路相等
  P(B_i ∩ D) = P(D|B_i)·P(B_i) = P(B_i|D)·P(D)

             P(B_i ∩ D)     P(D|B_i)·P(B_i)
  P(B_i|D) = ─────────── = ───────────────────────
                P(D)        Σ_j P(D|B_j)·P(B_j)
                            └──── 全概率公式展开 ────┘
```

分母 `P(D)` 与下标 `i` 无关，于是最常用的形式是比例式：**后验 ∝ 似然 × 先验**。四个成分各有名字，第 7、16 章会反复用到：

| 名称 | 符号 | 含义 |
|---|---|---|
| 先验 prior | `P(B_i)` | 观测 D 之前对假设的信念 |
| 似然 likelihood | `P(D\|B_i)` | 假设成立时观测到 D 的可能性 |
| 证据 evidence | `P(D)` | 归一化常数，对所有假设相同 |
| 后验 posterior | `P(B_i\|D)` | 观测之后修正过的信念 |

两个假设的后验之比还能进一步分解为 `P(B|D)/P(A|D) = [P(D|B)/P(D|A)]·[P(B)/P(A)]`，即 **后验比 = 似然比 × 先验比**：**证据只通过"似然比"这一个乘数起作用，它按倍率放大或缩小原有的先验比，而不重置它**。这是贝叶斯推断最重要的直觉。用真题 `【2026-08-05 选择 Q7】` 验证：A 供应商占 70%、次品率 2%；B 供应商占 30%、次品率 4%，抽到一个次品 `D`，求它来自 B 的概率。

```
先验比 = 0.30/0.70 = 3/7 ≈ 0.4286        似然比 = 0.04/0.02 = 2
后验比 = 2 × 3/7 = 6/7 ≈ 0.8571
由后验比 = P(B|D)/P(A|D) 且两者之和为 1 ⟹ P(B|D) = 0.8571/(1 + 0.8571) ≈ 46.2%
套公式验算：P(D) = 0.7×0.02 + 0.3×0.04 = 0.026，P(B|D) = 0.012/0.026 ≈ 46.2% ✓
```

> [!IMPORTANT]
> 似然比是 2 倍，把先验比从 `3/7` 抬到 `6/7`，后验从 `30%` 升到 `46.2%`，**但仍然没过半**。选项中若出现 `30%`，那是把先验当成了后验；若出现 `50%` 以上，那是忽略了先验的份额。解题只需两步：先算似然比，再看先验比能否被它拉过临界点。

## 4.2 常见分布族与共轭先验

**随机变量（random variable）**是样本空间到实数的可测映射，它让我们能用实数上的工具分析事件。离散型用概率质量函数 `P(X = x)`，连续型用概率密度 `f(x)`（要求 `f(x) ≥ 0` 且 `∫f(x)dx = 1`）。

| 分布 | 参数 | 用途 | 期望 | 方差 | 典型场景 |
|---|---|---|---|---|---|
| 伯努利 Bernoulli | `p` | 单次二值试验 | `p` | `p(1−p)` | 点击/未点击、正负样本 |
| 二项 Binomial | `n, p` | `n` 次独立试验的成功次数 | `np` | `np(1−p)` | 一批样本中的正例数 |
| 多项 Multinomial | `n, p₁…p_k` | `n` 次试验落入 `k` 类的计数 | `n p_i` | `n p_i(1−p_i)` | 文本词频、掷骰子 |
| 类别 Categorical | `p₁…p_k` | 单次多类别试验 | 无标量期望 | 无标量方差 | 分类标签、下一 token |
| 泊松 Poisson | `λ` | 单位时间内的稀有事件数 | `λ` | `λ` | 请求到达数 |
| 均匀 Uniform | `a, b` | 完全无信息 | `(a+b)/2` | `(b−a)²/12` | 参数初始化、随机采样 |
| 指数 Exponential | 速率 `λ` | 无记忆的等待时间 | `1/λ` | `1/λ²` | 请求间隔、缓存 TTL |
| 正态 Normal | `μ, σ²` | 大量独立小误差之和 | `μ` | `σ²` | 噪声、CLT 的极限分布 |
| Beta | `α, β` | `[0,1]` 上"概率的概率" | `α/(α+β)` | `αβ/((α+β)²(α+β+1))` | 伯努利参数的先验 |
| Dirichlet | `α₁…α_k` | 单纯形上"概率向量的概率" | `α_i/α₀` | `α_i(α₀−α_i)/(α₀²(α₀+1))` | 多项参数的先验 |

（`α₀ = Σ_i α_i`。多项分布有负协方差 `Cov(N_i, N_j) = −n p_i p_j (i ≠ j)`，Dirichlet 有 `Cov(p_i, p_j) = −α_i α_j/(α₀²(α₀+1))`；负号来自"总数固定"这一约束——某一类多了，其他类必然少。）

**为什么 Beta 是伯努利的共轭先验。** 共轭先验（conjugate prior）指后验与先验属于同一分布族，其价值是让贝叶斯更新退化成几个参数的加法：

```
先验：p ~ Beta(α, β) ⟹ p(p) ∝ p^(α−1)(1−p)^(β−1)
似然：k | p ~ Binomial(n, p) ⟹ p(k|p) ∝ p^k (1−p)^(n−k)

后验 ∝ 似然 × 先验 ∝ p^k (1−p)^(n−k) · p^(α−1)(1−p)^(β−1)
       = p^(α+k−1)(1−p)^(β+n−k−1) ∝ Beta(α + k, β + n − k)
                 ↑ 认出 p^(a−1)(1−p)^(b−1) 正是 Beta 的核
```

**后验 = Beta(α+k, β+n−k)**：一次观测只让参数做一次加法，这就是共轭的全部好处。`α`、`β` 可解释为**伪计数（pseudo-count）**，相当于事先已看过 `α−1` 次成功、`β−1` 次失败；`α = β = 1` 时先验均匀、不含信息，后验众数退化为 MLE。同样机制在更高维重演：**Dirichlet 是多项分布的共轭先验**，更新规则为 `α_i ← α_i + n_i`，第 14 章的主题模型与第 16 章的对齐方法都在用它。

## 4.3 期望、方差、协方差与三个不等式

期望是**概率加权的平均**：`E[X] = Σ_x x·P(X = x)`（离散）或 `∫x·f(x)dx`（连续）。它最重要的性质是线性性 `E[aX + bY + c] = a·E[X] + b·E[Y] + c`，而且**不要求 `X`、`Y` 独立**——正因如此 `E[ΣX_i] = ΣE[X_i]` 对任意相关的 `X_i` 都成立，大数定律的推导才那么干净。

```
方差：Var(X) = E[(X − μ)²]              （记 μ = E[X]）
  E[(X − μ)²] = E[X² − 2μX + μ²] = E[X²] − 2μ·E[X] + μ² = E[X²] − (E[X])²
⟹ Var(X) = E[X²] − (E[X])²        另有  Var(aX + b) = a²·Var(X)

协方差：Cov(X, Y) = E[(X − E[X])(Y − E[Y])] = E[XY] − E[X]E[Y]
双线性：Cov(aX + b, cY + d) = ac·Cov(X, Y)
Var(X + Y) = Var(X) + Var(Y) + 2·Cov(X, Y)     （独立 ⟹ 末项为 0，反之不成立）
反例：X ~ Uniform(−1, 1)，Y = X²。E[X] = 0，E[XY] = E[X³] = 0，故 Cov = 0，
      但 Y 由 X 完全决定，二者并不独立。
```

> [!WARNING]
> `Var(X) = E[X²] − (E[X])²` 数学上恒等，浮点上却极不可靠：当均值很大、方差很小时，`E[X²]` 与 `(E[X])²` 是两个几乎相等的巨大数字，相减会发生灾难性相消，有效位数被吃光。第 5 章 5.3.2 节给出量化的误差分析，并说明为什么必须改用两遍法。

协方差为 0 只说明"没有线性关系"，不等于"没有关系"；只有当 `(X, Y)` 服从**联合正态**时，"不相关"才等价于"独立"——这是第 3 章协方差矩阵与第 11 章 PCA 成立的前提。`Var(aX + b) = a²·Var(X)` 则同时说明：常数平移不改变散布，缩放系数的平方才是方差的缩放倍数，这正是 4.5 节平移判据的代数根据。

```
全期望公式：E[X] = E[E[X|Y]]
  证：∫E[X|Y=y]f(y)dy = ∫∫x·f(x|y)f(y)dxdy = ∫∫x·f(x,y)dxdy = ∫x·f(x)dx

全方差公式：Var(X) = E[Var(X|Y)] + Var(E[X|Y])
                    └─ 组内变异 ─┘   └─ 组间变异 ─┘
  证：由 Var(X|Y) = E[X²|Y] − (E[X|Y])² 解出 E[X²|Y] = Var(X|Y) + (E[X|Y])²
      Var(X) = E[X²] − (E[X])² = E[E[X²|Y]] − (E[E[X|Y]])²      （两项各用一次全期望）
             = E[Var(X|Y)] + E[(E[X|Y])²] − (E[E[X|Y]])² = E[Var(X|Y)] + Var(E[X|Y])
```

因为方差非负，立得 `Var(X) ≥ Var(E[X|Y])`：**条件化只会减少或保持方差，不会增加**。这条推论在解释"信息越多不确定性越小"以及第 16 章"条件基线降低方差"时可直接使用。三个常用不等式及其证明：

```
马尔可夫：X ≥ 0，a > 0 ⟹ P(X ≥ a) ≤ E[X]/a
  证：E[X] = ∫_0^a x f dx + ∫_a^∞ x f dx ≥ 0 + ∫_a^∞ a f dx = a·P(X ≥ a)
切比雪夫：Var(X) = σ² < ∞ ⟹ P(|X − E[X]| ≥ kσ) ≤ 1/k²
  证：对 Y = (X − E[X])² ≥ 0 用马尔可夫不等式，取 a = (kσ)² 即得
詹森：f 凸 ⟹ f(E[X]) ≤ E[f(X)]
  证：凸函数在 μ = E[X] 处有全局下界切线 f(x) ≥ f(μ) + f'(μ)(x − μ)；
      两边取期望，右端 E[x − μ] = 0，故 E[f(X)] ≥ f(μ)
```

詹森不等式是一切"把 `log` 从期望里面提出来"的不等式的总根源，4.7.2 节的 KL 非负性就是它的直接产物。

## 4.4 大数定律与中心极限定理

设 `X₁, …, X_n` 独立同分布，`E[X_i] = μ`，`Var(X_i) = σ² < ∞`，记 `X̄ = (1/n)ΣX_i`。由期望线性性得 `E[X̄] = μ`；由独立性得 `Var(X̄) = (1/n²)·nσ² = σ²/n`（协方差项全为 0）。关键在于 `Var(X̄) = σ²/n → 0`：样本量越大，`X̄` 的散布越小。代入切比雪夫不等式，对任意 `ε > 0` 有 `P(|X̄ − μ| ≥ ε) ≤ σ²/(nε²) → 0`，这就是**弱大数定律（weak law of large numbers）**。（辛钦大数定律把条件放宽到只需 `E|X| < ∞`，但证明要用特征函数，超出本章范围。）

> [!IMPORTANT]
> 大数定律说的是**依概率收敛**，它不保证任何一次具体抽样的 `X̄` 接近 `μ`。特别地，`ΣX_i` 本身的标准差是 `σ√n`，**绝对偏差随 n 增大而增大**，只有相对涨落按 `1/√n` 缩小。把这两件事混为一谈，是理解蒙特卡洛估计精度的最大障碍。

**中心极限定理（CLT）**：`P((S_n − nμ)/(σ√n) ≤ z) → Φ(z) = ∫_{−∞}^{z}(1/√(2π))e^(−t²/2)dt`，等价地 `√n(X̄ − μ)/σ` 依分布收敛到 `N(0,1)`。分母是 `σ√n` 而不是 `σn`：**涨落按 `√n` 增长，中心按 `n` 增长，所以相对涨落按 `1/√n` 缩小**，这就是"标准误（standard error）随 `√n` 下降"，也是样本量必须翻四倍才能把置信区间宽度减半的原因。为什么极限分布一定是正态、且与 `X_i` 原本的分布无关？一个只用二阶展开的证明梗概：

```
把 X_i 标准化：Y_i = (X_i − μ)/σ ⟹ E[Y_i] = 0，Var(Y_i) = 1。
特征函数 φ(t) = E[e^(itY)] 满足 φ(0) = 1，φ'(0) = iE[Y] = 0，φ''(0) = −E[Y²] = −1，
故泰勒展开为 φ(t) = 1 − t²/2 + O(t³)。
(ΣY_i)/√n 的特征函数是 [φ(t/√n)]^n，取对数并用 ln(1+u) ≈ u：
  n·ln φ(t/√n) = n·ln(1 − t²/(2n) + O(n^(−3/2))) = −t²/2 + O(n^(−1/2)) → −t²/2
而 e^(−t²/2) 正是 N(0,1) 的特征函数。
```

核心机制是：**求和把各阶累积量按 `√n` 的幂次压制，只有二阶（方差）留下来**。所以只要独立同分布、方差有限，极限分布就只由均值和方差两个参数决定。"正态无处不在"不是自然界的偏好，而是求和运算的必然结果。

同一机制在向量内积上重演一次，结论直接决定第 15 章自注意力的缩放因子。设 `x` 的 `d` 个分量独立同分布，`E[x_i] = 0`，`Var(x_i) = σ²`，`y` 固定：

```
E[xᵀy] = Σ_i y_i E[x_i] = 0
Var(xᵀy) = Σ_i y_i²·Var(x_i) + 2Σ_{i<j} y_i y_j·Cov(x_i, x_j)
         = σ²Σ_i y_i² = σ²‖y‖²        （独立性使协方差项全部为 0）
若各分量同量级使 ‖y‖ ~ √d：方差 ~ d（随维度线性增长），标准差 ~ √d
                            典型内积量级由标准差决定，~ √d
```

`d` 越大，内积的绝对值越可能很大。若不处理，Softmax 的输入会随 `d` 增大而进入饱和区，梯度趋近于 0，训练停滞。第 15 章把打分除以 `√d_k`：`d_k` 维打分本身的标准差就是 `√d_k` 量级，除以它恰好把各元素的方差**重新拉回 1 附近**，与 `d_k` 无关。这个"除 `√d`"不是经验凑数，而是上面这条方差公式的直接推论。

## 4.5 描述统计三件套

描述一组数据要从三个互补的角度看：中心在哪、有多散、形状如何。

| 类别 | 统计量 | 定义 | 整体平移 `X → X + c` 之后 | 典型用途 |
|---|---|---|---|---|
| 集中趋势（位置量） | 均值 | `x̄ = (1/n)Σx_i` | 变为 `x̄ + c` | 对称、无离群值的数据 |
| 集中趋势 | 中位数 | 排序后居中的值 | 变为 `x̃ + c` | 含离群值、偏态数据 |
| 集中趋势 | 众数 | 出现频率最高的取值 | 变为 `众数 + c` | 类别数据、离散取值 |
| 离散程度 | 方差 | `s² = (1/n)Σ(x_i − x̄)²` | **不变** | 波动的整体度量 |
| 离散程度 | 标准差 | `s = √(s²)` | **不变** | 与原始数据同量纲 |
| 离散程度 | 四分位距 IQR | `Q₃ − Q₁` | **不变** | 稳健离散度、箱线图 |
| 分布形状 | 偏度 | `E[(X−μ)³]/σ³` | **不变** | 左右对称性（正 = 右尾长） |
| 分布形状 | 峰度 | `E[(X−μ)⁴]/σ⁴` | **不变** | 尖峭与厚尾程度 |

**黄金判据**：把整个分布整体平移 `c`，**位置量全部加 `c`，离散量与形状量纹丝不动**。原因是这些量的定义里只出现中心化后的差 `X − 中心`，平移被差分完全抵消；而均值、中位数、众数本身就是"中心"的实现，平移直接落在它们身上。由此还能推出缩放判据：整体乘 `a` 时位置量乘 `a`，标准差乘 `|a|`，**方差乘 `a²`**，偏度与峰度不变（分子分母的幂次正好相消）。

> [!TIP]
> 真题 `【2026-08-05 选择 Q14】` 与 `【2026-09-04 选择 Q7】` 是同题两次出现，问"下列哪个不是描述集中趋势的统计量"，答 **方差**。考场上不必回忆定义：在心里把全体数据都加上 100，均值、中位数、众数全变了，方差没变，答案立刻出来。**判据比定义更快，也更不容易错。**

三个统计量对离群值的敏感度差别极大：均值要用上每一个数值，一个极端点就能把它拽走；中位数只看得排序位置，IQR 更只看中间一半。真题 `【2026-09-04 编程题 1】` 的数据中含一个取值 100 的离群点，该题正是用**窗口均值**加 `k·σ` 判据把它识别为异常并替换的。

## 4.6 参数估计：矩估计、MLE 与 MAP

### 4.6.1 矩估计与 MLE 的三步流程

**矩估计（method of moments）**让样本矩等于总体矩：令 `E[X] = m₁`、`E[X²] = m₂`，对正态即得 `μ̂ = x̄`、`σ̂² = m₂ − m₁² = (1/n)Σ(x_i − x̄)²`。它计算便宜、不需要写似然，但不使用完整的分布信息，在厚尾分布上还可能给出物理上无意义的解（例如负的方差估计）。

**极大似然估计（MLE）**是反向思路：不问"参数大概是多少"，而问"哪个参数最容易生成我看到的这批数据"，即 `θ̂_MLE = argmax_θ P(X|θ)`。样本独立同分布时 `L(θ) = Π_i p(x_i|θ)` 会下溢成 0，必须先取对数（对数单调递增，不改变极值点，同时把乘积变成求和）：`ℓ(θ) = ln L(θ) = Σ_i ln p(x_i|θ)`。**三步流程**：写似然 → 取对数 → 求导置零，再检查二阶条件与边界情形。

### 4.6.2 两个完整推导

伯努利：`n` 次试验观测到 `k` 次成功，单样本 PMF 为 `p^(x)(1−p)^(1−x)`。

```
L(p) = Π_i p^(x_i)(1−p)^(1−x_i) = p^k (1−p)^(n−k)，ℓ(p) = k·ln p + (n − k)·ln(1 − p)
dℓ/dp = k/p − (n − k)/(1 − p) = 0
两边同乘 p(1−p)：k(1 − p) − (n − k)p = 0 ⟹ k − kp − np + kp = 0 ⟹ k = np
⟹ p̂ = k/n            （样本频率）
二阶条件：d²ℓ/dp² = −k/p² − (n−k)/(1−p)² < 0（0 < k < n 时），故为极大值点。
边界：k = 0 时 ℓ 在 p → 0 处取上确界 ⟹ p̂ = 0；k = n 时 p̂ = 1。

正态（两参数都未知，分别求偏导再联立）：
ℓ(μ, σ²) = −(n/2)ln(2π) − (n/2)ln σ² − (1/(2σ²))Σ_i (x_i − μ)²
  ∂ℓ/∂μ = (1/σ²)Σ_i (x_i − μ) = 0 ⟹ Σx_i − nμ = 0 ⟹ μ̂ = x̄
把 μ̂ 代回、记 v = σ²：∂ℓ/∂v = −n/(2v) + (1/(2v²))Σ_i (x_i − μ̂)² = 0
  ⟹ n·v = Σ_i (x_i − μ̂)² ⟹ σ̂² = (1/n)Σ_i (x_i − x̄)²
```

> [!WARNING]
> `p̂ = k/n` 只由数据决定，**不引入任何先验**。真题 `【2026-09-04 选择 Q9】` 抛 10 次得 7 次正面，答 `0.7`：`0.3` 是反面频率，`0.5` 是"公平硬币"这一先验假设——往 `0.5` 收缩是 **MAP** 的行为。真题 `【2026-08-05 选择 Q11】` 问的正是这一点：MLE 的核心操作是取使 `P(X\|θ)` 最大的 `θ`，是一种逆向思考；矩估计、贝叶斯估计与相合性都不是它。

注意 `σ̂²` 的分母是 `n` 而不是 `n − 1`：**MLE 给出的是有偏估计**。这不矛盾——MLE 优化的是似然，不是无偏性。真题 `【2026-09-04 编程题 1】` 要求的正是这个总体口径（除以 `n`）。

### 4.6.3 MAP、偏差与相合性

**MAP** 把先验也算进来：`θ̂_MAP = argmax_θ P(X|θ)·P(θ)`。分母 `P(X)` 与 `θ` 无关，可直接丢掉，取对数后得到 **MAP = MLE + 对数先验**（先验均匀时 `ln P(θ)` 为常数，退化为 MLE）。用 Beta–伯努利验证：先验 `Beta(α, β)`、观测 `k` 次成功后后验为 `Beta(α+k, β+n−k)`，众数为 `(α+k−1)/(α+β+n−2)`；取 `α = β = 2` 得 `(k+1)/(n+2)`，于是 `n = 10, k = 7` 时 MLE 给出 `0.700`，MAP 给出 `8/12 ≈ 0.667`，被先验往 `0.5` 方向拉了一点。第 8 章会说明：L2 正则化等价于高斯先验的 MAP，L1 正则化等价于拉普拉斯先验的 MAP，这把"正则化"从工程技巧提升为贝叶斯推断的特例。

**偏差与方差。** 定义 `Bias(θ̂) = E[θ̂] − θ`，综合评价用 `MSE(θ̂) = Bias(θ̂)² + Var(θ̂)`：存在**偏差—方差权衡**，引入一点偏差换取方差大幅下降，MSE 反而更小，这正是第 7 章偏差-方差分解与第 8 章正则化的理由。样本方差为什么除以 `n − 1`：

```
Σ_i (x_i − x̄)² = Σ_i (x_i − μ + μ − x̄)²
               = Σ_i (x_i − μ)² − 2(x̄ − μ)Σ_i(x_i − μ) + n(x̄ − μ)²
               = Σ_i (x_i − μ)² − n(x̄ − μ)²        （Σ(x_i − μ) = n(x̄ − μ)）
取期望，注意 Var(x̄) = σ²/n：E[Σ_i (x_i − x̄)²] = nσ² − n·(σ²/n) = (n − 1)σ²
⟹ s² = Σ(x_i − x̄)²/(n − 1) 无偏；而除以 n 的版本期望为 (n−1)σ²/n，系统性偏低。
```

**相合性（consistency）**指 `n → ∞` 时 `θ̂` 依概率收敛到真值 `θ`；MLE 在正则条件下具有相合性、渐近正态性与渐近有效性（达到 Cramér–Rao 下界）。真题 `【2026-08-05 选择 Q11】` 的干扰项 C 说的就是相合性——它是估计量的**性质**，不是 MLE 的**操作**，这是选项设计上的经典偷换。

## 4.7 信息论

### 4.7.1 自信息、熵与条件熵

信息论的起点是一个直观问题：一条消息值多少信息量？答案要满足两条要求：① 概率越小，信息量越大；② 两件独立事件同时发生，信息量应当相加。同时满足这两条的函数形式只能是对数（由 `I(p·q) = I(p) + I(q)` 反复代入可推出 `I(x) = −c·log x`，再由"概率越小信息量越大"定出 `c > 0`）：

```
自信息：I(x) = −log P(x)          （底数 log₂ 时单位是 bit，ln 时是 nat）
熵（自信息的期望，即平均不确定性）：H(X) = E[I(X)] = −Σ_x p(x)·log p(x)
  ① 非负性：H(X) ≥ 0，等号当且仅当 X 几乎必然是常数
  ② 均匀最大：取值有 k 个时 H(X) ≤ log k，等号在均匀分布时取到
  ③ 二值情形：H(p) = −p·log p − (1−p)log(1−p)，p = 0.5 时最大，为 1 bit

联合熵 H(X, Y) = −Σ_{x,y} p(x,y)·log p(x,y)
条件熵 H(Y|X) = −Σ_{x,y} p(x,y)·log p(y|x) = E_x[H(Y | X = x)]
链式法则（把 p(x,y) = p(x)p(y|x) 代入联合熵定义）：
  H(X, Y) = −Σ p(x,y)log p(x) − Σ p(x,y)log p(y|x) = H(X) + H(Y|X)
  同理 H(X, Y) = H(Y) + H(X|Y) ⟹ H(Y|X) = H(X, Y) − H(X)
条件降低熵：H(Y|X) ≤ H(Y)        （由 I(X;Y) ≥ 0 与 H(Y|X) = H(Y) − I(X;Y) 立得）
```

### 4.7.2 交叉熵、KL 散度与吉布斯不等式

```
交叉熵 H(p, q) = −Σ_x p(x)·log q(x)      KL 散度 D_KL(p‖q) = Σ_x p(x)·log( p(x)/q(x) )
展开 KL 得到全书最重要的一条恒等式：
  D_KL(p‖q) = Σ_x p(x)log p(x) − Σ_x p(x)log q(x) = −H(p) + H(p, q)
⟹ H(p, q) = H(p) + D_KL(p‖q)        （H(p) 与模型 q 无关）

吉布斯不等式 D_KL(p‖q) ≥ 0 的证明（等号当且仅当 p = q）：
  先用初等不等式 ln u ≤ u − 1（ln 凹，u = 1 处的切线是它的全局上界）。
  −D_KL(p‖q) = Σ_x p(x)·log( q(x)/p(x) ) ≤ Σ_x p(x)·( q(x)/p(x) − 1 )
             = Σ_x q(x) − Σ_x p(x) = 1 − 1 = 0        （令 u = q(x)/p(x)）
  故 D_KL(p‖q) ≥ 0；等号要求 u = 1 处处成立，即 q(x) = p(x) 对所有 p(x) > 0 的 x。
```

`H(p)` 与模型 `q` 完全无关，所以**最小化交叉熵与最小化 KL 散度在优化目标上等价**——这就是第 9 章选择交叉熵作为分类损失的理论依据。

> [!WARNING]
> 吉布斯不等式的证明中，`Σq − Σp = 0` 这一步**同时用到了 `Σ_x p(x) = 1` 与 `Σ_x q(x) = 1`**。若 `q` 没有归一化，不等式立刻失效，KL 甚至可能为负。这就是为什么第 18 章采样前必须做 Softmax 归一化，也是为什么第 16 章 RLHF 的 KL 惩罚必须作用在**归一化的策略分布**上：未归一化的"分布"根本没有 KL 散度可言。

**非对称性是 KL 最容易被忽视的性质**：`D_KL(p‖q) ≠ D_KL(q‖p)`，它不是度量（metric），不满足对称性与三角不等式。**前向 KL** `D_KL(p_data‖q_model)` 在 `p(x) > 0` 而 `q(x) → 0` 时 `log(p/q) → +∞`，被 `p(x)` 加权后惩罚极重，模型因此不敢在数据出现的地方给零概率，倾向于覆盖所有模式，但可能把质量摊到数据没有的地方（zero-avoiding）；**反向 KL** 惩罚的是 `q(x) > 0` 而 `p(x) → 0` 的位置，模型宁可只抓住一个模式（zero-forcing）。MLE 等价于最小化前向 KL，而 RLHF 的 KL 惩罚约束策略相对参考模型的偏离，方向的选择会直接影响生成多样性。

### 4.7.3 互信息、与 MLE 的等价性、困惑度

**互信息（mutual information）**是联合分布与独立分布之间的 KL 距离，也是"相关性"的严格版本——它捕捉任意形式的依赖（不限于线性）：`I(X;Y) = D_KL(p(x,y)‖p(x)p(y)) = H(X) − H(X|Y) = H(X) + H(Y) − H(X,Y)`，满足 `I(X;Y) ≥ 0`、`I(X;X) = H(X)`，且 `X` 与 `Y` 独立 ⟺ `I(X;Y) = 0`。它因此常用于特征选择、第 17 章的检索打分，以及对比学习中的 InfoNCE 目标——后者本质上是互信息的一个可计算下界。下面这一步把前面所有线索接起来：

```
θ̂ = argmax_θ Π_i p_θ(x_i) = argmax_θ Σ_i log p_θ(x_i) = argmax_θ (1/n)Σ_i log p_θ(x_i)
                            （对数单调，乘积变求和；除以正常数不改极值点）

引入经验分布 p̂(x) = (1/n)Σ_i 1[x_i = x]，把对样本求平均改写成对 p̂ 求期望：
  (1/n)Σ_i log p_θ(x_i) = Σ_x p̂(x)·log p_θ(x) = −H(p̂, p_θ)      ← 负交叉熵

于是 argmax_θ Σ_i log p_θ(x_i) = argmin_θ H(p̂, p_θ)
                               = argmin_θ [ H(p̂) + D_KL(p̂‖p_θ) ]
                               = argmin_θ D_KL(p̂‖p_θ)     （H(p̂) 与 θ 无关）
再由大数定律 p̂ → p_data，最终是在最小化 D_KL(p_data‖p_θ)。
```

> [!IMPORTANT]
> **最大化对数似然 ≡ 最小化交叉熵 ≡ 最小化经验分布与模型分布之间的 KL 散度。** 三者是同一件事的三种说法。这一句话同时回答了三个问题：第 9 章逻辑回归为什么用交叉熵（它正是伯努利似然的负对数，且与 Sigmoid 复合之后关于 `w` 是凸的）；第 16 章 RLHF 为什么需要 KL 惩罚（不约束就会把概率质量移到参考分布之外）；语言模型的训练损失为什么就是逐 token 的交叉熵（语言模型就是逐位置的多项分布 MLE）。

**困惑度（perplexity, PPL）**是交叉熵的指数形式：`PPL = exp(H(p̂, p_θ)) = exp(−(1/n)Σ_i log p_θ(x_i))`。它的直觉是"**模型每生成一个 token 时，平均在多少个等可能的候选之间犹豫**"：若模型在每个位置都均匀乱猜，`p_θ = 1/V`，则 `H = log V`、`PPL = V`；若模型总以概率 1 给出正确 token，则 `H = 0`、`PPL = 1`（理论下界）。所以 PPL = 10 意味着模型的有效不确定性大约相当于在 10 个选项里均匀乱猜。两个工程要点：① 底数必须与指数底数一致，用 `log₂` 时 `PPL = 2^H`，数值与 `e^H` 相同；② **PPL 只在同一词表、同一分词方案下可比**，改变 tokenizer 会改变 `n` 与 `V`，跨模型的 PPL 数值直接比较没有意义。

## 本章小结

| 关键结论 | 一句话表述 | 常见错误 |
|---|---|---|
| 概率空间三要素 | `(Ω, F, P)`，公理只约束不赋值 | 把可数可加性错误地用在单个结果上 |
| 独立 vs 互斥 | 独立是 `P(A∩B) = P(A)P(B)`；互斥是 `A∩B = ∅` | 把互斥当成独立 |
| 贝叶斯公式 | `P(B\|D) = P(D\|B)P(B) / Σ_j P(D\|B_j)P(B_j)` | 把先验 `P(B)` 当成后验 `P(B\|D)` |
| 后验被似然比拉动 | `后验比 = 似然比 × 先验比` | 以为证据能重置先验 |
| Beta 共轭 | 后验 `= Beta(α+k, β+n−k)`，参数直接做加法 | 忘记先验参数是"伪计数"而非真实计数 |
| 全方差公式 | `Var(X) = E[Var(X\|Y)] + Var(E[X\|Y])` | 漏掉组间项，只算组内 |
| 三个不等式 | 马尔可夫 → 切比雪夫；詹森给出 `f(E[X]) ≤ E[f(X)]` | 凹凸方向记反 |
| 大数定律 | `Var(X̄) = σ²/n → 0`，`X̄` 依概率收敛到 `μ` | 以为 `ΣX_i` 也稳定（它按 `√n` 发散） |
| 中心极限定理 | 标准化和 → `N(0,1)`；高阶累积量被 `√n` 压制 | 忽略"方差有限"这一前提 |
| 内积的维度效应 | `Var(xᵀy) = σ²‖y‖² ~ d`，标准差 `~ √d` | 把方差与标准差都当成线性增长 |
| 平移判据 | 整体平移时位置量加 `c`，离散量与形状量不变 | 靠背定义而不是靠判据做题 |
| MLE | `θ̂ = argmax_θ Σ_i log p(x_i\|θ)`，只用数据 | 把"往 0.5 收缩"当成 MLE |
| MAP | `MAP = MLE + 对数先验`；均匀先验时两者重合 | 以为 MAP 与 MLE 是两套框架 |
| 样本方差 | 除以 `n−1` 无偏；除以 `n` 是 MLE，系统性偏低 | 把"无偏"等同于"最优" |
| KL 非负 | 由 `ln u ≤ u − 1` 加两侧归一化推出 | 把它用在未归一化的 `q` 上 |
| 交叉熵三等价 | 最大似然 = 最小交叉熵 = 最小经验 KL | 以为三者只是"效果差不多" |
| KL 不对称 | 前向 zero-avoiding，反向 zero-forcing | 当成距离度量来使用 |
| 困惑度 | `PPL = exp(交叉熵)`，等于等价候选数 | 跨不同词表的 PPL 直接比较 |

## 自测题

**Q1**（判断）若 `Cov(X, Y) = 0`，则 `X` 与 `Y` 独立。
<details><summary>答案与解析</summary>

**错误。** 协方差只度量**线性**相关，为 0 只说明没有线性关系。反例：`X ~ Uniform(−1, 1)`、`Y = X²`，则 `E[X] = 0`、`E[XY] = E[X³] = 0`（奇函数在对称区间上的积分为 0），故 `Cov(X, Y) = 0`；但 `Y` 由 `X` 完全确定，二者显然不独立。

**唯一例外**是 `(X, Y)` 服从联合正态的情形，此时"不相关"与"独立"才等价——这是第 3 章协方差矩阵与第 11 章 PCA 成立的关键前提。
</details>

**Q2**（计算）两台机器生产同一种零件：机器甲产量占 60%、次品率 1%；机器乙产量占 40%、次品率 5%。随机取一件发现是次品，它来自乙的概率是多少？
<details><summary>答案与解析</summary>

```
先验比 = 0.40/0.60 = 2/3 ≈ 0.6667        似然比 = 0.05/0.01 = 5
后验比 = 5 × 2/3 = 10/3 ≈ 3.3333
P(次品) = 0.6×0.01 + 0.4×0.05 = 0.026，P(乙|次品) = 0.020/0.026 ≈ 76.9%
校验：P(乙|次品)/P(甲|次品) = 0.769/0.231 ≈ 3.33  ✓
```

**易错点**：把 `40%` 当答案（那是先验），或只算似然比 5 而忘记乘先验比。与真题 `【2026-08-05 选择 Q7】` 相比，似然比从 2 变成 5，后验就从 `46.2%`（不过半）跃升到 `76.9%`——**似然比决定拉动幅度，先验比决定起点**。
</details>

**Q3**（推导）用极大似然估计求泊松分布 `P(X = k) = λ^k e^(−λ)/k!` 的参数 `λ̂`，并指出它等于样本均值。
<details><summary>答案与解析</summary>

```
L(λ) = Π_i λ^(x_i)e^(−λ)/x_i!，ℓ(λ) = (ln λ)Σ_i x_i − nλ − Σ_i ln(x_i!)
dℓ/dλ = (Σ_i x_i)/λ − n = 0     ⟹     λ̂ = (1/n)Σ_i x_i = x̄
二阶条件：d²ℓ/dλ² = −(Σx_i)/λ² < 0（样本不全为 0 时），故为极大值点。
```

**要点**：① 推导前先把与参数无关的常数项（这里是 `Σ ln(x_i!)`）丢掉，能显著减少出错；② 泊松的 MLE 就是样本均值，与矩估计一致（因为 `E[X] = λ`）；③ "指数族分布的 MLE 等于样本矩"是普遍现象——正态的 `μ̂`、伯努利的 `p̂`、泊松的 `λ̂` 与指数的 `1/λ̂ = x̄` 都落在同一条规律上。
</details>

**Q4**（推导）某工厂两条产线：产线 A 承担 70% 产量，其产品某指标服从 `N(10, 4)`；产线 B 承担 30%，服从 `N(14, 9)`。随机取一件产品（不知来自哪条线），求该指标 `X` 的期望与方差。
<details><summary>答案与解析</summary>

设 `Y ∈ {A, B}` 表示产线，`P(Y = A) = 0.7`。

```
全期望：E[X] = E[E[X|Y]] = 0.7×10 + 0.3×14 = 11.2
全方差（两项都不能漏）：
  组内：E[Var(X|Y)] = 0.7×4 + 0.3×9 = 2.8 + 2.7 = 5.5
  组间：条件均值只取 10 和 14，E[(E[X|Y])²] = 0.7×100 + 0.3×196 = 128.8
        Var(E[X|Y]) = 128.8 − 11.2² = 128.8 − 125.44 = 3.36
  Var(X) = 5.5 + 3.36 = 8.86
```

**最常见的错误**是只答 5.5，即只用组内项，漏掉"两条线的均值本身不同"带来的额外变异。这也是混合分布的方差大于任一分量方差的原因（`8.86 > 5.5`）。注意该分布**不再是正态**：两个不同均值的正态按比例混合是双峰分布，正是第 10 章高斯混合模型（GMM）要建模的对象。
</details>

**Q5**（计算）抛硬币 12 次出现 3 次正面，分别用 MLE 与先验 `Beta(2, 2)` 下的 MAP 估计正面概率 `p`，并解释差异来源。
<details><summary>答案与解析</summary>

```
MLE：p̂ = k/n = 3/12 = 0.25
MAP：后验 = Beta(α+k, β+n−k) = Beta(5, 11)，后验众数 = (α+k−1)/(α+β+n−2) = 4/14 ≈ 0.2857
```

**差异来源**：`Beta(2, 2)` 相当于先验里已经有"1 次成功、1 次失败"共 2 个虚拟观测，而真实数据只有 12 个观测，先验占了不可忽略的比重，于是把估计从 `0.25` 往先验中心 `0.5` 拉到了 `0.2857`。

**推广**：换成 `Beta(1, 1)`（均匀先验，0 个虚拟观测）时 MAP 退化为 MLE 的 `0.25`；换成 `Beta(21, 21)`（40 个虚拟观测）时数据几乎拉不动先验，估计会紧贴 `0.5`。**先验越强，需要的数据越多才能覆盖它**——这就是"伪计数"的直观含义。
</details>

## 与真题的关联

| 真题 | 考查角度 | 对应本章小节 |
|---|---|---|
| `【2026-08-05 选择 Q7】` | 全概率 + 贝叶斯，先验与后验的区分 | 4.1.3 |
| `【2026-08-05 选择 Q11】` | MLE 的本质：`argmax_θ P(X\|θ)`，不引入先验 | 4.6.1、4.6.3 |
| `【2026-09-04 选择 Q9】` | 伯努利 MLE 的计算，`p̂ = k/n` | 4.6.2 |
| `【2026-08-05 选择 Q14】` | 集中趋势统计量的识别（方差不是） | 4.5 |
| `【2026-09-04 选择 Q7】` | 同上的另一次出现，"整体平移"判据 | 4.5 |
| `【2026-09-04 编程题 1】` | z-score 标准化的总体口径；异常检测用 `k·σ`；离群点对均值的拉扯；MLE 的 `÷n` 口径 | 4.3.1、4.5、4.6.2 |
| `【2026-09-04 选择 Q4】` | 逻辑回归损失的选择（交叉熵与 MLE 的等价性） | 4.7.2、4.7.3 |
| `【2026-09-09 选择 Q7】` | 自注意力 `Q@Kᵀ` 的缩放因子（内积方差随维度增长） | 4.4.3 |
| `【2026-09-04 选择 Q5】` | RLHF 中的 KL 约束（KL 非负与归一化前提） | 4.7.2 |

## 延伸阅读

- Casella, G. & Berger, R. L., *Statistical Inference*, 2nd ed.：第 2 章（概率空间与条件概率）、第 4 章（常见分布族与共轭先验）、第 7 章（MLE 的完整理论、Cramér–Rao 下界与相合性）。
- MacKay, D. J. C., *Information Theory, Inference, and Learning Algorithms*：第 1、2 章。作者官网提供免费电子版，对"熵—似然—编码长度"三者关系的解释是同类教材中最直观的。
- Cover, T. M. & Thomas, J. A., *Elements of Information Theory*, 2nd ed.：第 2 章（熵、KL 散度、互信息与吉布斯不等式）、第 11 章（信息论与统计推断的联系）。
- Goodfellow, I., Bengio, Y. & Courville, A., *Deep Learning*：第 3 章"概率与信息论"，把本章内容压缩到机器学习所需的最小集合，适合快速复习。
- 李航，《统计学习方法》第 1 章：极大似然估计、最大后验估计与贝叶斯估计三者的对照，以及第 9 章 EM 算法中对全期望公式的使用。


---

> 作者: [破戒僧](https://onlyblacktea.cn)  
> URL: https://onlyblacktea.cn/book/ai/ch04/  

