第 4 章 概率论、统计推断与信息论

概率公理提供描述随机性的语言，统计推断提供从数据反推参数的算法，信息论提供度量两个分布差多远的尺子。这条链的下游是第 9 章的损失函数与第 16 章的 KL 约束。

学习目标

读完本章，你应当能够：

1. 写出概率空间的三要素，说明条件概率、乘法公式与独立性之间的关系；
2. 独立推出全概率公式与贝叶斯公式，用"先验—似然—后验—证据"解释后验被似然比拉动；
3. 说出十种常见分布的用途与期望方差，并证明 Beta 是伯努利似然的共轭先验；
4. 推导全期望公式与全方差公式，写出马尔可夫、切比雪夫与詹森不等式；
5. 陈述大数定律与中心极限定理，把内积方差随维度线性增长与之联系起来；
6. 用"整体平移"判据区分集中趋势、离散程度与分布形状统计量；
7. 推导伯努利与正态的 MLE，说明 MAP 与 MLE 的关系以及偏差—方差权衡；
8. 证明 KL 散度非负，推导交叉熵与 MLE 的等价性，解释困惑度的含义。

前置知识检查

4.1 概率空间、条件概率与贝叶斯公式

4.1.1 概率空间的三要素

要把随机性写成数学对象，需要三样东西：

1
2
3
4
5
6
7

(Ω, F, P)
Ω  样本空间  所有可能结果的集合：抛一次硬币 Ω = {正, 反}
F  事件域    Ω 的子集构成的 σ-代数，对补集与可数并封闭，
             使"非 A""A 或 B"都还是事件，都能谈概率
P  概率测度  从 F 到 [0,1] 的函数，满足三条公理：
             ① 非负性 P(A) ≥ 0    ② 规范性 P(Ω) = 1
             ③ 可数可加性 A_i 两两不交 ⟹ P(∪_i A_i) = Σ_i P(A_i)

为什么不直接给每个结果一个概率？因为可数可加性只能在事件层表达：像"均匀取 [0,1] 上一个实数"这种试验，单点的概率全是 0，只有区间才有非零概率，事件域 F 正是用来圈定哪些子集允许被赋概率，避开不可测集合造成的矛盾。三条公理不给出任何具体数值，只是约束——贝叶斯公式与大数定律全都是它们的推论。

4.1.2 条件概率、乘法公式与独立性

条件概率的定义是"把样本空间收缩到已知发生的事件上重新归一化"：P(A|B) = P(A ∩ B)/P(B)（要求 P(B) > 0）。把它反过来写就是乘法公式 P(A ∩ B) = P(B)·P(A|B) = P(A)·P(B|A)。当 P(A|B) = P(A) 时，知道 B 发生不改变对 A 的判断，于是定义独立性（independence）：P(A ∩ B) = P(A)·P(B)。

4.1.3 全概率公式与贝叶斯公式

设 {B₁, …, B_n} 是 Ω 的划分（两两不交、并集为 Ω、每个 P(B_i) > 0）。对任意事件 D：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

第一步 全概率公式：把 D 按划分拆开（各项两两不交），再用可数可加性
  D = (D ∩ B₁) ∪ … ∪ (D ∩ B_n)
  P(D) = Σ_i P(D ∩ B_i) = Σ_i P(D|B_i)·P(B_i)        ← 每项用乘法公式

第二步 贝叶斯公式：同一条乘法公式的两条通路相等
  P(B_i ∩ D) = P(D|B_i)·P(B_i) = P(B_i|D)·P(D)

             P(B_i ∩ D)     P(D|B_i)·P(B_i)
  P(B_i|D) = ─────────── = ───────────────────────
                P(D)        Σ_j P(D|B_j)·P(B_j)
                            └──── 全概率公式展开 ────┘

分母 P(D) 与下标 i 无关，于是最常用的形式是比例式：后验 ∝ 似然 × 先验。四个成分各有名字，第 7、16 章会反复用到：

两个假设的后验之比还能进一步分解为 P(B|D)/P(A|D) = [P(D|B)/P(D|A)]·[P(B)/P(A)]，即 后验比 = 似然比 × 先验比：证据只通过"似然比"这一个乘数起作用，它按倍率放大或缩小原有的先验比，而不重置它。这是贝叶斯推断最重要的直觉。用真题 【2026-08-05 选择 Q7】 验证：A 供应商占 70%、次品率 2%；B 供应商占 30%、次品率 4%，抽到一个次品 D，求它来自 B 的概率。

1
2
3
4

先验比 = 0.30/0.70 = 3/7 ≈ 0.4286        似然比 = 0.04/0.02 = 2
后验比 = 2 × 3/7 = 6/7 ≈ 0.8571
由后验比 = P(B|D)/P(A|D) 且两者之和为 1 ⟹ P(B|D) = 0.8571/(1 + 0.8571) ≈ 46.2%
套公式验算：P(D) = 0.7×0.02 + 0.3×0.04 = 0.026，P(B|D) = 0.012/0.026 ≈ 46.2% ✓

4.2 常见分布族与共轭先验

**随机变量（random variable）**是样本空间到实数的可测映射，它让我们能用实数上的工具分析事件。离散型用概率质量函数 P(X = x)，连续型用概率密度 f(x)（要求 f(x) ≥ 0 且 ∫f(x)dx = 1）。

（α₀ = Σ_i α_i。多项分布有负协方差 Cov(N_i, N_j) = −n p_i p_j (i ≠ j)，Dirichlet 有 Cov(p_i, p_j) = −α_i α_j/(α₀²(α₀+1))；负号来自"总数固定"这一约束——某一类多了，其他类必然少。）

为什么 Beta 是伯努利的共轭先验。 共轭先验（conjugate prior）指后验与先验属于同一分布族，其价值是让贝叶斯更新退化成几个参数的加法：

1
2
3
4
5
6

先验：p ~ Beta(α, β) ⟹ p(p) ∝ p^(α−1)(1−p)^(β−1)
似然：k | p ~ Binomial(n, p) ⟹ p(k|p) ∝ p^k (1−p)^(n−k)

后验 ∝ 似然 × 先验 ∝ p^k (1−p)^(n−k) · p^(α−1)(1−p)^(β−1)
       = p^(α+k−1)(1−p)^(β+n−k−1) ∝ Beta(α + k, β + n − k)
                 ↑ 认出 p^(a−1)(1−p)^(b−1) 正是 Beta 的核

后验 = Beta(α+k, β+n−k)：一次观测只让参数做一次加法，这就是共轭的全部好处。α、β 可解释为伪计数（pseudo-count），相当于事先已看过 α−1 次成功、β−1 次失败；α = β = 1 时先验均匀、不含信息，后验众数退化为 MLE。同样机制在更高维重演：Dirichlet 是多项分布的共轭先验，更新规则为 α_i ← α_i + n_i，第 14 章的主题模型与第 16 章的对齐方法都在用它。

4.3 期望、方差、协方差与三个不等式

期望是概率加权的平均：E[X] = Σ_x x·P(X = x)（离散）或 ∫x·f(x)dx（连续）。它最重要的性质是线性性 E[aX + bY + c] = a·E[X] + b·E[Y] + c，而且不要求 X、Y 独立——正因如此 E[ΣX_i] = ΣE[X_i] 对任意相关的 X_i 都成立，大数定律的推导才那么干净。

1
2
3
4
5
6
7
8
9

方差：Var(X) = E[(X − μ)²]              （记 μ = E[X]）
  E[(X − μ)²] = E[X² − 2μX + μ²] = E[X²] − 2μ·E[X] + μ² = E[X²] − (E[X])²
⟹ Var(X) = E[X²] − (E[X])²        另有  Var(aX + b) = a²·Var(X)

协方差：Cov(X, Y) = E[(X − E[X])(Y − E[Y])] = E[XY] − E[X]E[Y]
双线性：Cov(aX + b, cY + d) = ac·Cov(X, Y)
Var(X + Y) = Var(X) + Var(Y) + 2·Cov(X, Y)     （独立 ⟹ 末项为 0，反之不成立）
反例：X ~ Uniform(−1, 1)，Y = X²。E[X] = 0，E[XY] = E[X³] = 0，故 Cov = 0，
      但 Y 由 X 完全决定，二者并不独立。

协方差为 0 只说明"没有线性关系"，不等于"没有关系"；只有当 (X, Y) 服从联合正态时，“不相关"才等价于"独立”——这是第 3 章协方差矩阵与第 11 章 PCA 成立的前提。Var(aX + b) = a²·Var(X) 则同时说明：常数平移不改变散布，缩放系数的平方才是方差的缩放倍数，这正是 4.5 节平移判据的代数根据。

1
2
3
4
5
6
7
8

全期望公式：E[X] = E[E[X|Y]]
  证：∫E[X|Y=y]f(y)dy = ∫∫x·f(x|y)f(y)dxdy = ∫∫x·f(x,y)dxdy = ∫x·f(x)dx

全方差公式：Var(X) = E[Var(X|Y)] + Var(E[X|Y])
                    └─ 组内变异 ─┘   └─ 组间变异 ─┘
  证：由 Var(X|Y) = E[X²|Y] − (E[X|Y])² 解出 E[X²|Y] = Var(X|Y) + (E[X|Y])²
      Var(X) = E[X²] − (E[X])² = E[E[X²|Y]] − (E[E[X|Y]])²      （两项各用一次全期望）
             = E[Var(X|Y)] + E[(E[X|Y])²] − (E[E[X|Y]])² = E[Var(X|Y)] + Var(E[X|Y])

因为方差非负，立得 Var(X) ≥ Var(E[X|Y])：条件化只会减少或保持方差，不会增加。这条推论在解释"信息越多不确定性越小"以及第 16 章"条件基线降低方差"时可直接使用。三个常用不等式及其证明：

1
2
3
4
5
6
7

马尔可夫：X ≥ 0，a > 0 ⟹ P(X ≥ a) ≤ E[X]/a
  证：E[X] = ∫_0^a x f dx + ∫_a^∞ x f dx ≥ 0 + ∫_a^∞ a f dx = a·P(X ≥ a)
切比雪夫：Var(X) = σ² < ∞ ⟹ P(|X − E[X]| ≥ kσ) ≤ 1/k²
  证：对 Y = (X − E[X])² ≥ 0 用马尔可夫不等式，取 a = (kσ)² 即得
詹森：f 凸 ⟹ f(E[X]) ≤ E[f(X)]
  证：凸函数在 μ = E[X] 处有全局下界切线 f(x) ≥ f(μ) + f'(μ)(x − μ)；
      两边取期望，右端 E[x − μ] = 0，故 E[f(X)] ≥ f(μ)

詹森不等式是一切"把 log 从期望里面提出来"的不等式的总根源，4.7.2 节的 KL 非负性就是它的直接产物。

4.4 大数定律与中心极限定理

设 X₁, …, X_n 独立同分布，E[X_i] = μ，Var(X_i) = σ² < ∞，记 X̄ = (1/n)ΣX_i。由期望线性性得 E[X̄] = μ；由独立性得 Var(X̄) = (1/n²)·nσ² = σ²/n（协方差项全为 0）。关键在于 Var(X̄) = σ²/n → 0：样本量越大，X̄ 的散布越小。代入切比雪夫不等式，对任意 ε > 0 有 P(|X̄ − μ| ≥ ε) ≤ σ²/(nε²) → 0，这就是弱大数定律（weak law of large numbers）。（辛钦大数定律把条件放宽到只需 E|X| < ∞，但证明要用特征函数，超出本章范围。）

中心极限定理（CLT）：P((S_n − nμ)/(σ√n) ≤ z) → Φ(z) = ∫_{−∞}^{z}(1/√(2π))e^(−t²/2)dt，等价地 √n(X̄ − μ)/σ 依分布收敛到 N(0,1)。分母是 σ√n 而不是 σn：涨落按 √n 增长，中心按 n 增长，所以相对涨落按 1/√n 缩小，这就是"标准误（standard error）随 √n 下降"，也是样本量必须翻四倍才能把置信区间宽度减半的原因。为什么极限分布一定是正态、且与 X_i 原本的分布无关？一个只用二阶展开的证明梗概：

1
2
3
4
5
6

把 X_i 标准化：Y_i = (X_i − μ)/σ ⟹ E[Y_i] = 0，Var(Y_i) = 1。
特征函数 φ(t) = E[e^(itY)] 满足 φ(0) = 1，φ'(0) = iE[Y] = 0，φ''(0) = −E[Y²] = −1，
故泰勒展开为 φ(t) = 1 − t²/2 + O(t³)。
(ΣY_i)/√n 的特征函数是 [φ(t/√n)]^n，取对数并用 ln(1+u) ≈ u：
  n·ln φ(t/√n) = n·ln(1 − t²/(2n) + O(n^(−3/2))) = −t²/2 + O(n^(−1/2)) → −t²/2
而 e^(−t²/2) 正是 N(0,1) 的特征函数。

核心机制是：求和把各阶累积量按 √n 的幂次压制，只有二阶（方差）留下来。所以只要独立同分布、方差有限，极限分布就只由均值和方差两个参数决定。“正态无处不在"不是自然界的偏好，而是求和运算的必然结果。

同一机制在向量内积上重演一次，结论直接决定第 15 章自注意力的缩放因子。设 x 的 d 个分量独立同分布，E[x_i] = 0，Var(x_i) = σ²，y 固定：

1
2
3
4
5

E[xᵀy] = Σ_i y_i E[x_i] = 0
Var(xᵀy) = Σ_i y_i²·Var(x_i) + 2Σ_{i<j} y_i y_j·Cov(x_i, x_j)
         = σ²Σ_i y_i² = σ²‖y‖²        （独立性使协方差项全部为 0）
若各分量同量级使 ‖y‖ ~ √d：方差 ~ d（随维度线性增长），标准差 ~ √d
                            典型内积量级由标准差决定，~ √d

d 越大，内积的绝对值越可能很大。若不处理，Softmax 的输入会随 d 增大而进入饱和区，梯度趋近于 0，训练停滞。第 15 章把打分除以 √d_k：d_k 维打分本身的标准差就是 √d_k 量级，除以它恰好把各元素的方差重新拉回 1 附近，与 d_k 无关。这个"除 √d“不是经验凑数，而是上面这条方差公式的直接推论。

4.5 描述统计三件套

描述一组数据要从三个互补的角度看：中心在哪、有多散、形状如何。

黄金判据：把整个分布整体平移 c，位置量全部加 c，离散量与形状量纹丝不动。原因是这些量的定义里只出现中心化后的差 X − 中心，平移被差分完全抵消；而均值、中位数、众数本身就是"中心"的实现，平移直接落在它们身上。由此还能推出缩放判据：整体乘 a 时位置量乘 a，标准差乘 |a|，方差乘 a²，偏度与峰度不变（分子分母的幂次正好相消）。

三个统计量对离群值的敏感度差别极大：均值要用上每一个数值，一个极端点就能把它拽走；中位数只看得排序位置，IQR 更只看中间一半。真题 【2026-09-04 编程题 1】 的数据中含一个取值 100 的离群点，该题正是用窗口均值加 k·σ 判据把它识别为异常并替换的。

4.6 参数估计：矩估计、MLE 与 MAP

4.6.1 矩估计与 MLE 的三步流程

**矩估计（method of moments）**让样本矩等于总体矩：令 E[X] = m₁、E[X²] = m₂，对正态即得 μ̂ = x̄、σ̂² = m₂ − m₁² = (1/n)Σ(x_i − x̄)²。它计算便宜、不需要写似然，但不使用完整的分布信息，在厚尾分布上还可能给出物理上无意义的解（例如负的方差估计）。

**极大似然估计（MLE）**是反向思路：不问"参数大概是多少”，而问"哪个参数最容易生成我看到的这批数据"，即 θ̂_MLE = argmax_θ P(X|θ)。样本独立同分布时 L(θ) = Π_i p(x_i|θ) 会下溢成 0，必须先取对数（对数单调递增，不改变极值点，同时把乘积变成求和）：ℓ(θ) = ln L(θ) = Σ_i ln p(x_i|θ)。三步流程：写似然 → 取对数 → 求导置零，再检查二阶条件与边界情形。

4.6.2 两个完整推导

伯努利：n 次试验观测到 k 次成功，单样本 PMF 为 p^(x)(1−p)^(1−x)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

L(p) = Π_i p^(x_i)(1−p)^(1−x_i) = p^k (1−p)^(n−k)，ℓ(p) = k·ln p + (n − k)·ln(1 − p)
dℓ/dp = k/p − (n − k)/(1 − p) = 0
两边同乘 p(1−p)：k(1 − p) − (n − k)p = 0 ⟹ k − kp − np + kp = 0 ⟹ k = np
⟹ p̂ = k/n            （样本频率）
二阶条件：d²ℓ/dp² = −k/p² − (n−k)/(1−p)² < 0（0 < k < n 时），故为极大值点。
边界：k = 0 时 ℓ 在 p → 0 处取上确界 ⟹ p̂ = 0；k = n 时 p̂ = 1。

正态（两参数都未知，分别求偏导再联立）：
ℓ(μ, σ²) = −(n/2)ln(2π) − (n/2)ln σ² − (1/(2σ²))Σ_i (x_i − μ)²
  ∂ℓ/∂μ = (1/σ²)Σ_i (x_i − μ) = 0 ⟹ Σx_i − nμ = 0 ⟹ μ̂ = x̄
把 μ̂ 代回、记 v = σ²：∂ℓ/∂v = −n/(2v) + (1/(2v²))Σ_i (x_i − μ̂)² = 0
  ⟹ n·v = Σ_i (x_i − μ̂)² ⟹ σ̂² = (1/n)Σ_i (x_i − x̄)²

注意 σ̂² 的分母是 n 而不是 n − 1：MLE 给出的是有偏估计。这不矛盾——MLE 优化的是似然，不是无偏性。真题 【2026-09-04 编程题 1】 要求的正是这个总体口径（除以 n）。

4.6.3 MAP、偏差与相合性

MAP 把先验也算进来：θ̂_MAP = argmax_θ P(X|θ)·P(θ)。分母 P(X) 与 θ 无关，可直接丢掉，取对数后得到 MAP = MLE + 对数先验（先验均匀时 ln P(θ) 为常数，退化为 MLE）。用 Beta–伯努利验证：先验 Beta(α, β)、观测 k 次成功后后验为 Beta(α+k, β+n−k)，众数为 (α+k−1)/(α+β+n−2)；取 α = β = 2 得 (k+1)/(n+2)，于是 n = 10, k = 7 时 MLE 给出 0.700，MAP 给出 8/12 ≈ 0.667，被先验往 0.5 方向拉了一点。第 8 章会说明：L2 正则化等价于高斯先验的 MAP，L1 正则化等价于拉普拉斯先验的 MAP，这把"正则化"从工程技巧提升为贝叶斯推断的特例。

偏差与方差。 定义 Bias(θ̂) = E[θ̂] − θ，综合评价用 MSE(θ̂) = Bias(θ̂)² + Var(θ̂)：存在偏差—方差权衡，引入一点偏差换取方差大幅下降，MSE 反而更小，这正是第 7 章偏差-方差分解与第 8 章正则化的理由。样本方差为什么除以 n − 1：

1
2
3
4
5

Σ_i (x_i − x̄)² = Σ_i (x_i − μ + μ − x̄)²
               = Σ_i (x_i − μ)² − 2(x̄ − μ)Σ_i(x_i − μ) + n(x̄ − μ)²
               = Σ_i (x_i − μ)² − n(x̄ − μ)²        （Σ(x_i − μ) = n(x̄ − μ)）
取期望，注意 Var(x̄) = σ²/n：E[Σ_i (x_i − x̄)²] = nσ² − n·(σ²/n) = (n − 1)σ²
⟹ s² = Σ(x_i − x̄)²/(n − 1) 无偏；而除以 n 的版本期望为 (n−1)σ²/n，系统性偏低。

相合性（consistency）指 n → ∞ 时 θ̂ 依概率收敛到真值 θ；MLE 在正则条件下具有相合性、渐近正态性与渐近有效性（达到 Cramér–Rao 下界）。真题 【2026-08-05 选择 Q11】 的干扰项 C 说的就是相合性——它是估计量的性质，不是 MLE 的操作，这是选项设计上的经典偷换。

4.7 信息论

4.7.1 自信息、熵与条件熵

信息论的起点是一个直观问题：一条消息值多少信息量？答案要满足两条要求：① 概率越小，信息量越大；② 两件独立事件同时发生，信息量应当相加。同时满足这两条的函数形式只能是对数（由 I(p·q) = I(p) + I(q) 反复代入可推出 I(x) = −c·log x，再由"概率越小信息量越大"定出 c > 0）：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

自信息：I(x) = −log P(x)          （底数 log₂ 时单位是 bit，ln 时是 nat）
熵（自信息的期望，即平均不确定性）：H(X) = E[I(X)] = −Σ_x p(x)·log p(x)
  ① 非负性：H(X) ≥ 0，等号当且仅当 X 几乎必然是常数
  ② 均匀最大：取值有 k 个时 H(X) ≤ log k，等号在均匀分布时取到
  ③ 二值情形：H(p) = −p·log p − (1−p)log(1−p)，p = 0.5 时最大，为 1 bit

联合熵 H(X, Y) = −Σ_{x,y} p(x,y)·log p(x,y)
条件熵 H(Y|X) = −Σ_{x,y} p(x,y)·log p(y|x) = E_x[H(Y | X = x)]
链式法则（把 p(x,y) = p(x)p(y|x) 代入联合熵定义）：
  H(X, Y) = −Σ p(x,y)log p(x) − Σ p(x,y)log p(y|x) = H(X) + H(Y|X)
  同理 H(X, Y) = H(Y) + H(X|Y) ⟹ H(Y|X) = H(X, Y) − H(X)
条件降低熵：H(Y|X) ≤ H(Y)        （由 I(X;Y) ≥ 0 与 H(Y|X) = H(Y) − I(X;Y) 立得）

4.7.2 交叉熵、KL 散度与吉布斯不等式

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

交叉熵 H(p, q) = −Σ_x p(x)·log q(x)      KL 散度 D_KL(p‖q) = Σ_x p(x)·log( p(x)/q(x) )
展开 KL 得到全书最重要的一条恒等式：
  D_KL(p‖q) = Σ_x p(x)log p(x) − Σ_x p(x)log q(x) = −H(p) + H(p, q)
⟹ H(p, q) = H(p) + D_KL(p‖q)        （H(p) 与模型 q 无关）

吉布斯不等式 D_KL(p‖q) ≥ 0 的证明（等号当且仅当 p = q）：
  先用初等不等式 ln u ≤ u − 1（ln 凹，u = 1 处的切线是它的全局上界）。
  −D_KL(p‖q) = Σ_x p(x)·log( q(x)/p(x) ) ≤ Σ_x p(x)·( q(x)/p(x) − 1 )
             = Σ_x q(x) − Σ_x p(x) = 1 − 1 = 0        （令 u = q(x)/p(x)）
  故 D_KL(p‖q) ≥ 0；等号要求 u = 1 处处成立，即 q(x) = p(x) 对所有 p(x) > 0 的 x。

H(p) 与模型 q 完全无关，所以最小化交叉熵与最小化 KL 散度在优化目标上等价——这就是第 9 章选择交叉熵作为分类损失的理论依据。

非对称性是 KL 最容易被忽视的性质：D_KL(p‖q) ≠ D_KL(q‖p)，它不是度量（metric），不满足对称性与三角不等式。前向 KL D_KL(p_data‖q_model) 在 p(x) > 0 而 q(x) → 0 时 log(p/q) → +∞，被 p(x) 加权后惩罚极重，模型因此不敢在数据出现的地方给零概率，倾向于覆盖所有模式，但可能把质量摊到数据没有的地方（zero-avoiding）；反向 KL 惩罚的是 q(x) > 0 而 p(x) → 0 的位置，模型宁可只抓住一个模式（zero-forcing）。MLE 等价于最小化前向 KL，而 RLHF 的 KL 惩罚约束策略相对参考模型的偏离，方向的选择会直接影响生成多样性。

4.7.3 互信息、与 MLE 的等价性、困惑度

**互信息（mutual information）**是联合分布与独立分布之间的 KL 距离，也是"相关性"的严格版本——它捕捉任意形式的依赖（不限于线性）：I(X;Y) = D_KL(p(x,y)‖p(x)p(y)) = H(X) − H(X|Y) = H(X) + H(Y) − H(X,Y)，满足 I(X;Y) ≥ 0、I(X;X) = H(X)，且 X 与 Y 独立 ⟺ I(X;Y) = 0。它因此常用于特征选择、第 17 章的检索打分，以及对比学习中的 InfoNCE 目标——后者本质上是互信息的一个可计算下界。下面这一步把前面所有线索接起来：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

θ̂ = argmax_θ Π_i p_θ(x_i) = argmax_θ Σ_i log p_θ(x_i) = argmax_θ (1/n)Σ_i log p_θ(x_i)
                            （对数单调，乘积变求和；除以正常数不改极值点）

引入经验分布 p̂(x) = (1/n)Σ_i 1[x_i = x]，把对样本求平均改写成对 p̂ 求期望：
  (1/n)Σ_i log p_θ(x_i) = Σ_x p̂(x)·log p_θ(x) = −H(p̂, p_θ)      ← 负交叉熵

于是 argmax_θ Σ_i log p_θ(x_i) = argmin_θ H(p̂, p_θ)
                               = argmin_θ [ H(p̂) + D_KL(p̂‖p_θ) ]
                               = argmin_θ D_KL(p̂‖p_θ)     （H(p̂) 与 θ 无关）
再由大数定律 p̂ → p_data，最终是在最小化 D_KL(p_data‖p_θ)。

**困惑度（perplexity, PPL）**是交叉熵的指数形式：PPL = exp(H(p̂, p_θ)) = exp(−(1/n)Σ_i log p_θ(x_i))。它的直觉是"模型每生成一个 token 时，平均在多少个等可能的候选之间犹豫"：若模型在每个位置都均匀乱猜，p_θ = 1/V，则 H = log V、PPL = V；若模型总以概率 1 给出正确 token，则 H = 0、PPL = 1（理论下界）。所以 PPL = 10 意味着模型的有效不确定性大约相当于在 10 个选项里均匀乱猜。两个工程要点：① 底数必须与指数底数一致，用 log₂ 时 PPL = 2^H，数值与 e^H 相同；② PPL 只在同一词表、同一分词方案下可比，改变 tokenizer 会改变 n 与 V，跨模型的 PPL 数值直接比较没有意义。

本章小结

自测题

Q1（判断）若 Cov(X, Y) = 0，则 X 与 Y 独立。

Q2（计算）两台机器生产同一种零件：机器甲产量占 60%、次品率 1%；机器乙产量占 40%、次品率 5%。随机取一件发现是次品，它来自乙的概率是多少？

1
2
3
4

先验比 = 0.40/0.60 = 2/3 ≈ 0.6667        似然比 = 0.05/0.01 = 5
后验比 = 5 × 2/3 = 10/3 ≈ 3.3333
P(次品) = 0.6×0.01 + 0.4×0.05 = 0.026，P(乙|次品) = 0.020/0.026 ≈ 76.9%
校验：P(乙|次品)/P(甲|次品) = 0.769/0.231 ≈ 3.33  ✓

Q3（推导）用极大似然估计求泊松分布 P(X = k) = λ^k e^(−λ)/k! 的参数 λ̂，并指出它等于样本均值。

1
2
3

L(λ) = Π_i λ^(x_i)e^(−λ)/x_i!，ℓ(λ) = (ln λ)Σ_i x_i − nλ − Σ_i ln(x_i!)
dℓ/dλ = (Σ_i x_i)/λ − n = 0     ⟹     λ̂ = (1/n)Σ_i x_i = x̄
二阶条件：d²ℓ/dλ² = −(Σx_i)/λ² < 0（样本不全为 0 时），故为极大值点。

Q4（推导）某工厂两条产线：产线 A 承担 70% 产量，其产品某指标服从 N(10, 4)；产线 B 承担 30%，服从 N(14, 9)。随机取一件产品（不知来自哪条线），求该指标 X 的期望与方差。

1
2
3
4
5
6

全期望：E[X] = E[E[X|Y]] = 0.7×10 + 0.3×14 = 11.2
全方差（两项都不能漏）：
  组内：E[Var(X|Y)] = 0.7×4 + 0.3×9 = 2.8 + 2.7 = 5.5
  组间：条件均值只取 10 和 14，E[(E[X|Y])²] = 0.7×100 + 0.3×196 = 128.8
        Var(E[X|Y]) = 128.8 − 11.2² = 128.8 − 125.44 = 3.36
  Var(X) = 5.5 + 3.36 = 8.86

Q5（计算）抛硬币 12 次出现 3 次正面，分别用 MLE 与先验 Beta(2, 2) 下的 MAP 估计正面概率 p，并解释差异来源。

1
2

MLE：p̂ = k/n = 3/12 = 0.25
MAP：后验 = Beta(α+k, β+n−k) = Beta(5, 11)，后验众数 = (α+k−1)/(α+β+n−2) = 4/14 ≈ 0.2857

与真题的关联

延伸阅读

• Casella, G. & Berger, R. L., Statistical Inference, 2nd ed.：第 2 章（概率空间与条件概率）、第 4 章（常见分布族与共轭先验）、第 7 章（MLE 的完整理论、Cramér–Rao 下界与相合性）。
• MacKay, D. J. C., Information Theory, Inference, and Learning Algorithms：第 1、2 章。作者官网提供免费电子版，对"熵—似然—编码长度"三者关系的解释是同类教材中最直观的。
• Cover, T. M. & Thomas, J. A., Elements of Information Theory, 2nd ed.：第 2 章（熵、KL 散度、互信息与吉布斯不等式）、第 11 章（信息论与统计推断的联系）。
• Goodfellow, I., Bengio, Y. & Courville, A., Deep Learning：第 3 章"概率与信息论”，把本章内容压缩到机器学习所需的最小集合，适合快速复习。
• 李航，《统计学习方法》第 1 章：极大似然估计、最大后验估计与贝叶斯估计三者的对照，以及第 9 章 EM 算法中对全期望公式的使用。