第 13 章 训练与优化实务

第 12 章说明了梯度怎么算；本章回答梯度算出来之后怎么办：参数从什么尺度出发、每层的激活如何保持稳定、深层网络为什么需要残差、半精度为什么需要 loss scaling，以及 loss 不降时按什么顺序排查。

学习目标

读完本章，你应当能够：

1. 从"前向激活方差与反向梯度方差守恒"推出 Xavier 与 He 初始化，并解释为什么 ReLU 必须配 He；
2. 写出 BatchNorm 的训练与推理公式，说明 running statistics 的作用，并辨析 BN / LN / RMSNorm / GroupNorm；
3. 分析 y = x + F(x) 的梯度流，解释残差为什么能缓解深层退化；
4. 说明 FP16 与 BF16 的动态范围差异、loss scaling 的必要性，以及哪些算子必须保持高精度；
5. 区分按值裁剪与按范数裁剪，并给出 warmup、裁剪、混合精度、梯度累积、权重衰减解耦各自解决的问题；
6. 按"由简到繁"的顺序排查 loss 不降与 NaN，并会做学习率范围测试。

前置知识检查

13.1 参数初始化

13.1.1 全零初始化的对称性

若把同一层所有神经元的权重与偏置都初始化为 0，则每个隐单元的前向输出完全相同（都是同一个常数），反向收到的梯度也完全相同，更新后依然完全相同。结论：宽度 m 的网络在功能上等价于 1 个神经元，容量被完全浪费。对称性必须由权重的随机性打破（偏置置零是安全的：只要权重不同，各单元的加权输入就不同）。

反过来，把权重初始化得过大或过小同样致命。设某层的输入维为 fan_in：

1

信号沿层传播的尺度满足   Var(z) = fan_in · Var(w) · Var(a)

• 若 Var(w) ≫ 1/fan_in：每层激活方差被放大 fan_in·Var(w) 倍，深层指数爆炸（并可能让 Sigmoid/Tanh 立即饱和）；
• 若 Var(w) ≪ 1/fan_in：深层激活迅速趋近 0，反向梯度同样衰减为 0。

所以初始化不是"随便给个小数"，而是要让尺度跨层守恒。

13.1.2 Xavier / Glorot 与 He 初始化的推导

设权重与输入独立、均值为 0、同分布，且暂时忽略激活函数的非线性（即认为 a ≈ z，这对 Tanh/Sigmoid 的线性区成立）：

1
2
3
4
5
6
7

前向：z_i^(l) = Σ_{j=1}^{n_{l−1}} w_ij a_j^(l−1)
      Var(z^(l)) = n_{l−1} · Var(w) · Var(a^(l−1))
      要 Var(z^(l)) = Var(a^(l−1))   ⟹   Var(w) = 1/n_{l−1}      （n_{l−1} = fan_in）

反向：∂L/∂a^(l−1) = W^(l)ᵀ (∂L/∂z^(l))
      Var(∂L/∂a^(l−1)) = n_l · Var(w) · Var(∂L/∂z^(l))
      要反向同样守恒               ⟹   Var(w) = 1/n_l          （n_l = fan_out）

前向要求 1/fan_in、反向要求 1/fan_out，两者一般不能同时满足，于是取调和平均：

1
2
3

Xavier / Glorot：Var(w) = 2/(fan_in + fan_out)
  正态形式：W ~ N(0, 2/(fan_in + fan_out))
  均匀形式：W ~ U(−√(6/(fan_in + fan_out)), +√(6/(fan_in + fan_out)))   （均匀分布方差 = a²/3）

ReLU 破坏了"Var(a) = Var(z)“这个前提：它把约一半的神经元置零，于是 Var(a) ≈ ½·Var(z)。代回前向方差守恒条件：

1
2

Var(z) = fan_in · Var(w) · ½Var(z)   ⟹   Var(w) = 2/fan_in
He / Kaiming：W ~ N(0, 2/fan_in)      （标准差 σ_w = √(2/fan_in)）

这就是"ReLU 配 He、Tanh/Sigmoid 配 Xavier"的定量原因：多出的因子 2 正是补偿被 ReLU 砍掉的那一半方差。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import numpy as np


def init_weights(shape, fan_in, fan_out, act):
    """按激活函数选择初始化：ReLU 族用 He，Tanh/Sigmoid 用 Xavier"""
    if act in ('relu', 'leaky_relu', 'gelu', 'silu'):
        std = np.sqrt(2.0 / fan_in)          # ReLU 把一半方差砍掉，故乘 2
    else:
        std = np.sqrt(2.0 / (fan_in + fan_out))   # 前向 1/fan_in 与反向 1/fan_out 的折中
    return np.random.randn(*shape) * std

13.2 归一化层

13.2.1 BatchNorm：公式与训练 / 推理的差异

BatchNorm（batch normalization）在一个 mini-batch 上统计均值与方差，再标准化并仿射还原：

1
2
3
4

μ_B = (1/B) Σ_{i=1}^{B} x_i
σ_B² = (1/B) Σ_{i=1}^{B} (x_i − μ_B)²
x̂_i = (x_i − μ_B)/√(σ_B² + ε)
y_i = γ·x̂_i + β                       γ、β 是可学习参数

关键在于训练与推理使用不同的统计量：

必须这样做的原因是：推理时 batch 可能只有 1 个样本（在线服务、自回归生成），此时 σ_B² = 0；即使 batch 大于 1，用当前 batch 的统计量也会让同一个输入的输出随同批其他样本变化，预测不可复现。直接用训练 batch 统计量则会造成训练/推理行为不一致的系统偏差（典型 bug 是忘记切换到 eval 模式）。

13.2.2 LN、RMSNorm、GroupNorm 与 BN 的对比

1
2

LayerNorm：  x̂ = (x − mean(x))/√(var(x) + ε)    然后在特征维上仿射
RMSNorm：    x̂ = x/√(mean(x²) + ε)             只做缩放，不重新居中

RMSNorm 的动机是"尺度不变性才是关键、重新居中贡献很小”，于是砍掉均值项与偏置项，换来更少的归约与更简单的算子（第 19 章会看到它与残差相加的融合）。

为什么 NLP 用 LN 而不是 BN，有三条互相独立的原因：① 序列长度可变、batch 内 padding 位置的有效样本数不同，按位置统计的 μ_B、σ_B² 噪声极大；② 大模型训练时单卡 batch 很小甚至为 1，BN 的 batch 统计量已无意义；③ 自回归生成逐 token 推进，每一步的统计量必须只依赖当前样本，否则同一句话在不同上下文批量下会得到不同结果。

13.2.3 Pre-LN 与 Post-LN：位置决定训练稳定性

Transformer Block 有两种排布（详见第 15 章）：

1
2

Post-LN（原始 Transformer）：x_{l+1} = LN( x_l + F(x_l) )     ← Norm 在残差之后
Pre-LN ：                    x_{l+1} = x_l + F( LN(x_l) )     ← Norm 在子层之前

差异出在残差主干上有没有算子阻挡。Pre-LN 中 x_{l+1} = x_l + F(LN(x_l))，从输出到输入存在一条未经任何变换的恒等通路，梯度可以沿它直接回传（见 13.3 节的推导）；Post-LN 中主干每层都要穿过一个 LN，梯度尺度在输出附近被显著放大，深层网络必须靠 warmup 才能稳住。因此 GPT 一类现代模型普遍采用 Pre-LN（代价是最终质量有时略逊于调好的 Post-LN，后者有 DeepNorm 等改良方案）。

13.2.4 与推理优化的接口：ResidualAdd + RMSNorm 的融合

归一化与残差相加都是逐元素、访存受限（memory-bound）的算子：几乎不耗算力，耗的是显存带宽。不融合时残差结果要写回 HBM，再被 Norm 读回来，白白多一轮 O(N·d) 的读写；融合成一个 kernel 后，相加结果留在寄存器或 SRAM 里就地归一化。

对应 【2026-09-02 选择 Q4】，正确答案是"避免残差结果写回 HBM，直接在片上完成归一化"。干扰项中"硬件不支持加法"“残差无法计算"与事实相悖，“为了增加 FLOPs"方向搞反——融合的目的是减少访存，计算量增加只会更慢。完整的推理侧分析（存储层级、算术强度、算子融合家族）见第 19 章。

13.3 残差连接

把子层输出写成 y = x + F(x)，直接求导：

1
2

∂y/∂x = I + ∂F/∂x
∂L/∂x = (I + ∂F/∂x)ᵀ · ∂L/∂y = ∂L/∂y + (∂F/∂x)ᵀ ∂L/∂y

梯度被分成两项：第一项 ∂L/∂y 原样穿过（系数恒为 1），第二项才是经过子层变换的部分。把它沿 L 层展开：

1
2
3
4

∂L/∂x_l = (Π_{k=l}^{L−1} (I + J_k)) ∂L/∂x_L      J_k = ∂F_k/∂x_k
展开后含大量"全选 I"的项（例如 I·I·…·I）与混合项：
⟹ 从第 L 层到第 l 层始终存在系数为 1 的直接通路，梯度不会因连乘而指数衰减
⟹ 同时 J_k 较小时乘积不会爆炸，反向的谱半径被"1 + 小量"钉在 1 附近

这正好补上了第 12 章 12.7 节的漏洞：普通深层网络的梯度是若干雅可比的纯连乘，谱半径稍小于 1 就会消失；残差把"连乘"变成"连乘 + 恒等直达”，让梯度有了保底通道。

残差还解决"退化问题（degradation）”：实验发现 56 层普通网络比 20 层的训练误差更高——注意是训练误差，因此不是过拟合，而是优化困难：让一堆非线性层共同表示恒等映射非常难。加了残差后，网络"至少可以学成恒等"（把 F 训成 0 即可），更深的模型不应该比浅的更差。“残差 = 让子层只学残差（修正量）而不是完整映射”：目标映射若接近恒等，学 F ≈ 0 比学完整恒等映射容易得多。

13.4 混合精度训练

13.4.1 FP16 与 BF16 的动态范围差异

关键对比：FP16 与 BF16 都是 16 位，但位宽分配不同。FP16 指数只有 5 位，动态范围窄，e^100 这种量级直接上溢、1e−8 这种梯度直接下溢为 0；BF16 用 8 位指数换来与 FP32 相同的动态范围，代价是尾数只有 7 位（精度低）。大模型训练更偏 BF16，正是因为它几乎不会因为范围问题溢出，而且通常不需要 loss scaling。

13.4.2 loss scaling 为什么必要

FP16 下梯度的典型量级是 1e−5 ~ 1e−8，而 FP16 的最小正规数只有 6.1×10⁻⁵——梯度会整体下溢为 0，参数完全学不动。解决办法是在损失层面整体放大：

1
2
3

前向：loss' = S · loss        （S 例如 2¹⁵）
反向：所有梯度被同比例放大 S 倍 ⟹ ∂L'/∂w = S · ∂L/∂w，落入 FP16 可表示范围
更新前：unscale   ∂L/∂w = (∂L'/∂w)/S     （或者先把 S 除掉再交给优化器）

动态 loss scaling 的流程是：若干步没有出现 inf/nan 就把 S 翻倍；一旦发现 inf/nan（说明缩放后仍上溢），就跳过这一步更新并把 S 减半。BF16 通常不需要这套机制，但仍需 FP32 累加。

13.4.3 哪些算子必须保持高精度

13.5 梯度裁剪

两种裁剪方式在几何上完全不同：

1
2

按值裁剪（clip by value）：g_i ← clip(g_i, −c, +c)             每个分量独立截断
按范数裁剪（clip by norm）： g ← g · min(1, c/‖g‖₂)，   ‖g‖₂ = √(Σ_i g_i²)

按值裁剪会把向量的方向扭向坐标轴（大分量被压、小分量保留），而梯度的方向才是下降方向；按范数裁剪只做等比缩放，方向完全不变，只是把步长限制在阈值内——所以实践中默认用全局范数裁剪，阈值常取 1.0。

它解决的问题是偶发梯度尖峰：一个异常样本、一条超长序列或一次数值不稳，可以让梯度范数突然比平时大几个数量级，一步更新就把训练好的权重摧毁。裁剪给范数设上限，把"最坏一步"的破坏力封顶。与 warmup 的关系是互补而非替代：warmup 处理的是训练初期 Adam 二阶矩估计尚不可靠带来的系统性不稳，裁剪处理的是全程都可能出现的偶发尖峰。阈值不要拍脑袋定，先记录若干步的梯度范数曲线，再取略高于常见水平的取值。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import torch


def clip_grad_norm(optimizer, max_norm=1.0, scaler=None):
    """全局范数裁剪：只缩放不转向；AMP 下必须先 unscale 再裁剪"""
    if scaler is not None:
        scaler.unscale_(optimizer)                # 把 loss scaling 除掉，否则阈值失去意义
    grads = [p.grad for group in optimizer.param_groups for p in group['params']
             if p.grad is not None]
    total = torch.sqrt(sum((g.detach() ** 2).sum() for g in grads))   # 全局 L2 范数
    if total > max_norm:
        scale = max_norm / (total + 1e-6)
        for g in grads:
            g.mul_(scale)                         # 等比缩放：方向不变，只限制步长
    return total.item()

顺序纪律：AMP unscale → 裁剪 → optimizer.step()。若在 unscale 之前裁剪，等于拿被 S 放大过的范数与阈值比较，阈值形同虚设（反向也说明为什么必须先 unscale 再判断 inf/nan）。

13.6 训练稳定性工程手段总览

对应 【2026-08-05 选择 Q20】（多选）：A（学习率 warmup）、C（梯度裁剪）、D（混合精度训练）正确；B（“完全不使用任何学习率调度、固定学习率从头到尾”）错误——主流做法是 warmup 之后接余弦或线性衰减，全程固定学习率会让后期在最优解附近持续震荡、难以收敛。

13.7 调试实践

13.7.1 loss 不降（或直接 NaN）的排查顺序

按"由简到繁、由便宜到昂贵"的顺序排查，前四步就能覆盖绝大多数问题：

1. 单 batch 过拟合测试：关掉数据增强与正则，取 1~2 个 batch 反复训练，能否把 loss 压到接近 0。若不能，问题一定在实现或数据，而不在超参。
2. 查数据管线：输入与标签是否对齐（最常见的错位来源是 shuffle、过滤与缓存不同步）；有没有全 0 输入、NaN、越界标签；padding 与 mask 是否一致。
3. 查 loss 与输出层：交叉熵的输入应当是 logits 而不是 softmax 后的概率（框架内部会做 log-softmax，重复 softmax 等于把梯度压平）；mask 位置是否正确排除。
4. 查学习率：过大表现为 loss 剧烈震荡或直接 NaN，过小表现为几乎不动。用 13.7.3 的学习率范围测试确定数量级。
5. 查梯度：逐层打印梯度范数，判断是消失（前几层接近 0）、爆炸还是恰好为 0（忘记 zero_grad、误用 detach、被 no_grad 包住）。
6. 查初始化与归一化：逐层激活方差是否在 1 附近；BN 的 running stats 是否在更新；AMP 的 scale 是否为 inf。
7. 最后才怀疑架构与超参：到这一步说明前面都没问题，此时改模型结构、加正则、调调度才有意义。

13.7.2 过拟合与欠拟合

这张表要与 【2026-09-02 选择 Q3】 的判据一致：训练精度持续升、验证精度回落是过拟合，其应对是早停、增大权重衰减等；若答成"欠拟合、需要增大容量"，方向就完全反了。

13.7.3 学习率范围测试

学习率是唯一"错一个数量级就全盘皆输"的超参。学习率范围测试（LR range test）用一个 epoch 的成本给出可靠区间：让学习率从 1e−7 开始乘性增长（每步乘 1.05~1.1）到 1，记录每步的 loss，画出 loss–学习率曲线，取下降最陡处对应的学习率再除以 10 作为初始值（配合 warmup 与余弦衰减）。

1
2
3
4
5
6
7
8
9

loss
 │●
 │ ●●
 │   ●●●
 │      ●●●●            ← 最陡下降段：取此处的 η，再除以 10
 │          ●●●●●
 │               ●●●●
 │                   ●●●●●●●   ← loss 开始上升：已过大
 └──────────────────────────────→ η（对数坐标）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

def lr_range_test(model, train_loader, optimizer, criterion, start_lr=1e-7,
                  end_lr=1.0, steps=100):
    """乘性扫描学习率，返回 (lr, loss) 轨迹，用于挑初始学习率"""
    gamma = (end_lr / start_lr) ** (1.0 / steps)     # 每步的乘性增长因子
    lr, trace = start_lr, []
    for i, (x, y) in enumerate(train_loader):
        if i >= steps:
            break
        for group in optimizer.param_groups:
            group['lr'] = lr
        loss = criterion(model(x), y)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        trace.append((lr, loss.item()))
        lr *= gamma
    return trace

本章小结

自测题

Q1（计算）某层输入维 fan_in = 512、输出维 fan_out = 128，激活为 ReLU。求 He 初始化的标准差；若同一个网络改用 Tanh，Xavier 的标准差是多少？两者差多少倍？

Q2（辨析）① 把所有权重和偏置都初始化为 0 会怎样？② 只把偏置初始化为 0、权重随机可以吗？③ 为什么初始化方差必须与 fan_in 成反比？

Q3（辨析）BatchNorm 在训练与推理时分别用什么统计量？为什么推理不能直接用当前 batch 的统计量？为什么 NLP 模型普遍用 LayerNorm 而不是 BatchNorm？

Q4（推导）写出 y = x + F(x) 的 ∂y/∂x，并说明它为什么能缓解梯度消失；再解释残差与"退化问题"的关系。

Q5（场景 + 计算）某模型用 FP16 混合精度训练，第 300 步 loss 突然变成 NaN。给出排查顺序；并说明为什么梯度在 FP16 下会下溢、loss scaling 与 unscale 各自的作用。若某层梯度范数平时在 0.3 附近，某步突然达到 1.2×10³，全局范数裁剪（c = 1.0）后该步的实际更新被缩放到原来的几分之一？

与真题的关联

延伸阅读

• Glorot & Bengio (2010)：Understanding the difficulty of training deep feedforward neural networks —— Xavier 初始化。
• He 等 (2015)：Delving deep into rectifiers —— He 初始化；Ba 等 (2016)：LayerNorm；Zhang & Sennrich (2019)：RMSNorm。
• Xiong 等 (2020)：On layer normalization in the transformer architecture —— Pre-LN / Post-LN 的梯度分析。
• Micikevicius 等 (2018)：Mixed precision training —— loss scaling；Loshchilov & Hutter (2019)：Decoupled weight decay regularization（AdamW）。
• Smith (2017)：Cyclical learning rates for training neural networks —— 学习率范围测试的来源。