# 附录 D 学习路线、能力矩阵与自测清单


> 本附录回答三个问题：**我该按什么顺序学**、**我学到什么程度算合格**、**考前如何自检**。

---

## D.1 能力矩阵

### D.1.1 四个掌握等级

| 等级 | 名称 | 判定标准（可自证） |
|---|---|---|
| **L0** | 未接触 | 看到术语不知道指什么 |
| **L1** | 能识别 | 能看懂别人写的公式与解释，但自己复述不出来 |
| **L2** | 能复述 | 能默写结论与公式，能说明**成立条件**，能做同类计算题 |
| **L3** | 能推导 | 能从更基础的定义/公理推导出结论，能解释"为什么不是别的形式"，能识别干扰项的设计意图 |
| **L4** | 能应用创造 | 能在新场景中主动使用该知识（如把余弦相似度用到检索排序、把背包口径改写用于多输出问题） |

**笔试的合格线是 L3。** 理由：干扰项几乎都靠"悄悄改条件"制造，只有 L3 才能稳定识别；编程题的细节纪律（口径、舍入、边界）也只有在理解原理后才不会反复出错。

### D.1.2 模块 × 目标等级

| 模块 | 章节 | 目标等级 | 说明 |
|---|---|---|---|
| 线性代数基础（运算、秩、可逆） | 第 1 章 | **L3** | 选择题最大得分池 |
| 内积范数与相似度度量 | 第 2 章 | **L3** | 高频且易被场景包装 |
| 特征分解与 SVD | 第 3 章 | L2~L3 | 压缩率计算必须 L2 |
| 概率与统计推断 | 第 4 章 | **L3** | 贝叶斯、MLE 必须能独立推导 |
| 信息论 | 第 4.8 节 | L3 | 交叉熵与 MLE 的等价性是理解损失函数的关键 |
| 数值计算 | 第 5 章 | L2~L3 | 稳定化手段与迭代矩阵要 L3 |
| 优化 | 第 6 章 | L2 | 概念辨析为主 |
| 模型评估与指标 | 第 7 章 | **L3** | 指标适用场景必须能辨析 |
| 正则化 | 第 8 章 | L2~L3 | 早停与 L2 的关系要 L3 |
| 线性模型 | 第 9 章 | **L3** | 交叉熵 vs MSE 的凸性差异要 L3 |
| 无监督学习 | 第 10 章 | **L3** | 聚类是本卷第二高频模块 |
| 降维 | 第 11 章 | L2~L3 | PCA 双视角要 L3 |
| 神经网络与反向传播 | 第 12 章 | **L3** | 维度账本必须能独立写 |
| 训练实务 | 第 13 章 | L2 | 手段与目的对应关系 |
| 表示学习与多模态 | 第 14 章 | L2 | 概念题为主 |
| Transformer | 第 15 章 | **L3** | 注意力维度与缩放因子要 L3 |
| 大模型训练范式 | 第 16 章 | L2~L3 | 算法取舍逻辑要能说清 |
| RAG | 第 17 章 | L2 | 块数公式要 L2 |
| 解码策略 | 第 18 章 | **L3** | Top-P 的计算必须 L3 |
| 推理系统 | 第 19 章 | **L3** | 算术强度与 KV Cache 要 L3 |
| 量化 | 第 20 章 | L2~L3 | 公式与整数化表示要 L3 |
| 分布式并行 | 第 21 章 | L2 | 通信位置要 L2 |
| 算法与数据结构实战 | 第 22~25 章 | **L3** | 背包体系与并查集必须能手写 |
| 工程实现纪律 | 第 26 章 | **L3** | 直接决定编程题得分 |

---

## D.2 八周系统学习计划

每周投入约 10~12 小时（工作日每天 1 小时 + 周末各 3 小时）。

### 第 1 周：线性代数（第 1~3 章）

| 天 | 内容 | 验收标准 |
|---|---|---|
| 1 | 1.1~1.3 向量空间、子空间、线性相关 | 能写出线性相关的严格定义并举出"无零向量仍相关"的反例 |
| 2 | 1.4~1.6 四个基本子空间、秩-零化度、可逆性 | 能默写 `dim N(A) = n − r(A)` 并说明 n 是列数 |
| 3 | 2.1~2.2 内积、范数、相似度 | 能推导 `‖u−v‖² = 2 − 2cosθ` 并指出只对单位向量成立 |
| 4 | 2.3~2.5 投影、最小二乘、Householder | 能推导投影矩阵 `P = A(AᵀA)⁻¹Aᵀ` 并说明 `det(H) = −1` |
| 5 | 3.1~3.3 特征值、谱定理、正定 | 能说明正定矩阵与凸二次函数的关系 |
| 6 | 3.4~3.6 SVD、低秩近似、PCA 代数推导 | 能算 `1000×800`、`r=50` 的压缩率 |
| 7 | 第 1~3 章自测题 + 附录 B 对应真题 | 自测题正确率 ≥ 80% |

### 第 2 周：概率、信息论、数值计算（第 4~5 章）

| 天 | 内容 | 验收标准 |
|---|---|---|
| 1 | 4.1~4.3 概率空间、贝叶斯、分布族 | 能独立做生产线次品率的后验计算 |
| 2 | 4.4~4.6 数字特征、大数定律、描述统计 | 能解释"整体平移分布哪些量不变" |
| 3 | 4.7 参数估计 | 能推导伯努利 MLE 并说明 MAP 与 MLE 的差别 |
| 4 | 4.8 信息论 | 能证明"最小化交叉熵 ⟺ 最大化似然" |
| 5 | 5.1~5.3 浮点、误差、数值稳定性三案例 | 能解释为什么 FP64 不能解决 `x > 1000` 的 Softmax 溢出 |
| 6 | 5.4~5.6 插值、迭代法、条件数 | 能默写 GS 迭代矩阵 `−(D+L)⁻¹U` |
| 7 | 自测题 + 真题 | 正确率 ≥ 80% |

### 第 3 周：优化、评估、正则化（第 6~8 章）

| 天 | 内容 | 验收标准 |
|---|---|---|
| 1 | 6.1~6.2 凸性、梯度下降 | 能写出凸函数的一阶与二阶判据 |
| 2 | 6.3~6.5 动量、Adam、调度、收敛性 | 能解释 Adam 偏差校正的必要性 |
| 3 | 6.6 + 第 7.1~7.2 学习范式、ERM | 能说清泛化误差的来源 |
| 4 | 7.3~7.5 偏差-方差分解、过拟合、交叉验证 | 能推导偏差-方差分解 |
| 5 | 7.6 评价指标全表 | 能在一分钟内给出"漏检敏感用什么指标"及理由 |
| 6 | 8.1~8.4 正则化、早停、Dropout | 能论证早停与 L2 正则的等价性思路 |
| 7 | 8.5 + 自测题 + 真题 | 正确率 ≥ 80% |

### 第 4 周：线性模型、无监督、降维（第 9~11 章）

| 天 | 内容 | 验收标准 |
|---|---|---|
| 1 | 9.1 线性回归（正规方程 + 几何 + 概率解释） | 能推导正规方程并解释正交投影 |
| 2 | 9.2 逻辑回归（交叉熵推导 + 凸性证明） | 能写出两种损失的 Hessian 并判断正定性 |
| 3 | 9.3~9.5 Softmax 回归、GLM、在线学习 | 能解释 AdaGrad 在稀疏特征上的优势 |
| 4 | 10.1~10.2 K-Means、层次聚类 | 能证明 K-Means 目标函数单调不增 |
| 5 | 10.3~10.4 DBSCAN、k-medoids | 能严格区分密度直达/可达/相连 |
| 6 | 10.5~10.6 GMM/EM、聚类评价 + 第 11 章 PCA | 能写出 PCA 的两个等价目标 |
| 7 | 11.2~11.4 LDA、矩阵分解、流形学习 + 自测题 | 能证明 LDA 降维上限为 C−1 |

### 第 5 周：深度学习与 Transformer（第 12~15 章）

| 天 | 内容 | 验收标准 |
|---|---|---|
| 1 | 12.1~12.2 MLP、激活函数 | 能给出六种激活函数的公式与导数 |
| 2 | 12.3~12.4 通用近似定理、自动微分 | 能说明定理保证了什么、没保证什么 |
| 3 | 12.5~12.6 反向传播推导 + 维度账本 | 能独立写出两层 MLP + 交叉熵的全部梯度 |
| 4 | 13.1~13.3 初始化、归一化、残差 | 能说明 Pre-LN 为什么更稳定 |
| 5 | 13.4~13.6 混合精度、裁剪、调试 + 第 14 章 | 能列出训练稳定性的四件套及各自解决的问题 |
| 6 | 15.1~15.4 注意力、多头、位置编码 | 能推导缩放因子 `√d_k` 的由来 |
| 7 | 15.5~15.6 架构变体、复杂度、稀疏注意力 | 能画出 `Q@Kᵀ` 的完整维度账本 |

### 第 6 周：大模型训练、RAG、解码（第 16~18 章）

| 天 | 内容 | 验收标准 |
|---|---|---|
| 1 | 16.1~16.2 预训练、SFT | 能说明为什么预训练 loss 是代理指标 |
| 2 | 16.3 RLHF：PPO/GRPO/GSPO | 能写出 GRPO 的组内优势公式并解释它为什么替代 critic |
| 3 | 16.4~16.5 DPO、评测治理 | 能说出 DPO 省掉了哪两个组件 |
| 4 | 17.1~17.2 RAG 与切分 | 能独立完成块数计算并验算 |
| 5 | 17.3~17.4 检索与评估 | 能解释归一化后内积与欧氏检索的等价性 |
| 6 | 18.1~18.2 解码基础、温度 | 能说明温度对分布形状的影响 |
| 7 | 18.3~18.4 Top-K/Top-P + 自测题 | 能徒手算出核采样后的归一化概率 |

### 第 7 周：推理工程、量化、并行（第 19~21 章）

| 天 | 内容 | 验收标准 |
|---|---|---|
| 1 | 19.1 Roofline 与算术强度 | 能判断任意算子属于 compute-bound 还是 memory-bound |
| 2 | 19.2~19.3 prefill/decode、KV Cache | 能推导单 token KV Cache 公式并做显存估算 |
| 3 | 19.4~19.5 算子融合、FlashAttention | 能推导 online softmax 的递推式 |
| 4 | 19.6 批处理调度 + 第 20.1~20.2 数值格式、量化数学 | 能说明 BF16 与 FP16 的本质区别 |
| 5 | 20.3~20.6 量化粒度、整数化表示、PTQ/QAT | 能推导 `s = a/2^b` 的乘加公式 |
| 6 | 21.1~21.4 通信原语、DP/TP/PP | 能推导 TP 每层需要几次 All-Reduce |
| 7 | 21.5~21.7 ZeRO、EP、选型 + 自测题 | 能给出一个 3D 并行配置方案并说明理由 |

### 第 8 周：算法实战与工程纪律（第 22~26 章）+ 全真模拟

| 天 | 内容 | 验收标准 |
|---|---|---|
| 1 | 22 复杂度与设计方法 | 能根据数据范围反推可接受复杂度 |
| 2 | 23 双指针/前缀和/单调队列 | 能手写单调队列模板 |
| 3 | 24.1~24.5 DP 与三种基础背包 | 能手写 0/1、完全、二维费用背包并解释遍历顺序 |
| 4 | 24.6~24.8 分组背包、状态口径、方案还原 | 能手写分组背包并说明为什么不能原地滚动 |
| 5 | 25 并查集与图 | 能手写迭代 find + 路径减半 |
| 6 | 26 工程实现纪律 + 重做 12 道编程题 | 12 道题全部能独立写出并通过样例 |
| 7 | 附录 A 速查 + 附录 B 全量过一遍 + 模拟一套 | 限时完成，复盘错题 |

---

## D.3 十天冲刺计划

适用于时间紧张、目标明确的情况。**核心策略：只抓高频与高确定性得分点。**

| 天 | 任务 | 产出 |
|---|---|---|
| 1 | 第 1 章 + 第 2 章（重点：秩-零化度、可逆等价条件、距离与余弦换算） | 默写 8 条线代结论 |
| 2 | 第 3 章 + 附录 A.1 | 会算 SVD 压缩率、协方差矩阵维度 |
| 3 | 第 4 章（贝叶斯、MLE、信息论）+ 第 5 章（插值、GS 迭代矩阵、Softmax 稳定化） | 能手推贝叶斯与 MLE |
| 4 | 第 7 章（指标、过拟合）+ 第 8 章（早停） | 指标适用场景表能默写 |
| 5 | 第 9 章（交叉熵 vs MSE）+ 第 10 章（聚类）+ 第 11 章（PCA/LDA） | 能证明交叉熵凸 |
| 6 | 第 12 章（反向传播）+ 第 15 章（注意力维度、缩放因子） | 能写出维度账本 |
| 7 | 第 16 章（GRPO/GSPO）+ 第 18 章（Top-P） | 能徒手算核采样 |
| 8 | 第 19 章（Roofline、prefill/decode、KV Cache、算子融合） | 能判断瓶颈类型 |
| 9 | 第 20 章（量化）+ 第 21 章（TP 通信）+ 附录 A.7 | 能推导 a/2^b |
| 10 | 第 24 章 + 第 26 章 + 附录 B + 附录 D.4 自测 | 12 道编程题过一遍 |

---

## D.4 考前自测清单

> 使用方式：**先不看答案，逐条口述**。能流畅说清"结论 + 条件 + 为什么"的打 ✓；说不清的打 ✗，回头查对应章节。
> **合格的标志是 ✗ 不超过 5 条。**

### D.4.1 线性代数（25 条）

- [ ] 矩阵乘法为什么不可交换？给出一个具体反例。
- [ ] `(A+B)²` 展开是什么？为什么不能写成 `A² + 2AB + B²`？
- [ ] `(AB)ᵀ` 等于什么？为什么必须反序？
- [ ] 线性相关的严格定义是什么？举一个"没有零向量却仍然相关"的例子。
- [ ] "含零向量"与"线性相关"是什么逻辑关系（充分/必要）？
- [ ] 矩阵可逆的五个等价条件是什么？
- [ ] 为什么非方阵不存在双边逆？
- [ ] `dim N(A) + r(A)` 等于行数还是列数？为什么？
- [ ] 四个基本子空间是什么？它们的正交补关系是什么？
- [ ] 为什么"增大 batch 不一定降低梯度矩阵的零空间维度"？
- [ ] L2 范数、L1 范数、曼哈顿距离的定义分别是什么？
- [ ] 柯西-施瓦茨不等式是什么？它保证了余弦相似度在什么范围内？
- [ ] `cosθ = xᵀy/(‖x‖‖y‖)` 中的分母为什么不能省？
- [ ] 对单位向量，`‖u−v‖²` 与 `cosθ` 的换算关系是什么？这个关系依赖哪个条件？
- [ ] 为什么向量库可以把内积检索与欧氏检索视为等价？
- [ ] 正交投影矩阵 `P` 的两个代数性质是什么？
- [ ] 最小二乘的正规方程是怎么来的？几何意义是什么？
- [ ] Householder 矩阵 `H = I − 2vvᵀ` 的四个性质是什么？`det(H)` 等于多少？
- [ ] 为什么 Householder QR 比 Gram-Schmidt 数值稳定？
- [ ] 实对称矩阵为什么一定能正交对角化（谱定理）？
- [ ] 正定矩阵的三个等价判据是什么？
- [ ] SVD 与 `AᵀA` 的特征分解是什么关系？
- [ ] Eckart-Young 定理说的是什么？
- [ ] `A ∈ R^(n×d)` 的协方差矩阵维度是多少？为什么不是 `n×n`？
- [ ] PCA 的方差最大化视角与重构误差最小化视角为什么等价？

### D.4.2 概率、信息论与数值（20 条）

- [ ] 全概率公式与贝叶斯公式的适用条件分别是什么？
- [ ] "先验 30%、次品率翻倍"的例子中，后验为什么会升高但仍然小于 50%？
- [ ] 期望的线性性需要独立性吗？方差的可加性需要吗？
- [ ] 什么统计量在"整体平移分布"下不变？这个性质有什么用？
- [ ] 大数定律与中心极限定理分别保证了什么？
- [ ] 为什么"内积的方差随维度线性增长"？（这关系到注意力缩放）
- [ ] MLE、MAP、矩估计三者的区别是什么？
- [ ] 推导伯努利分布的 MLE。
- [ ] 熵、交叉熵、KL 散度的定义与相互关系是什么？
- [ ] 证明"最小化交叉熵等价于最大化似然"。
- [ ] KL 散度为什么不是距离？
- [ ] 困惑度与平均负对数似然的关系是什么？
- [ ] IEEE 754 中 FP32 的符号/指数/尾数各占几位？机器 epsilon 是多少？
- [ ] 为什么 `0.1 + 0.2 ≠ 0.3`？
- [ ] 什么是灾难性相消？举一个例子。
- [ ] 为什么 `E[X²] − (E[X])²` 在大均值小方差时不可靠？
- [ ] Softmax 稳定化为什么必须"减最大值"，而不能"除以最大值"或"L2 归一化"？
- [ ] 为什么 FP64 不能解决 `x > 1000` 时的 Softmax 溢出？
- [ ] Lagrange 与 Newton 插值的区别是什么？哪种适合动态加点？
- [ ] Jacobi 与 Gauss-Seidel 的迭代矩阵分别是什么？Gauss-Seidel 为什么收敛更快？

### D.4.3 优化与机器学习（25 条）

- [ ] 凸函数的一阶判据与二阶判据是什么？
- [ ] 为什么凸性重要？
- [ ] SGD 的梯度估计为什么是无偏的？
- [ ] 动量法为什么能抑制震荡？
- [ ] Adam 的偏差校正解决什么问题？不校正会怎样？
- [ ] AdamW 与 Adam + L2 的区别是什么？
- [ ] Robbins-Monro 条件是什么？固定学习率为什么不能严格收敛？
- [ ] 泛化误差的偏差-方差分解是什么？
- [ ] 高偏差与高方差分别对应什么现象？如何应对？
- [ ] 训练 loss 降、验证 loss 升说明什么？验证 loss 一直很高说明什么？
- [ ] 时序数据为什么不能随机划分交叉验证？
- [ ] 为什么类别不平衡时 Accuracy 会失真？
- [ ] 漏检敏感与误报敏感分别该看什么指标？
- [ ] ROC 与 AUC 的几何意义与概率解释是什么？
- [ ] L1 与 L2 正则的几何解释与贝叶斯解释各是什么？
- [ ] 为什么 L1 产生稀疏解而 L2 不会？
- [ ] 早停为什么等价于 L2 正则？它限制的是参数范数还是数据量？
- [ ] Dropout 在训练与推理时的处理有什么不同？
- [ ] 线性回归的正规方程怎么推导？它的概率解释是什么？
- [ ] 逻辑回归为什么用交叉熵而不是 MSE？给出凸性论证。
- [ ] 交叉熵 + Sigmoid 的梯度为什么是 `(σ(z) − y)x`？
- [ ] 广义线性模型的三个组成部分是什么？
- [ ] AdaGrad 为什么在稀疏特征上优于固定学习率？
- [ ] 概念漂移是什么？在线学习为什么更能适应？
- [ ] 多任务学习的共主干结构最直接的收益是什么？为什么不能保证所有任务都提升？

### D.4.4 无监督学习与降维（15 条）

- [ ] K-Means 的目标函数是什么？为什么它一定收敛？
- [ ] 手肘法看的是哪个指标？为什么看拐点而不是极值？
- [ ] 轮廓系数与 Davies-Bouldin 指数是内部指标还是外部指标？
- [ ] 四种链接准则的定义分别是什么？
- [ ] single-linkage 为什么容易产生链式效应？
- [ ] 凝聚式层次聚类的复杂度是多少？为什么不能直接用于流式数据？
- [ ] 在线/离线两级架构是怎么配合的？
- [ ] DBSCAN 中核心点、边界点、噪声点的定义分别是什么？
- [ ] 密度直达、密度可达、密度相连三者的关系是什么？
- [ ] 为什么边界点可能同时属于多个簇？只记一个簇编号会怎样？
- [ ] 如何用并查集在 DBSCAN 中求簇？
- [ ] k-medoids 与 K-Means 的核心差别是什么？
- [ ] k-medoids 的迭代为什么一定停止？
- [ ] EM 算法的 E 步与 M 步分别在做什么？它与 K-Means 的关系是什么？
- [ ] LDA 的降维维数上限为什么是 C−1？

### D.4.5 深度学习（20 条）

- [ ] 为什么需要非线性激活函数？
- [ ] 写出 Sigmoid、Tanh、ReLU、GELU 的公式与导数。
- [ ] ReLU 为什么能缓解梯度消失？Dead ReLU 是什么？
- [ ] 通用近似定理的准确表述是什么？它**没有**保证什么？
- [ ] 前向模式与反向模式的自动微分，哪种适合神经网络？为什么？
- [ ] 推导两层 MLP + 交叉熵的全部梯度。
- [ ] 写出反向传播中误差项的递推式。
- [ ] 梯度消失与梯度爆炸的根本原因是什么？
- [ ] Xavier 与 He 初始化的方差公式分别是什么？为什么 ReLU 要配 He？
- [ ] BatchNorm 在训练与推理时的行为有何不同？
- [ ] LayerNorm 与 BatchNorm 的归一化维度有何不同？为什么 NLP 用 LN？
- [ ] RMSNorm 相比 LayerNorm 省掉了什么？
- [ ] 残差连接为什么能缓解深层网络退化？写出 `∂y/∂x`。
- [ ] Pre-LN 与 Post-LN 的差别是什么？大模型为什么偏好 Pre-LN？
- [ ] FP16 与 BF16 的位布局差别是什么？为什么训练偏好 BF16？
- [ ] 混合精度训练中 loss scaling 解决什么问题？
- [ ] 梯度裁剪解决什么问题？与 warmup 如何配合？
- [ ] VQA 的输入与输出分别是什么？
- [ ] BPE 算法的步骤是什么？为什么子词能平衡词表与 OOV？
- [ ] 中文字符与 token 的经验比例是多少？它影响什么？

### D.4.6 Transformer 与大模型（25 条）

- [ ] 注意力机制是从什么问题上被引入的？
- [ ] Q、K、V 的语义分别是什么？用软寻址的类比解释。
- [ ] 写出缩放点积注意力的完整公式。
- [ ] 为什么必须除以 `√d_k`？给出方差推导。
- [ ] 多头的意义是什么？`d_k` 与 `d_model`、`H` 的关系是什么？
- [ ] `Q@Kᵀ` 的形状是什么？这个矩阵的物理含义是什么？
- [ ] 自注意力本身为什么是置换等变的？位置编码的作用是什么？
- [ ] RoPE 与 ALiBi 的核心思想是什么？
- [ ] 因果掩码如何实现？它与 softmax 中的 `−∞` 如何配合？
- [ ] 自注意力的复杂度是多少？为什么它是稀疏注意力的动机？
- [ ] 自回归语言模型的目标函数是什么？
- [ ] 为什么预训练 loss 是"代理指标"？为什么预训练几乎不会过拟合？
- [ ] RLHF 的三个阶段是什么？
- [ ] PPO 的 clip 目标起什么作用？KL 惩罚项起什么作用？
- [ ] GRPO 相对 PPO 改了什么？为什么能替代 critic？代价是什么？
- [ ] GSPO 解决什么问题？token 级比率为什么在长序列下方差大？
- [ ] DPO 省掉了哪两个组件？它的损失形式是什么？
- [ ] RAG 的三阶段是什么？相比微调的优劣是什么？
- [ ] 带重叠切分的块数公式是什么？推导它。
- [ ] 为什么归一化向量的内积检索等价于余弦检索？
- [ ] Top-P 的准确定义是什么？"抛弃概率低于 p 的 token"错在哪里？
- [ ] 核采样后为什么要重新归一化？给出一个算例。
- [ ] 温度对分布形状的影响是什么？
- [ ] 贪心、束搜索、Top-K、Top-P 各自的问题与适用场景？
- [ ] 重复惩罚与存在惩罚的作用是什么？

### D.4.7 推理工程、量化与并行（25 条）

- [ ] GPU 的存储层级有哪些？带宽数量级差异有多大？
- [ ] 什么是算术强度？Roofline 模型如何判断瓶颈类型？
- [ ] prefill 与 decode 的计算形态有何本质差别？各自瓶颈是什么？
- [ ] 为什么 decode 阶段的优化方向是 batching？
- [ ] 为什么需要 KV Cache？它省掉了什么重复计算？
- [ ] 推导单 token KV Cache 的显存占用公式。为什么 Q 不进 Cache？
- [ ] 估算：`L=80`、`h=8192`、FP16、seq=8192 时，单条序列的 KV Cache 占多大？
- [ ] 算子融合为什么能加速逐元素算子？
- [ ] `ResidualAdd + RMSNorm` 不融合时多出的开销是什么？
- [ ] GEMM Epilogue 融合的是什么？
- [ ] FlashAttention 为什么能在不损失精度的前提下降低显存？
- [ ] 写出 online softmax 的递推公式，说明为什么需要 rescale 已累积的结果。
- [ ] continuous batching 解决什么问题？PagedAttention 类比了什么机制？
- [ ] FP16 与 BF16 的指数位宽与尾数位宽分别是多少？
- [ ] 写出线性量化的量化与反量化公式，以及缩放因子的定义。
- [ ] 为什么缩放因子的分母取 `2^(n−1) − 1`？
- [ ] 对称量化与非对称量化的差别是什么？权重与激活各偏好哪种？为什么？
- [ ] 推导 `s = a/2^b` 下乘法与加法的整数化表示。
- [ ] 为什么 `b` 要取满足 `half_up(s·2^b) ≤ 127` 的最大值？
- [ ] int8 × int8 的累加为什么需要 int32 累加器？
- [ ] PTQ 与 QAT 的区别是什么？校准集的作用是什么？
- [ ] 列出六种集合通信原语并说明语义。
- [ ] 张量并行中 MLP 的两个线性层分别按什么维度切？为什么这样切只需一次 All-Reduce？
- [ ] 为什么张量并行必须放在 NVLink 域内？
- [ ] ZeRO 的三个阶段分别分片了什么？为什么能大幅省显存？

### D.4.8 算法与工程纪律（22 条）

- [ ] 看到 `N ≤ 2000`、`N ≤ 1e5`、`N ≤ 1e6` 分别应该想到什么复杂度？
- [ ] 什么是摊还分析？单调栈为什么是 O(N)？
- [ ] 双指针能用的前提条件是什么？
- [ ] 前缀和与差分分别解决什么问题？
- [ ] 单调队列维护窗口最值的两个操作是什么？
- [ ] DP 的五要素是什么？
- [ ] 0/1 背包一维滚动为什么要倒序？完全背包为什么要正序？
- [ ] 二维费用背包为什么两维都要倒序？
- [ ] 分组背包为什么必须每层新开数组？
- [ ] "恰好"与"不超过"两种状态口径的初值、转移、答案位置有何不同？
- [ ] 为什么"恰好"口径下升序扫描可以还原最小资源用量？
- [ ] "排除任一元素后的最小值只能是最小值或次小值"这句话怎么证明？
- [ ] 并查集的两个优化是什么？复杂度是多少？
- [ ] 迭代版 find 的路径减半写法是什么？为什么不用递归？
- [ ] DBSCAN 与连通分量的关系是什么？
- [ ] 如何判断浮点数相等？EPS 该取多大？
- [ ] 为什么距离比较常用"平方 + 容差"而不是开根号？
- [ ] half-up 舍入怎么实现？为什么不能用 Python 的 `round()`？
- [ ] 负零 `-0.00` 怎么处理？
- [ ] 多组输出时的格式纪律有哪些？
- [ ] 为什么非法输入校验要放在读数据之前？
- [ ] 当输入的分行与逻辑分块不一致时，应该用什么方式解析？

---

## D.5 十二种典型失分模式与对策

| # | 失分模式 | 典型表现 | 对策 |
|---|---|---|---|
| 1 | **只记结论，不知条件** | 把 `2 − 2cosθ` 用到非单位向量上 | 每个公式都问自己"成立条件是什么" |
| 2 | **混淆行数与列数** | `dim N(A)` 用行数减 | 记住：零空间在**参数空间**，用**列数** |
| 3 | **把"充分"当"必要"** | 认为"个数大于维数"就是线性相关 | 区分定义与充分条件，主动构造反例 |
| 4 | **不区分监督/无监督** | 把 PCA 说成有监督、LDA 说成无监督 | 记住：**用标签的是 LDA** |
| 5 | **损失函数选错** | 用 MSE 做分类评价 | 记住：MSE 是回归指标 |
| 6 | **把指标方向搞反** | 漏检敏感选了 Precision | 记住：**漏检 → Recall（分毌含 FN）** |
| 7 | **算错取整方向** | 用向下取整算 chunk 数 | 补一块要**向上取整** |
| 8 | **忘了重新归一化** | Top-P 截断后直接用原始概率 | 核内必须重归一化 |
| 9 | **搞反瓶颈类型** | 说 decode 是算力受限 | 记住：**prefill 算力、decode 访存** |
| 10 | **舍入模式用错** | 用 Python `round()` 做 half-up | 自己实现 `floor(x + 0.5)` |
| 11 | **状态口径写错** | 多输出问题写成"不超过" | 需要还原具体用量时用"**恰好**" |
| 12 | **快照被污染** | 模拟题里就地边改边算 | 统计量取自**同一份快照**，结果写新数组 |

---

## D.6 编程题模拟训练建议

### D.6.1 训练流程（每道题 45 分钟）

```
0–5 min    读题：抄下所有约束（数据范围、边界条件、输出格式）
5–10 min   判断复杂度档位 → 选定算法类别
10–15 min  写下状态定义/数据结构/关键不变量（不写代码）
15–35 min  编码（边写边对样例）
35–45 min  自造边界用例：最小规模、最大规模、全非法输入、并列情况
```

### D.6.2 12 道真题的训练顺序（由易到难）

| 顺序 | 题目 | 训练重点 |
|---|---|---|
| 1 | 基站空间重叠区域识别 | 规则翻译 + 执行顺序 |
| 2 | 文档片段相关性判定 | 并查集模板 + 多簇归属 |
| 3 | 动态 KV 缓存稀疏优化 | 多级排序键 |
| 4 | 端侧大模型动态权重剪枝管理器 | 双指针 + 单调队列 |
| 5 | 时间序列数据清洗与特征评分 | 多阶段口径 + 前缀和 |
| 6 | 滑动窗口注意力机制 | 向量化 + 非法输入 + 格式 |
| 7 | 全整型量化的矩阵乘法 | 舍入模式 + 整数化表示 |
| 8 | 多头注意力双向整数 RNN | 维度对齐 + 输入解析 |
| 9 | 运维任务收益最大化 | 二维费用背包 + 方案还原 |
| 10 | 模型训练资源分配与时间优化 | 分组背包 + "恰好"口径 |
| 11 | 多 Agent 协作任务调度 | 完全背包 + 最小/次小优化 |
| 12 | CDN 分发服务器选址 | 迭代收敛 + 浮点容差 |

### D.6.3 每道题后的复盘三问

1. **我踩的坑属于第 26 章的哪一条纪律？** 记进自己的清单。
2. **如果数据范围放大 100 倍，我的解法还成立吗？** 不成立的话，瓶颈在哪里？
3. **这道题的"第二问"为什么必须改变状态口径？** 想清楚这一点，就能迁移到同类题。

---

> [!TIP]
> **本附录的正确用法**：不要把它当"阅读材料"，要当"体检表"。D.4 的 150+ 条自测项，每条都能流畅口述，这套考试的知识体系就真正长在你身上了。


---

> 作者: [破戒僧](https://onlyblacktea.cn)  
> URL: https://onlyblacktea.cn/book/ai/appendix-d/  

