附录 D 学习路线、能力矩阵与自测清单

本附录回答三个问题：我该按什么顺序学、我学到什么程度算合格、考前如何自检。

D.1 能力矩阵

D.1.1 四个掌握等级

笔试的合格线是 L3。 理由：干扰项几乎都靠"悄悄改条件"制造，只有 L3 才能稳定识别；编程题的细节纪律（口径、舍入、边界）也只有在理解原理后才不会反复出错。

D.1.2 模块 × 目标等级

D.2 八周系统学习计划

每周投入约 10~12 小时（工作日每天 1 小时 + 周末各 3 小时）。

第 1 周：线性代数（第 1~3 章）

第 2 周：概率、信息论、数值计算（第 4~5 章）

第 3 周：优化、评估、正则化（第 6~8 章）

第 4 周：线性模型、无监督、降维（第 9~11 章）

第 5 周：深度学习与 Transformer（第 12~15 章）

第 6 周：大模型训练、RAG、解码（第 16~18 章）

第 7 周：推理工程、量化、并行（第 19~21 章）

第 8 周：算法实战与工程纪律（第 22~26 章）+ 全真模拟

D.3 十天冲刺计划

适用于时间紧张、目标明确的情况。核心策略：只抓高频与高确定性得分点。

D.4 考前自测清单

使用方式：先不看答案，逐条口述。能流畅说清"结论 + 条件 + 为什么"的打 ✓；说不清的打 ✗，回头查对应章节。 合格的标志是 ✗ 不超过 5 条。

D.4.1 线性代数（25 条）

• 矩阵乘法为什么不可交换？给出一个具体反例。
• (A+B)² 展开是什么？为什么不能写成 A² + 2AB + B²？
• (AB)ᵀ 等于什么？为什么必须反序？
• 线性相关的严格定义是什么？举一个"没有零向量却仍然相关"的例子。
• “含零向量"与"线性相关"是什么逻辑关系（充分/必要）？
• 矩阵可逆的五个等价条件是什么？
• 为什么非方阵不存在双边逆？
• dim N(A) + r(A) 等于行数还是列数？为什么？
• 四个基本子空间是什么？它们的正交补关系是什么？
• 为什么"增大 batch 不一定降低梯度矩阵的零空间维度”？
• L2 范数、L1 范数、曼哈顿距离的定义分别是什么？
• 柯西-施瓦茨不等式是什么？它保证了余弦相似度在什么范围内？
• cosθ = xᵀy/(‖x‖‖y‖) 中的分母为什么不能省？
• 对单位向量，‖u−v‖² 与 cosθ 的换算关系是什么？这个关系依赖哪个条件？
• 为什么向量库可以把内积检索与欧氏检索视为等价？
• 正交投影矩阵 P 的两个代数性质是什么？
• 最小二乘的正规方程是怎么来的？几何意义是什么？
• Householder 矩阵 H = I − 2vvᵀ 的四个性质是什么？det(H) 等于多少？
• 为什么 Householder QR 比 Gram-Schmidt 数值稳定？
• 实对称矩阵为什么一定能正交对角化（谱定理）？
• 正定矩阵的三个等价判据是什么？
• SVD 与 AᵀA 的特征分解是什么关系？
• Eckart-Young 定理说的是什么？
• A ∈ R^(n×d) 的协方差矩阵维度是多少？为什么不是 n×n？
• PCA 的方差最大化视角与重构误差最小化视角为什么等价？

D.4.2 概率、信息论与数值（20 条）

• 全概率公式与贝叶斯公式的适用条件分别是什么？
• “先验 30%、次品率翻倍"的例子中，后验为什么会升高但仍然小于 50%？
• 期望的线性性需要独立性吗？方差的可加性需要吗？
• 什么统计量在"整体平移分布"下不变？这个性质有什么用？
• 大数定律与中心极限定理分别保证了什么？
• 为什么"内积的方差随维度线性增长”？（这关系到注意力缩放）
• MLE、MAP、矩估计三者的区别是什么？
• 推导伯努利分布的 MLE。
• 熵、交叉熵、KL 散度的定义与相互关系是什么？
• 证明"最小化交叉熵等价于最大化似然"。
• KL 散度为什么不是距离？
• 困惑度与平均负对数似然的关系是什么？
• IEEE 754 中 FP32 的符号/指数/尾数各占几位？机器 epsilon 是多少？
• 为什么 0.1 + 0.2 ≠ 0.3？
• 什么是灾难性相消？举一个例子。
• 为什么 E[X²] − (E[X])² 在大均值小方差时不可靠？
• Softmax 稳定化为什么必须"减最大值"，而不能"除以最大值"或"L2 归一化"？
• 为什么 FP64 不能解决 x > 1000 时的 Softmax 溢出？
• Lagrange 与 Newton 插值的区别是什么？哪种适合动态加点？
• Jacobi 与 Gauss-Seidel 的迭代矩阵分别是什么？Gauss-Seidel 为什么收敛更快？

D.4.3 优化与机器学习（25 条）

• 凸函数的一阶判据与二阶判据是什么？
• 为什么凸性重要？
• SGD 的梯度估计为什么是无偏的？
• 动量法为什么能抑制震荡？
• Adam 的偏差校正解决什么问题？不校正会怎样？
• AdamW 与 Adam + L2 的区别是什么？
• Robbins-Monro 条件是什么？固定学习率为什么不能严格收敛？
• 泛化误差的偏差-方差分解是什么？
• 高偏差与高方差分别对应什么现象？如何应对？
• 训练 loss 降、验证 loss 升说明什么？验证 loss 一直很高说明什么？
• 时序数据为什么不能随机划分交叉验证？
• 为什么类别不平衡时 Accuracy 会失真？
• 漏检敏感与误报敏感分别该看什么指标？
• ROC 与 AUC 的几何意义与概率解释是什么？
• L1 与 L2 正则的几何解释与贝叶斯解释各是什么？
• 为什么 L1 产生稀疏解而 L2 不会？
• 早停为什么等价于 L2 正则？它限制的是参数范数还是数据量？
• Dropout 在训练与推理时的处理有什么不同？
• 线性回归的正规方程怎么推导？它的概率解释是什么？
• 逻辑回归为什么用交叉熵而不是 MSE？给出凸性论证。
• 交叉熵 + Sigmoid 的梯度为什么是 (σ(z) − y)x？
• 广义线性模型的三个组成部分是什么？
• AdaGrad 为什么在稀疏特征上优于固定学习率？
• 概念漂移是什么？在线学习为什么更能适应？
• 多任务学习的共主干结构最直接的收益是什么？为什么不能保证所有任务都提升？

D.4.4 无监督学习与降维（15 条）

• K-Means 的目标函数是什么？为什么它一定收敛？
• 手肘法看的是哪个指标？为什么看拐点而不是极值？
• 轮廓系数与 Davies-Bouldin 指数是内部指标还是外部指标？
• 四种链接准则的定义分别是什么？
• single-linkage 为什么容易产生链式效应？
• 凝聚式层次聚类的复杂度是多少？为什么不能直接用于流式数据？
• 在线/离线两级架构是怎么配合的？
• DBSCAN 中核心点、边界点、噪声点的定义分别是什么？
• 密度直达、密度可达、密度相连三者的关系是什么？
• 为什么边界点可能同时属于多个簇？只记一个簇编号会怎样？
• 如何用并查集在 DBSCAN 中求簇？
• k-medoids 与 K-Means 的核心差别是什么？
• k-medoids 的迭代为什么一定停止？
• EM 算法的 E 步与 M 步分别在做什么？它与 K-Means 的关系是什么？
• LDA 的降维维数上限为什么是 C−1？

D.4.5 深度学习（20 条）

• 为什么需要非线性激活函数？
• 写出 Sigmoid、Tanh、ReLU、GELU 的公式与导数。
• ReLU 为什么能缓解梯度消失？Dead ReLU 是什么？
• 通用近似定理的准确表述是什么？它没有保证什么？
• 前向模式与反向模式的自动微分，哪种适合神经网络？为什么？
• 推导两层 MLP + 交叉熵的全部梯度。
• 写出反向传播中误差项的递推式。
• 梯度消失与梯度爆炸的根本原因是什么？
• Xavier 与 He 初始化的方差公式分别是什么？为什么 ReLU 要配 He？
• BatchNorm 在训练与推理时的行为有何不同？
• LayerNorm 与 BatchNorm 的归一化维度有何不同？为什么 NLP 用 LN？
• RMSNorm 相比 LayerNorm 省掉了什么？
• 残差连接为什么能缓解深层网络退化？写出 ∂y/∂x。
• Pre-LN 与 Post-LN 的差别是什么？大模型为什么偏好 Pre-LN？
• FP16 与 BF16 的位布局差别是什么？为什么训练偏好 BF16？
• 混合精度训练中 loss scaling 解决什么问题？
• 梯度裁剪解决什么问题？与 warmup 如何配合？
• VQA 的输入与输出分别是什么？
• BPE 算法的步骤是什么？为什么子词能平衡词表与 OOV？
• 中文字符与 token 的经验比例是多少？它影响什么？

D.4.6 Transformer 与大模型（25 条）

• 注意力机制是从什么问题上被引入的？
• Q、K、V 的语义分别是什么？用软寻址的类比解释。
• 写出缩放点积注意力的完整公式。
• 为什么必须除以 √d_k？给出方差推导。
• 多头的意义是什么？d_k 与 d_model、H 的关系是什么？
• Q@Kᵀ 的形状是什么？这个矩阵的物理含义是什么？
• 自注意力本身为什么是置换等变的？位置编码的作用是什么？
• RoPE 与 ALiBi 的核心思想是什么？
• 因果掩码如何实现？它与 softmax 中的 −∞ 如何配合？
• 自注意力的复杂度是多少？为什么它是稀疏注意力的动机？
• 自回归语言模型的目标函数是什么？
• 为什么预训练 loss 是"代理指标"？为什么预训练几乎不会过拟合？
• RLHF 的三个阶段是什么？
• PPO 的 clip 目标起什么作用？KL 惩罚项起什么作用？
• GRPO 相对 PPO 改了什么？为什么能替代 critic？代价是什么？
• GSPO 解决什么问题？token 级比率为什么在长序列下方差大？
• DPO 省掉了哪两个组件？它的损失形式是什么？
• RAG 的三阶段是什么？相比微调的优劣是什么？
• 带重叠切分的块数公式是什么？推导它。
• 为什么归一化向量的内积检索等价于余弦检索？
• Top-P 的准确定义是什么？“抛弃概率低于 p 的 token"错在哪里？
• 核采样后为什么要重新归一化？给出一个算例。
• 温度对分布形状的影响是什么？
• 贪心、束搜索、Top-K、Top-P 各自的问题与适用场景？
• 重复惩罚与存在惩罚的作用是什么？

D.4.7 推理工程、量化与并行（25 条）

• GPU 的存储层级有哪些？带宽数量级差异有多大？
• 什么是算术强度？Roofline 模型如何判断瓶颈类型？
• prefill 与 decode 的计算形态有何本质差别？各自瓶颈是什么？
• 为什么 decode 阶段的优化方向是 batching？
• 为什么需要 KV Cache？它省掉了什么重复计算？
• 推导单 token KV Cache 的显存占用公式。为什么 Q 不进 Cache？
• 估算：L=80、h=8192、FP16、seq=8192 时，单条序列的 KV Cache 占多大？
• 算子融合为什么能加速逐元素算子？
• ResidualAdd + RMSNorm 不融合时多出的开销是什么？
• GEMM Epilogue 融合的是什么？
• FlashAttention 为什么能在不损失精度的前提下降低显存？
• 写出 online softmax 的递推公式，说明为什么需要 rescale 已累积的结果。
• continuous batching 解决什么问题？PagedAttention 类比了什么机制？
• FP16 与 BF16 的指数位宽与尾数位宽分别是多少？
• 写出线性量化的量化与反量化公式，以及缩放因子的定义。
• 为什么缩放因子的分母取 2^(n−1) − 1？
• 对称量化与非对称量化的差别是什么？权重与激活各偏好哪种？为什么？
• 推导 s = a/2^b 下乘法与加法的整数化表示。
• 为什么 b 要取满足 half_up(s·2^b) ≤ 127 的最大值？
• int8 × int8 的累加为什么需要 int32 累加器？
• PTQ 与 QAT 的区别是什么？校准集的作用是什么？
• 列出六种集合通信原语并说明语义。
• 张量并行中 MLP 的两个线性层分别按什么维度切？为什么这样切只需一次 All-Reduce？
• 为什么张量并行必须放在 NVLink 域内？
• ZeRO 的三个阶段分别分片了什么？为什么能大幅省显存？

D.4.8 算法与工程纪律（22 条）

• 看到 N ≤ 2000、N ≤ 1e5、N ≤ 1e6 分别应该想到什么复杂度？
• 什么是摊还分析？单调栈为什么是 O(N)？
• 双指针能用的前提条件是什么？
• 前缀和与差分分别解决什么问题？
• 单调队列维护窗口最值的两个操作是什么？
• DP 的五要素是什么？
• 0/1 背包一维滚动为什么要倒序？完全背包为什么要正序？
• 二维费用背包为什么两维都要倒序？
• 分组背包为什么必须每层新开数组？
• “恰好"与"不超过"两种状态口径的初值、转移、答案位置有何不同？
• 为什么"恰好"口径下升序扫描可以还原最小资源用量？
• “排除任一元素后的最小值只能是最小值或次小值"这句话怎么证明？
• 并查集的两个优化是什么？复杂度是多少？
• 迭代版 find 的路径减半写法是什么？为什么不用递归？
• DBSCAN 与连通分量的关系是什么？
• 如何判断浮点数相等？EPS 该取多大？
• 为什么距离比较常用"平方 + 容差"而不是开根号？
• half-up 舍入怎么实现？为什么不能用 Python 的 round()？
• 负零 -0.00 怎么处理？
• 多组输出时的格式纪律有哪些？
• 为什么非法输入校验要放在读数据之前？
• 当输入的分行与逻辑分块不一致时，应该用什么方式解析？

D.5 十二种典型失分模式与对策

D.6 编程题模拟训练建议

D.6.1 训练流程（每道题 45 分钟）

1
2
3
4
5

0–5 min    读题：抄下所有约束（数据范围、边界条件、输出格式）
5–10 min   判断复杂度档位 → 选定算法类别
10–15 min  写下状态定义/数据结构/关键不变量（不写代码）
15–35 min  编码（边写边对样例）
35–45 min  自造边界用例：最小规模、最大规模、全非法输入、并列情况

D.6.2 12 道真题的训练顺序（由易到难）

D.6.3 每道题后的复盘三问

1. 我踩的坑属于第 26 章的哪一条纪律？ 记进自己的清单。
2. 如果数据范围放大 100 倍，我的解法还成立吗？ 不成立的话，瓶颈在哪里？
3. 这道题的"第二问"为什么必须改变状态口径？ 想清楚这一点，就能迁移到同类题。