附录 A 公式速查表

本附录按篇章索引全书的核心公式与结论。每条给出成立条件——这是最重要的一列,因为考试干扰项几乎都建立在"条件被悄悄改变"之上。


A.1 线性代数

A.1.1 矩阵运算

公式成立条件用途出处
(AB)C = A(BC)恒成立结合律,唯一可以放心用的运算律1.1
A(B + C) = AB + AC恒成立分配律1.1
AB ≠ BA一般不成立顺序敏感;由此 (A+B)² ≠ A² + 2AB + B²1.1
(AB)ᵀ = BᵀAᵀ恒成立转置必须反序1.1
(A + B)² = A² + AB + BA + B²恒成立中间两项在不可交换时消不掉1.1
tr(AB) = tr(BA)形状相容时迹的轮换性3.1
det(AB) = det(A)det(B)A、B 同阶行列式的乘性3.1

A.1.2 秩、子空间与可逆性

公式 / 结论成立条件用途出处
r(A) = r(Aᵀ)恒成立行秩 = 列秩1.4
dim N(A) + r(A) = nA ∈ R^(m×n),n 为列数秩-零化度定理;求零空间维数1.5
dim Col(A) + dim N(Aᵀ) = mA ∈ R^(m×n)行空间的补1.4
N(A) ⊥ Col(Aᵀ)、N(Aᵀ) ⊥ Col(A)恒成立四个基本子空间的正交补关系1.4
r(A) ≤ min(m, n)恒成立秩的上界;增大行数不一定增秩1.5
A 可逆 ⟺ 方阵且 r(A) = n ⟺ det(A) ≠ 0 ⟺ 列向量线性无关 ⟺ Ax = 0 只有零解A 为 n 阶方阵可逆性判断1.6
dim N(A) = n − r(A)同上用列数减,不是行数1.5

A.1.3 内积、范数与相似度

公式成立条件用途出处
xᵀy = Σ_i x_i y_i同维向量内积定义2.1
(xᵀy)² ≤ ‖x‖²‖y‖²恒成立柯西-施瓦茨不等式2.1
‖x‖₂ = √(xᵀx)恒成立L2 范数2.2
‖x‖₁ = Σ_i |x_i|恒成立曼哈顿距离 / L12.2
cosθ = xᵀy / (‖x‖‖y‖)非零向量余弦相似度2.2
‖u − v‖² = ‖u‖² + ‖v‖² − 2uᵀv恒成立距离与内积的桥梁2.2
‖u − v‖² = 2 − 2cosθu、v 均为单位向量距离↔余弦换算;向量检索等价性2.2
‖x‖ ≤ ‖x‖₁ ≤ √n‖x‖n 维范数等价性2.2
d_M(x,y) = √((x−y)ᵀΣ⁻¹(x−y))Σ 正定马氏距离2.2
J(A,B) = |A∩B| / |A∪B|集合Jaccard 相似度2.2

A.1.4 投影与正交化

公式成立条件用途出处
P = A(AᵀA)⁻¹AᵀA 列满秩到 Col(A) 的正交投影矩阵2.3
P² = P、Pᵀ = P同上投影矩阵的幂等与对称性2.3
w = (AᵀA)⁻¹Aᵀy列满秩最小二乘正规方程2.3
H = I − 2vvᵀ‖v‖ = 1Householder 反射2.4
Hᵀ = H、H² = I、det(H) = −1同上对称、正交、自逆、行列式为 −12.4

A.1.5 特征分解与 SVD

公式 / 结论成立条件用途出处
Av = λv方阵特征方程定义3.1
Σλ_i = tr(A)、Πλ_i = det(A)方阵快速校验特征值3.1
A = QΛQᵀA 实对称谱定理:正交对角化3.2
xᵀAx > 0, ∀x ≠ 0A 对称正定判据(等价于全部特征值 > 0)3.3
A = UΣVᵀ任意实矩阵奇异值分解3.4
σ_i = √λ_i(AᵀA)恒成立奇异值与特征值的关系3.4
A_k = Σ_{i=1}^{k} σ_i u_i v_iᵀ取前 k 大奇异值最优秩-k 近似(Eckart-Young)3.5
存储量 r(m + n + 1) vs 原 mn截断秩 rSVD 压缩率计算3.5
压缩后占比 = r(m+n+1)/(mn)同上例题:1000×800、r=50 → 减少 88.74%3.5
Σ = (1/(n−1))(A−Ā)ᵀ(A−Ā),形状 d×dA ∈ R^(n×d)协方差矩阵维度由特征数 d 决定3.6

A.2 概率、统计与信息论

公式成立条件用途出处
P(A|B) = P(A∩B) / P(B)P(B) > 0条件概率4.1
P(D) = Σ_i P(D|B_i)P(B_i){B_i} 为完备事件组全概率公式4.2
P(B|D) = P(D|B)P(B) / P(D)P(D) > 0贝叶斯公式4.2
E[X] = Σ x_i p_i 或 ∫ x f(x)dx—期望4.4
Var(X) = E[X²] − (E[X])²恒成立方差快捷公式(注意数值不稳定,见 5.3)4.4
Var(aX + b) = a²Var(X)恒成立平移不改变方差(位置量 vs 离散量的判据)4.6
E[X + Y] = E[X] + E[Y]恒成立期望的线性性(不要求独立)4.4
Var(X + Y) = Var(X) + Var(Y) + 2Cov(X,Y)恒成立独立时协方差为 04.4
E[X] = E[E[X|Y]]恒成立全期望公式4.4
Var(X) = E[Var(X|Y)] + Var(E[X|Y])恒成立全方差公式4.4
P(X ≥ a) ≤ E[X]/aX ≥ 0马尔可夫不等式4.4
P(|X−μ| ≥ kσ) ≤ 1/k²有限方差切比雪夫不等式4.4
E[φ(X)] ≥ φ(E[X])φ 凸詹森不等式4.4
X̄ → μ (a.s.)i.i.d.、有限期望大数定律4.5
√n(X̄ − μ)/σ → N(0,1)i.i.d.、有限方差中心极限定理4.5
θ̂_MLE = argmax_θ P(X|θ) = argmax_θ ℓ(θ)—最大似然估计4.7
θ̂_MAP = argmax_θ P(X|θ)P(θ)需先验最大后验(向先验收缩)4.7
伯努利 MLE p̂ = k/nn 次试验 k 次成功样本频率4.7
H(X) = −Σ p log p—信息熵4.8
H(p,q) = −Σ p log q—交叉熵4.8
KL(p‖q) = Σ p log(p/q) ≥ 0恒成立,不对称KL 散度(吉布斯不等式)4.8
H(p,q) = H(p) + KL(p‖q)恒成立交叉熵 = 熵 + KL4.8
最小化交叉熵 ⟺ 最小化 KL ⟺ 最大化似然经验分布固定损失函数的统一解释4.8
I(X;Y) = H(X) − H(X|Y)—互信息4.8
PPL = exp(平均负对数似然)—困惑度4.8 / 16.1

A.3 数值计算

公式 / 结论成立条件用途出处
Softmax 稳定化:softmax(x)_i = e^(x_i − max x) / Σ_j e^(x_j − max x)恒等变换(分子分母同乘 e^(−max x))防上溢的唯一等价手段5.3
两遍法方差:Var = (1/n)Σ(x_i − μ)²先算 μ 再算偏差大均值小方差时唯一可靠5.3
前缀和方差:Σx²/n − μ²,需截断负值需 Σx² 前缀和O(1) 窗口统计量5.3 / 23.2
e^x 上溢阈值:FP64 ≈ 709、FP32 ≈ 88—为什么 FP64 不能解决溢出5.1
机器 epsilon:FP32 ≈ 1.19e−7、FP64 ≈ 2.22e−16—浮点比较容差的依据5.1
插值多项式存在唯一性n+1 个互异节点、次数 ≤ n唯一性保证5.4
L(x) = Σ_i y_i ℓ_i(x),ℓ_i(x) = Π_{j≠i}(x−x_j)/(x_i−x_j)互异节点Lagrange 插值5.4
Newton 差商形式 N(x) = f[x_0] + f[x_0,x_1](x−x_0) + …互异节点动态加点只需再算一阶差商5.4
cost = ‖Ax − b‖² 的凸性恒成立最小二乘是凸问题5.4
Jacobi 迭代矩阵 −D⁻¹(L + U)A = D + L + U全用旧值5.5
Gauss-Seidel 迭代矩阵 −(D + L)⁻¹U同上新值立即生效5.5
迭代收敛 ⟺ ρ(迭代矩阵) < 1—收敛性判据5.5
严格对角占优 ⟹ GS/Jacobi 收敛|a_ii| > Σ_{j≠i}|a_ij|常用充分条件5.5
cond(A) = ‖A‖‖A⁻¹‖ = σ_max/σ_minA 可逆条件数,衡量病态程度5.6
浮点相等判断:|a − b| < EPSEPS 取 1e−9建议 EPS ≫ 累加噪声且 ≪ 真实间隙5.6 / 26.1

A.4 优化

公式 / 结论成立条件用途出处
凸函数一阶判据:f(y) ≥ f(x) + ∇f(x)ᵀ(y−x)f 可微且凸切线是全局下界6.1
凸函数二阶判据:∇²f(x) ⪰ 0f 二阶可微Hessian 半正定6.1
凸优化中局部最优 = 全局最优目标凸、可行域凸凸性的价值6.1
w ← w − η∇L(w)—梯度下降6.2
E[∇L_B(w)] = ∇L(w)均匀采样 mini-batchSGD 是无偏估计6.2
v_t = βv_{t−1} + (1−β)g_t;w ← w − ηv_t—动量6.3
m_t = β₁m_{t−1} + (1−β₁)g_t,v_t = β₂v_{t−1} + (1−β₂)g_t²—Adam 一阶/二阶矩6.3
偏差校正 m̂_t = m_t/(1−β₁ᵗ)、v̂_t = v_t/(1−β₂ᵗ)初值为 0无校正则前期步长严重偏小6.3
w ← w − η m̂_t/(√v̂_t + ε)默认 β₁=0.9、β₂=0.999Adam 更新式6.3
AdamW:w ← w − η(m̂/(√v̂+ε) + λw)权重衰减与自适应项解耦正确的 L2 实现6.3
Σ_t η_t = ∞ 且 Σ_t η_t² < ∞—Robbins-Monro 严格收敛条件6.5
Σ_t η_t = ∞ 且 η_t → 0 不要求平方可和—凸函数下更弱条件6.5
L(w,α,β) = f(w) + Σα_i g_i(w) + Σβ_j h_j(w)—拉格朗日函数6.6
KKT:∇f + Σα_i∇g_i + Σβ_j∇h_j = 0;α_i g_i = 0;α_i ≥ 0约束规范成立约束最优的必要条件6.6

A.5 机器学习

公式 / 结论成立条件用途出处
泛化误差 = 偏差² + 方差 + 不可约噪声平方损失偏差-方差分解7.3
Accuracy = (TP+TN)/(TP+TN+FP+FN)—类别不平衡时失真7.6
Precision = TP/(TP+FP)—惩罚误报7.6
Recall = TP/(TP+FN)—惩罚漏检7.6
F1 = 2PR/(P+R)—P、R 的调和平均7.6
AUC = 随机取一正一负、得分正 > 负的概率—与阈值无关的排序质量7.6
MSE = (1/n)Σ(y_i − ŷ_i)²、MAE = (1/n)Σ|y_i − ŷ_i|回归指标不用于分类评价7.6
R² = 1 − SSE/SST—回归拟合优度7.6
L2:J = L + λ‖w‖²高斯先验岭回归,权重收缩但不为 08.2
L1:J = L + λ‖w‖₁拉普拉斯先验Lasso,产生稀疏解8.2
早停 ≈ 限制 ‖w − w_0‖小学习率下与 L2 正则同源8.3
ŷ = wᵀx + b;w = (XᵀX)⁻¹Xᵀy列满秩线性回归 / 正规方程9.1
σ(z) = 1/(1+e^(−z)),σ′(z) = σ(z)(1−σ(z))—Sigmoid9.2
L_CE = −[y ln p + (1−y)ln(1−p)]—交叉熵;关于 w 凸9.2
∂L_CE/∂w = (σ(z) − y)xSigmoid + 交叉熵σ′ 被约掉,梯度不饱和9.2
L_MSE = (σ(z) − y)² 含 σ′(z) 因子—非凸 + 饱和区梯度消失9.2
softmax(z)_i = e^(z_i)/Σ_j e^(z_j)—多分类输出;平移不变9.3
指数族 p(y|η) = h(y)exp(ηᵀT(y) − A(η))—GLM 的分布假设9.4
AdaGrad:η_i,t = η/√(Σ_{s≤t} g_i,s² + ε)—稀疏特征获得更大有效步长9.5
K-Means 目标 J = Σ_k Σ_{x∈C_k} ‖x − μ_k‖²—SSE/Inertia,单调不增10.1
single-linkage d(A,B) = min_{a∈A,b∈B} d(a,b)—最近点;易链式效应10.2
complete-linkage d(A,B) = max d(a,b)—最远点;紧凑球形10.2
average-linkage d(A,B) = 平均值—折中10.2
centroid-linkage:两簇中心距离—计算最省10.2
DBSCAN 核心点:|N_ε(p)| ≥ minPts邻域含自身密度聚类第一判据10.3
密度相连:存在核心点 o 使 p、q 都密度可达于 o传递链上全为核心点簇定义;等价于连通分量10.3
k-medoids 代价 cost(C,c) = Σ_{i∈C} u_i·d(x_i, x_c)c 必须是真实样本中心受限于样本点10.4
GMM 密度 p(x) = Σ_k π_k N(x|μ_k, Σ_k)Σπ_k = 1软聚类10.5
EM:Q(θ|θ^(t)) = E_{Z|X,θ^(t)}[log P(X,Z|θ)]—E 步求期望、M 步最大化10.5
PCA:max_w wᵀΣw s.t. ‖w‖ = 1 ⟹ w 为 Σ 最大特征向量中心化数据方差最大化视角11.1
PCA 累计贡献率 Σ_{i≤k}λ_i / Σ_iλ_iλ 为协方差矩阵特征值选主成分个数(85%/95%)11.1
LDA 广义瑞利商 J(w) = (wᵀS_B w)/(wᵀS_W w)需类别标签类间大 / 类内小11.2
LDA 降维维数上限 C − 1C 为类别数二分类只能降到 1 维11.2

A.6 深度学习

公式 / 结论成立条件用途出处
ReLU(x) = max(0, x);导数 1 或 0—缓解梯度消失;可能 Dead ReLU12.2
GELU(x) = x·Φ(x)Φ 为标准正态 CDFTransformer 常用12.2
链式法则 ∂L/∂w = (∂L/∂y)(∂y/∂w)—反向传播基础;别漏内层因子12.5
反向传播:δ^(l) = (W^(l+1)ᵀδ^(l+1)) ⊙ f′(z^(l))—误差反向传递12.5
∂L/∂W^(l) = δ^(l) (a^(l−1))ᵀ—权重梯度 = 误差 × 输入12.5
参数量(单层)= (d_in + 1) × d_out含偏置模型规模估算12.1
Xavier:Var(W) = 2/(n_in + n_out)线性/ tanh 激活保持激活方差13.1
He:Var(W) = 2/n_inReLU 激活补偿 ReLU 砍掉一半13.1
BatchNorm:ŷ = γ(x−μ_B)/√(σ_B²+ε) + β训练用批统计、推理用滑动平均逐通道归一化13.2
LayerNorm:对单样本的特征维归一化与 batch 无关NLP/Transformer 首选13.2
RMSNorm:ŷ = x/√(mean(x²)+ε) · γ去掉均值中心化更省算力,大模型常用13.2
残差 y = x + F(x),梯度 ∂y/∂x = I + ∂F/∂x—恒等项保证梯度不消失13.3
单 token KV Cache(FP16)= 2 × L × h × 2 字节单头(h 为隐藏维)显存估算19.3
注意力分数 S = QKᵀ,形状 [B,H,N,N]—行数 = query 数15.2
缩放点积注意力 Attention(Q,K,V) = softmax(QKᵀ/√d_k)V—缩放因子的方差推导见 15.215.2
为什么除以 √d_k:内积方差 ≈ d_k·σ²各分量独立同分布不缩放则 softmax 饱和15.2
维度账本:d_k = d_model / H多头拼接后回到 d_model15.3
注意力复杂度 O(N²d);显存 O(N²)全注意力稀疏注意力的动机15.6

A.7 大模型与推理工程

公式 / 结论成立条件用途出处
自回归分解 P(x) = Π_t P(x_t | x_<t)—语言模型目标16.1
PPO clip 目标 min(r_t Â_t, clip(r_t,1−ε,1+ε)Â_t)—限制策略更新幅度16.3
RLHF 目标 max E[r_φ] − β·KL(π_θ‖π_ref)—奖励最大化 + 防跑偏16.3
GRPO 组内优势 Â_i = (r_i − mean(r)) / std(r)同一 prompt 采样一组替代 critic16.3
重要性采样比率 r_t(θ) = π_θ(o_t|·) / π_old(o_t|·)—off-policy 修正16.3
GSPO 序列级比率 r(θ) = π_θ(o|·)/π_old(o|·)整条序列降低长序列方差16.3
DPO 损失 −log σ(β log(π_θ(y_w)/π_ref(y_w)) − β log(π_θ(y_l)/π_ref(y_l)))成对偏好数据无需奖励模型与 RL 循环16.4
chunk 数 = 1 + ⌈(T − C)/(C − O)⌉T > C,T 为总 token 数带重叠切分17.2
字符→token:中文字符 ≈ 0.7 token/字经验比例上下文长度估算17.2
归一化后内积 ≡ 余弦相似度‖x‖ = ‖y‖ = 1向量库检索等价性17.3
温度采样 p_i ∝ exp(z_i/T)—T↓ 更确定、T↑ 更随机18.2
Top-P 核集合:最小的 S 使 Σ_{i∈S} p_i ≥ p概率降序自适应候选集18.3
核内重归一化 P(A) = p_A / Σ_{i∈S} p_i—例:0.4/0.9 ≈ 0.44418.3
算术强度 I = FLOPs / Bytes—Roofline 判据19.1
Roofline 上界 = min(峰值算力, I × 带宽)—判断 compute/memory-bound19.1
prefill:大 M 的 GEMM,算术强度高 ⟹ compute-bound—瓶颈在算力19.2
decode:GEMV,算术强度极低 ⟹ memory-bound每步 1 个 token瓶颈在权重+KV 读取带宽19.2
online softmax 递推:m_new = max(m_old, max(x_block));ℓ_new = e^(m_old−m_new)ℓ_old + Σe^(x−m_new)分块处理FlashAttention 核心19.5
量化 q = round(r/s)、r = s·q—线性量化20.2
缩放因子 s = max(|r_min|,|r_max|)/(2^(n−1) − 1)n bit,int8 时 n=8让最大幅值落满量程20.2
非对称量化 q = round(r/s) + z有零点 z适配非对称分布20.3
s = a/2^b:乘法 → a₁a₂ / 2^(b₁+b₂)—a 相乘、b 相加20.4
s = a/2^b:加法 → (a₁≪(Δ) + a₂≪(Δ'))/2^max—移位 + 加法20.4
b 取满足 half_up(s·2^b) ≤ 127 的最大值int8b 越大精度越高20.4
集合通信:All-Reduce 通信量 2(N−1)/N × 数据量Ring 实现与参数量同阶21.1
TP(Megatron):每层前向 + 反向各 1 次 All-ReduceMLP 列切 + 行切通信频繁 ⟹ 必须同机21.3
PP bubble 比例 ≈ (p−1)/(m + p − 1)p 级、m 个 micro-batch流水线空闲占比21.4
ZeRO 显存节省:优化器状态 4×、梯度 2×、参数 2×(混合精度)分片到 N 卡节省 ≈ 1/N21.5

A.8 算法与工程

公式 / 结论成立条件用途出处
区间和 sum(l..r) = P[r+1] − P[l]前缀和 PO(1) 区间查询23.2
窗口方差 = (Σx²)/m − μ²,需截断负值前缀和两条O(1) 窗口统计23.2 / 5.3
单调队列维护窗口最值:入队弹尾 + 出队检查队头比较关系具有传递性O(N) 总代价23.4
0/1 背包:f[j] = max(f[j], f[j−w]+v),j 倒序每件至多一次防重复选取24.3
完全背包:同式但 j 正序每件可重复允许重复选取24.4
二维费用背包:两维都倒序两种资源约束运维任务收益最大化24.5
分组背包:每组必选一件 ⟹ 每层新开数组组内互斥原地滚动会让同组被选两次24.6
“恰好"口径的单调性:初值 f[0]=0、其余 −∞—还原实际资源用量24.7
排除任一元素后的最小值 ∈ {最小值, 次小值}—消掉一重枚举(多 Agent 调度)24.8
并查集复杂度 O(α(n))路径压缩 + 按秩合并近似常数25.2
half-up 取整 ⌊x + 0.5⌋恰为 .5 向上不能用 Python round()(银行家舍入)26.3
浮点判等 |a − b| < EPS,EPS 取 1e−9—断同分、判"不超过半径”26.2
距离比较用平方 + 容差 d² ≤ r² + 1e−7坐标精度有限省开根号 + 防漏判26.2
负零归一 -0.00 → 0.00格式化输出避免格式判错26.4
复杂度反推可接受算法N ≤ 2000 → O(N²);N ≤ 1e5 → O(N log N)读题先看数据范围22.4
Python 安全操作量级约 1e6 ~ 1e7 次基本操作/秒估算是否会超时22.6

提示

如何用这张表:考前 1 小时只看两列 —— 公式与成立条件。所有被真题设为干扰项的,都是"条件被悄悄改掉"的公式,例如把"单位向量下"的 2 − 2cosθ 换成 1 − cosθ,把"列数"换成"行数",把"恰好"换成"不超过"。