附录 C 术语中英对照表
附录 C 术语中英对照表
本表按篇章分组，集中列出全书关键术语的英文原词与一句话释义，供随查随用。 英文术语与中文译名并非一一对应，技术文献与报错信息中一律以英文为准。
C.1 数学基础（第 1~3 章）
向量空间、矩阵分解与特征结构：本组术语是后续一切模型与算法的共同语言。
| 中文 | English | 一句话说明 |
|---|---|---|
| 向量空间 | vector space | 对加法与数乘都封闭的集合，是线性代数全部结论展开的舞台 |
| 子空间 | subspace | 向量空间中自身对加法与数乘封闭的子集，因而必含零向量 |
| 基 | basis | 线性无关且能张成整个空间的向量组，其元素个数等于空间维数 |
| 维数 | dimension | 基向量的个数，记 dim V，衡量空间自由度的多少，与选哪组基无关 |
| 线性无关 | linear independence | 只有全零系数才能使线性组合为零向量，组内不存在冗余向量 |
| 张成 | span | 一组向量的全部线性组合构成的集合，是包含它们的最小子空间 |
| 列空间 | column space | 矩阵列向量的全部线性组合，记 Col(A)，维数等于矩阵的秩 |
| 零空间 | null space | 满足 Ax = 0 的全部 x，记 N(A)，其中向量个数刻画齐次方程解集的自由度 |
| 行空间 | row space | 矩阵行向量的全部线性组合，维数等于秩，与零空间互为 Rⁿ 中的正交补 |
| 左零空间 | left null space | 满足 Aᵀy = 0 的全部 y，与列空间在 Rᵐ 中互为正交补，可用来判定方程无解 |
| 正交补 | orthogonal complement | 与给定子空间内所有向量都正交的向量集合，记 W⊥，与原空间构成直和 |
| 秩 | rank | 列空间或行空间的维数，记 r(A)，是矩阵携带的独立信息量 |
| 秩-零化度定理 | rank-nullity theorem | dim N(A) = 列数 − r(A)，把齐次解的自由度与矩阵的秩绑定为守恒关系 |
| 逆矩阵 | inverse matrix | 满足 AA⁻¹ = I 的方阵，可逆当且仅当满秩、行列式非零且零空间平凡 |
| 伪逆 | pseudoinverse | 非方阵或奇异矩阵在最小二乘意义下的广义逆，记 A⁺，由奇异值分解给出 |
| 行列式 | determinant | 方阵到标量的函数，非零等价于可逆，绝对值等于体积缩放比 |
| 内积 | inner product | 两向量对应分量乘积之和，记 xᵀy，可度量长度、夹角与投影 |
| 范数 | norm | 度量向量长度的函数，须满足非负、齐次与三角不等式三条性质 |
| 正交 | orthogonal | 两向量内积为零，几何上互相垂直，一组两两正交的非零向量必线性无关 |
| 标准正交基 | orthonormal basis | 两两正交且均为单位向量的基，此时坐标可直接由内积读出 |
| 投影 | projection | 把向量分解为落在子空间内与垂直于子空间两部分，后者称为残差 |
| 最小二乘 | least squares | 方程无解时求使残差平方和最小的近似解，由法方程给出 |
| 格拉姆-施密特正交化 | Gram-Schmidt orthogonalization | 逐个减去前面向量上的投影，把线性无关组化为同张成空间的正交基 |
| QR 分解 | QR decomposition | 把矩阵分解为正交矩阵与上三角矩阵之积，常用于稳定求解最小二乘 |
| 特征值 | eigenvalue | 满足 Av = λv 的标量 λ，是矩阵在对应特征方向上的伸缩倍数 |
| 特征向量 | eigenvector | 被矩阵作用后方向不变、只发生伸缩的向量，对应伸缩倍数即特征值 |
| 对角化 | diagonalization | 把矩阵写成 A = PΛP⁻¹，前提是存在 n 个线性无关的特征向量 |
| 谱定理 | spectral theorem | 实对称矩阵必可正交对角化，特征值全为实数且不同特征向量自动正交 |
| 正定矩阵 | positive definite matrix | 对一切非零 x 都有 xᵀAx > 0，等价于全部特征值为正或顺序主子式全正 |
| 奇异值分解 | singular value decomposition (SVD) | 把任意实矩阵写成 A = UΣVᵀ，相当于旋转、缩放再旋转三步线性变换 |
| 奇异值 | singular value | AᵀA 特征值的非负平方根，按降序排列并刻画各方向的能量强度 |
| 低秩近似 | low-rank approximation | 只取前 r 个最大奇异值重构矩阵，在 Frobenius 范数下误差最小 |
| 条件数 | condition number | 最大与最小奇异值之比，衡量解对输入扰动的放大倍数 |
| 协方差矩阵 | covariance matrix | d × d 的对称半正定矩阵，对角元是各维方差，非对角元反映相关性 |
| 正交矩阵 | orthogonal matrix | 满足 QᵀQ = I 的方阵，列向量构成标准正交基且保持长度不变 |
| 二次型 | quadratic form | 由对称矩阵定义的标量函数 xᵀAx，其正负由特征值符号决定 |
| 向量化与广播 | vectorization / broadcasting | 把循环改写为整体数组运算，并让形状不同的数组按规则自动对齐 |
| 稀疏矩阵 | sparse matrix | 绝大多数元素为零的矩阵，只存非零项与其下标以节省空间 |
| 核方法 | kernel method | 用核函数隐式地把数据映射到高维空间，从而在原空间完成内积计算 |
| 最小范数解 | minimum-norm solution | 欠定方程组有无穷多解时取范数最小的那个，由伪逆给出 |
C.2 概率、信息与数值（第 4~5 章）
不确定性建模、信息度量与浮点误差分析：本组术语决定损失函数的来源与数值实现的可靠性。
| 中文 | English | 一句话说明 |
|---|---|---|
| 条件概率 | conditional probability | P(A|B) = P(A∩B)/P(B)，把样本空间压缩到事件 B 上再重新归一化，是贝叶斯推理的基础 |
| 全概率公式 | law of total probability | 按完备事件组把 P(A) 展开为分情况求和，用于无法直接计算的情形 |
| 贝叶斯公式 | Bayes’ theorem | P(B|D) = P(D|B)P(B)/P(D)，由观测结果反推原因，也是朴素贝叶斯分类器的核心 |
| 先验 / 后验 | prior / posterior | 观测前后的信念分布，贝叶斯更新即先验乘似然再归一化 |
| 随机变量 | random variable | 把样本点映射为实数的函数，使概率问题可用分布与数字特征描述 |
| 期望 | expectation | 随机变量的加权平均，记 E[X]，对线性运算可以逐项拆开 |
| 方差 | variance | 偏离期望的平方的期望，记 Var(X)，衡量取值相对于均值的离散程度 |
| 标准差 | standard deviation | 方差的算术平方根，与原始数据同量纲，也是标准化时的分母 |
| 协方差 | covariance | 两随机变量共同变化趋势的度量，为零只能说明没有线性相关 |
| 大数定律 | law of large numbers | 样本均值依概率收敛到期望，是用频率估计概率与蒙特卡洛方法的依据 |
| 中心极限定理 | central limit theorem | 独立同分布之和标准化后依分布收敛到标准正态，与原始分布无关 |
| 最大似然估计 | maximum likelihood estimation (MLE) | 选取让观测数据出现概率最大的参数，不引入任何先验信息 |
| 最大后验估计 | maximum a posteriori (MAP) | 在似然上再乘先验并取最大，取对数后等价于加正则的极大似然 |
| 充分统计量 | sufficient statistic | 包含样本中关于参数全部信息的统计量，给定它后样本再无补充 |
| 总体口径 / 样本口径 | population / sample convention | 方差分母取 n 还是 n − 1 的两种约定，后者才是无偏估计 |
| 信息熵 | entropy | 不确定性的度量，记 H(X)，分布越均匀取值越大，确定事件时为零 |
| 交叉熵 | cross-entropy | 等于真实分布的熵加上相对熵，是分类任务最常用的损失函数 |
| 相对熵 | Kullback-Leibler divergence | 记 KL(p‖q)，非负且不对称，衡量用分布 q 近似 p 所损失的编码长度 |
| 互信息 | mutual information | 两变量共享的信息量，对称且非负，为零当且仅当两者相互独立 |
| 条件独立 | conditional independence | 给定第三个变量后两变量相互独立，是简化推断的关键假设 |
| 贝叶斯网络 | Bayesian network | 用有向无环图表示变量间的条件独立关系，把联合分布按条件概率分解 |
| 隐马尔可夫模型 | hidden Markov model (HMM) | 用隐状态链与观测概率描述时序数据，前向后向算法可在其上推断 |
| 指数族分布 | exponential family | 概率密度可统一写成指数形式的一类分布，涵盖正态、伯努利与泊松 |
| 蒙特卡洛方法 | Monte Carlo method | 用随机采样估计难以解析计算的期望或积分，误差按 1/√N 收敛 |
| 抽样与重采样 | sampling / resampling | 从分布生成样本或对已有样本有放回重抽，自助法依赖它估计方差 |
| 累积分布函数 | cumulative distribution function (CDF) | 记 F(x) = P(X ≤ x)，单调不减且右连续，逆变换采样靠它生成任意分布样本 |
| 概率密度函数 | probability density function (PDF) | 连续随机变量的密度，区间上的积分才等于概率，密度值可大于 1 |
| 浮点数 | floating-point number | 按 IEEE 754 用符号位、阶码与尾数近似表示实数，精度有限 |
| 表示误差 | representation error | 十进制小数无法用有限二进制精确表示所造成的固有误差 |
| 舍入误差 | rounding error | 每次运算结果都被舍入到最近可表示值，误差随运算链逐步累积 |
| 相减抵消 | catastrophic cancellation | 两个相近大数相减导致有效位大量丢失，应改用等价变形来规避 |
| 数值稳定性 | numerical stability | 算法对输入扰动的敏感程度，稳定算法不会放大舍入误差 |
| 数值求根 | root finding | 用二分、牛顿或割线法求解 f(x) = 0，牛顿法收敛快但需导数 |
| 拉格朗日插值 | Lagrange interpolation | 用基函数线性组合构造恰好过给定点的多项式，新增节点需整体重算 |
| 矩阵的四个基本子空间 | four fundamental subspaces | 行空间、零空间、列空间与左零空间，两组分别构成正交补对 |
| 线性方程组解的结构 | solution structure of linear systems | 通解等于一个特解加上零空间的任意向量，无解当且仅当右端不在列空间 |
| 组合数 | binomial coefficient | 从 n 个元素中取 k 个的方案数，满足杨辉三角的递推关系 |
| 对数的运算性质 | logarithm identities | 把乘法化为加法、把幂化为倍数，可避免连乘造成的上下溢 |
| 容斥原理 | inclusion-exclusion principle | 求多个集合并集时按交集加减交替计数，是避免重复计数的通用思想 |
| 按位异或的性质 | XOR identities | 满足交换律与结合律且自身相消为零，可用来找出只出现一次的元素 |
C.3 优化与机器学习（第 6~11 章）
从凸性与梯度类优化到监督与无监督学习：本组术语连接损失怎么写与参数怎么找。
| 中文 | English | 一句话说明 |
|---|---|---|
| 凸集 / 凸函数 | convex set / convex function | 集合内任两点连线仍在集合内，函数图像位于任意两点所连弦的下方 |
| 凸优化 | convex optimization | 目标函数与可行域均为凸的问题，任一局部最优解就是全局最优解 |
| 梯度下降 | gradient descent | 沿负梯度方向按学习率迭代更新参数，是深度模型训练的基本框架 |
| 随机梯度下降 | stochastic gradient descent (SGD) | 用单个或小批样本估计梯度，单步代价低且噪声有助于逃离尖锐极小点 |
| 学习率 | learning rate | 每次参数更新的步长，记 η，过大震荡发散而过小则收敛缓慢 |
| 动量 | momentum | 累积历史梯度方向，抑制狭窄峡谷中的锯齿振荡并加速同向推进 |
| 自适应学习率 | adaptive learning rate | 按各参数自身的梯度统计量缩放步长，代表方法是 Adam 系列 |
| 学习率调度 | learning rate schedule | 按训练步数衰减学习率，常见余弦退火、线性衰减与阶梯衰减 |
| 经验风险最小化 | empirical risk minimization (ERM) | 用训练集上的平均损失近似真实期望风险，是监督学习的统一框架 |
| 监督学习 | supervised learning | 从带标签数据学习输入到输出的映射，以减小未见数据上的误差 |
| 无监督学习 | unsupervised learning | 从无标签数据中发现内在结构，典型任务是聚类、降维与密度估计 |
| 自监督学习 | self-supervised learning | 从数据自身构造掩码还原或对比等监督信号，无需人工标注 |
| 强化学习 | reinforcement learning | 通过与环境交互得到的奖励学习策略，难点是探索与利用的权衡 |
| 偏差-方差分解 | bias-variance decomposition | 期望泛化误差等于偏差平方、方差与不可约噪声三者之和 |
| 过拟合 | overfitting | 训练误差低而验证误差高，模型记住了训练集中的噪声与偶然模式 |
| 欠拟合 | underfitting | 训练误差与验证误差都高，说明模型容量不足或特征质量不够 |
| 交叉验证 | cross-validation | 轮流留出一折作验证集，用有限数据给出泛化性能的稳定性估计 |
| 超参数 | hyperparameter | 不由梯度学得而需人工设定的参数，如层数、隐藏维数与学习率 |
| 正则化 | regularization | 在损失中加入参数复杂度惩罚项，限制假设空间以改善泛化性能 |
| L1 / L2 正则 | L1 / L2 regularization | 分别对应拉普拉斯先验与高斯先验，前者产生稀疏解后者使权重平滑 |
| 早停 | early stopping | 验证误差由降转升时停止训练，等价于对参数范数施加隐式约束 |
| 丢弃法 | dropout | 训练时按概率随机将部分神经元置零，近似于对多个子网络做集成 |
| 精确率 | precision | 预测为正的样本里真正为正的比例，记 TP/(TP+FP)，衡量报得准不准 |
| 召回率 | recall | 真正为正的样本里被找出的比例，记 TP/(TP+FN)，衡量漏没漏 |
| 准确率 | accuracy | 预测正确的样本比例，类别不平衡时会被多数类主导而失去意义 |
| F1 分数 | F1 score | 精确率与召回率的调和平均，任意一项偏低都会把分数明显拉低 |
| ROC 曲线 / AUC | ROC curve / AUC | 遍历阈值得到真正率对假正率的曲线，曲线下面积即 AUC |
| 混淆矩阵 | confusion matrix | 各类别预测结果与真实标签的交叉计数表，是各项指标的原始来源 |
| K 均值聚类 | k-means clustering | 交替执行分配样本到最近质心与按簇内均值更新质心，直到收敛 |
| 密度聚类 | density-based clustering | 以邻域密度定义簇，可发现任意形状的簇并自动识别离群点 |
| 轮廓系数 | silhouette coefficient | 结合簇内紧密度与簇间分离度，取值落在 [−1,1]，越接近 1 越好 |
| 主成分分析 | principal component analysis (PCA) | 最大化投影方差的降维方法，解为协方差矩阵的主特征向量 |
| 线性判别分析 | linear discriminant analysis (LDA) | 寻找类间散度大而类内散度小的投影方向，是有监督的降维方法 |
| 数据标准化 | feature standardization | 各维减去均值再除以标准差，消除量纲差异，是 PCA 与 KNN 的前置步骤 |
| 独热编码 | one-hot encoding | 把每个类别表示为互相正交的单位向量，维度高且无法表达相似性 |
| 链接准则 | linkage criterion | 层次聚类中衡量两簇距离的方式，单链接取最近点、全链接取最远点、平均链接取均值 |
| 距离度量 | distance metric | 定义样本间远近的方式，常用欧氏、曼哈顿与余弦三种距离 |
| 特征选择 | feature selection | 用过滤、包裹或嵌入方法筛掉冗余特征，与降维的区别是保留原语义 |
| 支持向量机 | support vector machine (SVM) | 最大化分类间隔的线性模型，靠核函数处理非线性，边界只由支持向量决定 |
| 集成学习 | ensemble learning | 组合多个基学习器以降低方差或偏差，基学习器的多样性是收益前提 |
C.4 深度学习（第 12~15 章）
神经网络结构、训练机制与注意力架构：本组术语覆盖从反向传播到 Transformer 的核心部件。
| 中文 | English | 一句话说明 |
|---|---|---|
| 多层感知机 | multilayer perceptron (MLP) | 全连接层堆叠并逐层施加非线性激活，是最基本的神经网络结构 |
| 激活函数 | activation function | 逐元素引入非线性，若没有它多层线性变换仍等价于单层线性变换 |
| 修正线性单元 | rectified linear unit (ReLU) | 取 max(0, x)，正区间梯度恒为 1，能有效缓解梯度消失但负区间输出为零 |
| 通用近似定理 | universal approximation theorem | 单隐层加非线性激活即可在紧集上以任意精度逼近连续函数 |
| 自动微分 | automatic differentiation | 按链式法则在计算图上自动求导，有前向与反向两种模式 |
| 反向传播 | backpropagation | 从损失出发按链式法则逐层回传梯度，本质是自动微分的反向模式 |
| 参数初始化 | parameter initialization | 常用 Xavier 与 He 初始化按扇入扇出调节方差，避免信号逐层放大或衰减 |
| 批归一化 | batch normalization (BN) | 按批内统计量做归一化，训练与推理行为不同且效果依赖批大小 |
| 层归一化 | layer normalization (LN) | 按单个样本的特征维归一化，与批大小无关因而适合变长序列 |
| 均方根归一化 | root mean square normalization (RMSNorm) | 只按均方根缩放而不减均值，省去一次统计计算且效果接近层归一化 |
| 残差连接 | residual connection | 把输入与变换结果相加，为梯度提供恒等通路以支撑极深网络训练 |
| 混合精度训练 | mixed precision training | 前向反向用低精度而累加与更新用高精度，兼顾速度与数值稳定 |
| 梯度裁剪 | gradient clipping | 按全局范数截断梯度，防止偶发尖峰破坏权重，在循环网络中尤其常用 |
| 优化器 | optimizer | 把梯度转换为参数更新的具体算法，它与学习率调度共同决定收敛行为 |
| 权重衰减 | weight decay | 每次更新时让权重按比例缩小，效果接近 L2 正则但不完全等价 |
| 参数高效微调 | parameter-efficient fine-tuning (PEFT) | 只训练少量新增或选定参数即可适配下游任务，如适配器与 LoRA |
| 词嵌入 | word embedding | 把离散词元映射为稠密向量，语义相近的词其向量方向也相近 |
| 字节对编码 | byte pair encoding (BPE) | 按频次迭代合并最常出现的相邻字符对，得到大小可控的子词表 |
| 词元 | token | 文本经分词器切分后的最小处理单元，可对应词、子词或单个字节 |
| 视觉 Transformer | vision transformer (ViT) | 把图像切成固定大小的图块并展平为序列，用注意力替代卷积 |
| 自注意力 | self-attention | 序列内每个位置按查询与键的相似度对所有位置加权聚合 |
| 缩放点积注意力 | scaled dot-product attention | 用查询与键的点积打分，除以 √d_k 抑制 Softmax 饱和与梯度消失 |
| 查询 / 键 / 值 | query / key / value | 注意力中的三组投影，查询与键做内积打分，值按权重加权求和 |
| 多头注意力 | multi-head attention | 并行运行多个注意力头再拼接投影，使不同头关注不同依赖模式 |
| 位置编码 | positional encoding | 为注意力注入位置信息，常见正弦编码、可学习编码与旋转编码 |
| 旋转位置编码 | rotary position embedding (RoPE) | 按位置旋转查询与键向量，使内积只依赖相对距离，外推更稳健 |
| 因果掩码 | causal mask | 把未来位置的注意力分数置为负无穷，保证自回归生成不泄露答案 |
| 窗口注意力 | sliding window attention | 每个位置只关注左右固定个数的邻居，把注意力代价从平方降到线性 |
| 前馈网络 | feed-forward network (FFN) | Transformer 中逐位置的两层多层感知机，参数占比最大且存储事实知识 |
| 编码器 / 解码器 | encoder / decoder | 双向表示与自回归生成两种结构，前者可见全句后者须加因果掩码 |
| 门控线性单元 | gated linear unit (GLU) | 用一路线性变换的结果逐元素门控另一路，前馈网络中常用其 Swish 门控变体 |
| 掩码语言建模 | masked language modeling (MLM) | 随机遮住部分词元让模型还原，是双向编码器的经典预训练目标 |
| 长短期记忆网络 | long short-term memory (LSTM) | 用输入、遗忘与输出三个门控制单元状态的读写，缓解梯度消失 |
| 梯度检查点 | gradient checkpointing | 只保存部分中间激活，反向时重新计算其余部分以节省显存 |
| 知识蒸馏 | knowledge distillation | 让学生模型拟合教师模型的软概率分布，从而保留大部分能力 |
| 对比学习 | contrastive learning | 拉近正样本对并推远负样本对来学习表示，是自监督的主要范式 |
| 卷积神经网络 | convolutional neural network (CNN) | 用局部感受野与权重共享提取平移不变特征，参数量远少于全连接 |
| 循环神经网络 | recurrent neural network (RNN) | 按时间步递归传递隐状态以处理变长序列，长程依赖上梯度易消失 |
| 内存墙 | memory wall | 算力增长快于访存带宽增长，实际性能由搬数据速度而非算力决定 |
| 自监督预训练目标 | self-supervised objective | 从数据自身构造监督信号的目标函数，如掩码还原与下一词元预测 |
C.5 大模型与推理工程（第 16~21 章）
从预训练与偏好对齐到解码与量化部署：本组术语覆盖大模型训练与推理服务的完整链路。
| 中文 | English | 一句话说明 |
|---|---|---|
| 预训练 | pre-training | 在大规模语料上以自监督目标训练基座模型，后续能力都建立在此之上 |
| 微调 | fine-tuning | 在特定任务数据上继续训练，用少量数据把通用能力导向具体任务 |
| 指令微调 | instruction tuning (SFT) | 用指令与回答配对的数据训练模型遵循指令，是激活泛化的关键一步 |
| 偏好对齐 | preference alignment | 让模型输出符合人类偏好，需同时兼顾有用、诚实与无害三个目标 |
| 策略梯度 | policy gradient | 用动作对数概率的梯度乘回报来更新策略，分在线与离线两类做法 |
| 奖励模型 | reward model (RM) | 从偏好比较数据中学习的打分模型，为强化学习阶段提供奖励信号 |
| 近端策略优化 | proximal policy optimization (PPO) | 用裁剪的重要性比率把每步策略更新限制在信任域内的策略梯度算法 |
| 群体相对策略优化 | group relative policy optimization (GRPO) | 对同一提示采样一组回答，用组内相对奖励替代独立的价值网络 |
| 直接偏好优化 | direct preference optimization (DPO) | 跳过奖励模型，用偏好对直接构造可微损失来优化策略 |
| 重要性采样 | importance sampling | 用易采样的旧分布估计目标分布下的期望，其方差由概率比值决定 |
| RLHF | reinforcement learning from human feedback | 收集人类偏好、训练奖励模型再用强化学习优化策略的三步流水线 |
| 检索增强生成 | retrieval-augmented generation (RAG) | 先检索相关片段再让模型据此生成答案，把事实来源外置以缓解幻觉 |
| 文本切分 | text chunking | 把长文档切成带重叠的块，块大小需在语义完整与检索精度间权衡 |
| 语义检索 | semantic retrieval | 用向量相似度而非关键词匹配召回内容，通常以余弦相似度排序 |
| 交叉编码器重排 | cross-encoder reranking | 把查询与候选拼在一起逐对精排打分，精度高于双塔检索但延迟较大 |
| 贪心解码 | greedy decoding | 每步取概率最大的词元，结果确定高效但容易陷入重复句子 |
| 束搜索 | beam search | 同时维护若干条候选序列并按累计对数概率排序，适合翻译任务 |
| 温度 | temperature | 用 logits/T 缩放后再做 Softmax 以调节多样性，温度越低结果越确定 |
| Top-K 采样 | top-K sampling | 只在概率最高的 K 个词元中采样并重新归一化，候选集固定 |
| 核采样 | nucleus sampling (Top-P) | 取累计概率刚超过 p 的最小前缀作为候选集，候选规模自适应 |
| 预填充 | prefill | 并行处理完整提示词的阶段，通常计算受限且决定首词元延迟 |
| 解码 | decode | 逐词元生成的阶段，每步只算一个新位置，瓶颈在权重搬运 |
| 键值缓存 | KV cache | 缓存历史位置的键与值以避免重复计算，显存随序列长度线性增长 |
| 上下文窗口 | context window | 模型单次能处理的最大词元数，受位置外推能力与显存容量限制 |
| 算子融合 | operator fusion | 把多个逐元素算子合并成一个核函数，减少访存往返与核启动开销 |
| 算术强度 | arithmetic intensity | 每字节访存对应的浮点运算数，决定算子在屋顶线图上的受限类型 |
| 访存受限 / 计算受限 | memory-bound / compute-bound | 性能瓶颈落在访存带宽或峰值算力，前者靠融合量化后者靠提高并行度 |
| 在线 Softmax | online softmax | 分块计算时动态维护运行最大值与归一化因子，一次遍历即可完成 |
| 连续批处理 | continuous batching | 请求级动态进出批，新请求无需等待整批结束即可加入以提升吞吐 |
| 分页注意力 | PagedAttention | 把键值缓存按固定大小的页管理，消除显存碎片并支持前缀共享 |
| 量化 | quantization | 用低比特表示权重或激活，降低显存占用与访存带宽需求 |
| 校准 | calibration | 用一批有代表性的数据统计权重与激活动态范围以确定量化参数 |
| 训练后量化 | post-training quantization (PTQ) | 训练完成后直接量化，只需少量校准数据但极低比特下精度下降 |
| 量化感知训练 | quantization-aware training (QAT) | 在训练中模拟量化误差让参数适应低精度，精度通常优于训练后量化 |
| 数据并行 | data parallelism (DP) | 复制模型并切分数据，每步对梯度做全归约后同步更新，最易扩展 |
| 张量并行 | tensor parallelism (TP) | 把单层权重切分到不同设备，层内需要全归约通信，适合高带宽互联 |
| 流水线并行 | pipeline parallelism (PP) | 按层把模型切分到不同设备并用微批填充流水线，段数越多气泡越多 |
| 专家并行 | expert parallelism (EP) | 混合专家模型的不同专家分布在不同设备，需全对全通信交换词元 |
| 参数分片 | sharded data parallel (ZeRO/FSDP) | 把优化器状态、梯度与参数分片存储，用额外通信换取显存大幅下降 |
| 反量化 | dequantization | 把低比特整数按缩放因子还原为浮点近似值，是全整型推理的收尾步骤 |
| 集合通信 | collective communication | 多设备协同的通信原语统称，含广播、全归约、全收集与归约散射 |
| 全归约 | all-reduce | 各设备先求和再把结果广播给所有设备，是数据并行梯度同步的核心 |
C.6 算法与工程（第 22~26 章）
复杂度分析、经典算法范式与实现细节：本组术语决定程序能否在时限内给出正确输出。
| 中文 | English | 一句话说明 |
|---|---|---|
| 渐进复杂度 | asymptotic complexity | 输入规模趋于无穷时时间或空间的增长阶，用于在实现前比较可行性 |
| 大 O 记号 | big-O notation | 渐近上界，f = O(g) 表示存在常数 c 使得 f ≤ cg 对足够大的输入恒成立 |
| 大 Ω / 大 Θ 记号 | big-Omega / big-Theta notation | 渐近下界与紧确界，紧确界表示上下界同阶，是最精确的刻画 |
| 最坏 / 平均情况 | worst / average case | 对抗输入下的代价与按输入分布取期望的代价，后者须说明分布假设 |
| 摊还分析 | amortized analysis | 对操作序列整体取平均得到的单次代价保证，且不依赖随机性假设 |
| 主定理 | master theorem | 求解 T(n) = aT(n/b) + f(n) 的三情形判据，核心是比较两部分的增长阶 |
| 空间换时间 | space-time tradeoff | 用额外存储消除重复计算，前缀和、记忆化与打表都是这一思想 |
| 常数因子 | constant factor | 渐进量级之外的实现开销倍数，小规模数据上常主导实际耗时 |
| 双指针 | two pointers | 两个下标同向或相向移动，每步排除一批候选，正确性需单调性支撑 |
| 滑动窗口 | sliding window | 右端扩张而左端按条件收缩以维护合法区间，窗口统计量需增量更新 |
| 单调性论证 | monotonicity argument | 证明左端右移不会漏掉最优解，是双指针与二分答案类解法的证明核心 |
| 前缀和 | prefix sum | 预处理 S[i] = a[1] + … + a[i] 后，可在 O(1) 时间内回答任意区间的元素和查询 |
| 二维前缀和 | 2D prefix sum | 用容斥公式回答任意子矩阵的元素和，预处理 O(nm) 而查询为 O(1) |
| 差分数组 | difference array | 区间整体加值只需修改两个端点，最后求一次前缀和即可还原 |
| 单调栈 | monotonic stack | 栈内元素保持单调，用于求每个元素左右第一个更大或更小的位置 |
| 单调队列 | monotonic deque | 维护滑动窗口内的最值，队头即当前答案，过期下标需及时弹出 |
| 严格弱序 | strict weak ordering | 自定义比较器必须满足的性质，违反它会使排序结果未定义 |
| 排序键 | sort key | 把多级优先级编码进元组并用负号统一升降序，可省去定制比较器 |
| 动态规划 | dynamic programming (DP) | 用状态表示子问题并用转移方程串联，从而消除重叠子问题的重复计算 |
| 最优子结构 | optimal substructure | 大问题的最优解可由子问题的最优解组合得到，是使用动态规划的前提 |
| 无后效性 | no aftereffect | 状态确定后后续决策只依赖状态本身，而与到达该状态的路径无关 |
| 重叠子问题 | overlapping subproblems | 不同的大问题反复调用同一批子问题，这种重叠使记忆化带来实质加速 |
| 状态定义 | state definition | 用一句话说清 f[...] 的语义与口径，是写出正确转移方程的第一步 |
| 状态口径 | state convention | 恰好与不超过两种语义，决定初始化取值与答案从哪个状态读出 |
| 遍历顺序 | iteration order | 决定转移读到旧值还是新值，也决定每件物品只能选一次还是任意次 |
| 滚动数组 | rolling array | 省掉物品那一维把空间降一维，容量维顺序必须与背包口径同时改对 |
| 0/1 背包 | 0/1 knapsack | 每件物品至多选一次，容量维必须倒序枚举以免同层内被重复选取 |
| 完全背包 | unbounded knapsack | 每件物品可选任意多次，容量维正序滚动即允许同层内重复选取 |
| 分组背包 | grouped knapsack | 每组至多选一件物品，每处理一组都需新开数组以免同组被选多件 |
| 方案还原 | solution reconstruction | 从动态规划表中反推最优方案的选择序列，往往是题目的真正要求 |
| 有向无环图 | directed acyclic graph (DAG) | 不含环的有向图，可拓扑排序并沿拓扑序做单向递推，是动态规划的骨架 |
| 广度优先搜索 | breadth-first search (BFS) | 按层向外扩展，边权为 1 时首次到达某点即给出最短距离 |
| 深度优先搜索 | depth-first search (DFS) | 沿路径深入到底再回溯，适合连通性判断、拓扑排序与环检测 |
| 连通分量 | connected component | 无向图中互相可达的极大点集，可用搜索或并查集统计其个数与规模 |
| 并查集 | disjoint set union (DSU) | 只支持合并集合与查询连通性的结构，两种优化后摊还复杂度近常数 |
| 拓扑排序 | topological sort | 为有向无环图排出满足依赖的线性序，可在排序同时判断是否存在环 |
| 二分查找 | binary search | 在单调序列上每次折半缩小范围，实现须明确区间开闭以免死循环 |
| 贪心算法 | greedy algorithm | 每步取当前最优且不回溯，需用交换论证或反例确认其正确性 |
延伸阅读
- 《人工智能大辞典》与 IEEE 标准术语表：用于核查译名的通行程度与英文表述的本义。
- 全国科学技术名词审定委员会术语库（termonline.cn）：规范译名的权威来源，可逐条对照确认。