第 9 章 线性模型与广义线性模型

本章把"用一条直线或一个超平面预测目标"的想法，扩展成一套能统一处理回归、二分类、多分类与计数问题的建模语言——广义线性模型。它是深度网络最后一个可解释的前身，也是考试中出现频率最高、最容易"以为会了却算错"的一类模型。

学习目标

读完本章，你应当能够：

1. 由最小二乘目标推导正规方程 w = (XᵀX)⁻¹Xᵀy，并从几何（正交投影）与概率（高斯噪声下的 MLE）两个角度解释它为什么合理；
2. 判断 XᵀX 何时不可逆，说明正则化在数值与统计两个层面的必要性；
3. 由伯努利似然推导交叉熵损失，并证明交叉熵关于 w 凸、MSE 关于 w 非凸；
4. 写出逻辑回归梯度 (σ(z) − y)x，解释 Sigmoid 导数为什么会被约掉；
5. 用 GLM 三要素统一描述线性回归、逻辑回归、泊松回归；
6. 说明在线学习与 batch size = 1 的 SGD 的等价性、AdaGrad 在稀疏特征上更优的推导，以及概念漂移的类型与应对。

前置知识检查

9.1 从线性回归到最小二乘

9.1.1 模型形式：对参数线性

只有一个输入特征时，模型是 ŷ = w₁x + w₀，w₁ 是斜率（slope），w₀ 是截距（intercept）。为把截距统一进矩阵形式，在每个样本特征前补一个恒为 1 的分量，记 x = (1, x₁, …, x_d)ᵀ，于是任意样本都写成同一个内积：

1

ŷ = wᵀx          （w 的第一个分量就是截距）

这就是"线性模型"的确切含义：模型对参数 w 线性。 它对输入 x 未必线性——把 x 换成 (1, x, x², x³) 后模型仍叫线性回归，因为待估的 w 进入模型的方式没变。区分"对参数线性"与"对输入线性"是常见陷阱。

9.1.2 最小二乘目标

把训练集堆成矩阵 X ∈ R^(n×(d+1))（第 i 行是 x_iᵀ）与向量 y ∈ R^n。残差向量是 y − Xw，最小二乘（least squares）目标为残差平方和：

1
2

L(w) = Σ_{i=1}^{n} (y_i − wᵀx_i)²  =  ‖y − Xw‖²
     = (y − Xw)ᵀ(y − Xw) = yᵀy − 2wᵀXᵀy + wᵀXᵀXw

为什么用平方和而不是绝对值和？ 三个理由都要能用：

1. 可导且凸：x² 处处可导，|x| 在 0 点不可导。平方和关于 w 是二次函数，Hessian 为 2XᵀX（半正定），故只有全局最优、没有局部最优。
2. 概率解释：噪声服从高斯分布时，最小二乘恰好等价于最大似然（9.1.4 节推导）。
3. 几何解释：平方和最小 ⟺ 残差向量与 Col(X) 正交（9.1.3 节推导）。

代价是对离群点敏感：误差从 1 变到 10，惩罚从 1 变到 100。需要抗噪时改用 Huber 损失或分位数损失（第 8 章）。

9.1.3 正规方程：求导与几何两条路

求导法。 对 L(w) = yᵀy − 2wᵀXᵀy + wᵀXᵀXw 求梯度，用 ∂(aᵀw)/∂w = a 与 ∂(wᵀAw)/∂w = 2Aw（A 对称）：

1
2
3

∂L/∂w = −2Xᵀy + 2XᵀXw = 0
⟹  XᵀXw = Xᵀy                                    （正规方程 normal equation）
⟹  w = (XᵀX)⁻¹Xᵀy                                 （当 XᵀX 可逆）

几何法。 Xw 的全部可能取值构成 X 的列空间 Col(X)，维数为 r(X)。要在 Col(X) 里找离 y 最近的点 ŷ = Xw。设残差 e = y − ŷ；若 e 还有分量落在 Col(X) 内，沿该方向移动 ŷ 就能继续缩短距离，与最优性矛盾。故最优时 e 与 Col(X) 中每个向量正交：

1

Xᵀ(y − Xw) = 0    ⟹   XᵀXw = Xᵀy            （与求导法得到的方程完全相同）

这给出两个结论：

1. 最小二乘解 ŷ 就是 y 在 Col(X) 上的正交投影，投影矩阵 H = X(XᵀX)⁻¹Xᵀ 称为帽子矩阵（hat matrix），因为它把 y 变成 ŷ；
2. H 对称幂等（Hᵀ = H、H² = H），这正是"投影算子"的代数刻画。

1
2
3

        y  ●
           |  ← 残差 e ⊥ Col(X)
   ────────●──────────►  Col(X)        ŷ = Hy 是投影点

9.1.4 概率解释：最小二乘 = 高斯噪声下的 MLE

设真实关系为 y = wᵀx + ε，ε ~ N(0, σ²) 且样本独立，则 y_i | x_i; w ~ N(wᵀx_i, σ²)。取对数似然，把连乘变成求和：

1
2

ℓ(w) = Σ_i [ −½ln(2πσ²) − (y_i − wᵀx_i)² / (2σ²) ]
     = −(n/2)·ln(2πσ²) − (1/(2σ²))·Σ_i (y_i − wᵀx_i)²

前两项与 w 无关，1/(2σ²) > 0 是正常数，因此

1

argmax_w ℓ(w) = argmin_w Σ_i (y_i − wᵀx_i)²

最小二乘就是高斯噪声假设下的最大似然估计。 这条等式把"平方"从随意的选择变成概率模型的必然推论：平方来自高斯密度指数上的 −z²。顺带还能得到 σ² 的 MLE：σ̂² = (1/n)·Σ_i (y_i − ŷ_i)²。注意分母是 n 而不是 n − (d+1)——这就是"有偏方差估计"的来源。

9.2 正则化与加权最小二乘

9.2.1 XᵀX 何时不可逆

XᵀX 是 (d+1)×(d+1) 对称方阵，且 r(XᵀX) = r(X)，故它可逆的充要条件是 r(X) = d + 1，即 X 列满秩。以下情形会破坏这一条件：

即使可逆，当 XᵀX 接近奇异（病态，ill-conditioned）时微小扰动会被放大：cond(XᵀX) = cond(X)²，求逆相当于把数据里的噪声放大平方倍，数值解不再可信（第 5 章）。

9.2.2 岭回归：两个视角看同一件事

岭回归（ridge regression）在目标上加 L2 惩罚：

1
2
3

L_ridge(w) = ‖y − Xw‖² + λ‖w‖²
⟹ ∂L/∂w = −2Xᵀy + 2XᵀXw + 2λw = 0
⟹ w = (XᵀX + λI)⁻¹Xᵀy

为什么它一定可逆？ 设 v ≠ 0，则 vᵀ(XᵀX + λI)v = ‖Xv‖² + λ‖v‖² ≥ λ‖v‖² > 0（λ > 0）。即 XᵀX + λI 在任意方向上都是正的，因而是正定矩阵，正定必可逆——无论 X 长什么样。

9.2.3 加权最小二乘

样本重要性不同时（重复观测、异方差、局部近似）引入权重 u_i > 0：

1
2

L_w(w) = Σ_i u_i (y_i − wᵀx_i)² = (y − Xw)ᵀW(y − Xw),   W = diag(u₁, …, u_n)
⟹ ∂L_w/∂w = −2XᵀWy + 2XᵀWXw = 0  ⟹  w = (XᵀWX)⁻¹XᵀWy

把 √u_i 乘到样本上（x̃_i = √u_i·x_i、ỹ_i = √u_i·y_i），加权最小二乘就化成普通最小二乘——加权没有引入新算法族，只是改了数据尺度。第 10 章的 k-medoids 选址题把城市用户数当权重，用的正是这套代价口径。

9.3 逻辑回归：从对数几率到交叉熵

9.3.1 建模动机：为什么要引进 logit

二分类中 y ∈ {0,1}，我们想预测 P(y = 1|x)。直接用线性函数 wᵀx 不行：它的值域是整条实轴，会产生"概率 = −3"这类无意义输出。需要把 (−∞, +∞) 映到 (0, 1) 的函数，于是从几率出发构造：

1
2

几率（odds）        = P/(1−P)        取值 (0, +∞)
对数几率（log odds）= ln(P/(1−P))    取值 (−∞, +∞)

对数几率（logit）的值域恰好是整条实轴，正是线性预测子该在的地方。于是假设"对数几率是线性的”：

1

ln(P/(1−P)) = wᵀx   ⟹   P/(1−P) = e^(wᵀx)   ⟹   P = 1/(1 + e^(−wᵀx))

得到 Sigmoid 函数 σ(z) = 1/(1 + e^(−z))，其中 z = wᵀx 称为线性预测子（linear predictor）或分数（score）。这个建模还带来系数的可解释性：w_j 增大 1 单位，对数几率增加 w_j，即几率变成原来的 e^(w_j) 倍。在风控、医疗等需要解释的场景里，这比一个黑箱概率有用得多。

9.3.2 Sigmoid 的性质与导数

导数推导（必会）：

1
2
3

σ(z) = (1 + e^(−z))⁻¹
σ′(z) = −(1 + e^(−z))⁻² · (−e^(−z)) = e^(−z) / (1 + e^(−z))²
      = [1/(1+e^(−z))] · [e^(−z)/(1+e^(−z))] = σ(z)·(1 − σ(z))

最后一步用了 1 − σ(z) = e^(−z)/(1+e^(−z))。记住 σ′ = σ(1−σ)，这是下面"σ′ 被约掉"的全部基础。

9.3.3 交叉熵损失的推导

把两次伯努利试验写成一个式子（最容易被忽略的技巧）：

1

P(y_i | x_i; w) = p_i^{y_i} · (1 − p_i)^{1−y_i},      p_i = σ(wᵀx_i)

y_i = 1 时退化为 p_i，y_i = 0 时退化为 1 − p_i，两种情形都对。取负对数得负对数似然（NLL），即二分类交叉熵损失（cross-entropy loss，也叫对数损失 log loss）：

1

L(w) = −Σ_i [ y_i ln p_i + (1 − y_i) ln(1 − p_i) ]

梯度推导（关键）： 由 ∂p_i/∂w = σ′(z_i)x_i = p_i(1−p_i)x_i，逐项代入：

1
2
3
4

∂L/∂w = −Σ_i [ y_i(1/p_i) − (1−y_i)/(1−p_i) ]·p_i(1−p_i)·x_i
      = −Σ_i [ y_i(1−p_i) − (1−y_i)p_i ]·x_i
      = −Σ_i [ y_i − y_i p_i − p_i + y_i p_i ]·x_i
      = −Σ_i (y_i − p_i)·x_i = Σ_i (p_i − y_i)·x_i

σ′ 消失了。 这不是巧合：伯努利分布的标准联系函数正是 logit，其导数与交叉熵的导数互相抵消（信息论里称为 canonical link）。后果极其重要：

• 预测严重错误（y = 1 而 p ≈ 0）时梯度大小约等于 x，不被饱和区压小，学得很快；
• 用 MSE 时梯度含 σ′(z) = p(1−p) 因子，在 p ≈ 0 或 p ≈ 1 处趋近于 0，学得极慢。

9.3.4 凸性：交叉熵凸而 MSE 非凸的证明

这是本章技术含量最高的一段，也是真题 【09-09 选择 Q4】 的严格答案。判凸的标准手段是写出 Hessian 并判断正定性。

（一）交叉熵凸。 单样本损失 ℓ_i = −y_i ln p_i − (1−y_i)ln(1−p_i) 的梯度是 (p_i − y_i)x_i，再求一次导：

1
2
3

∂²ℓ_i/∂w∂wᵀ = ∂/∂w [ (p_i − y_i)·x_iᵀ ] = p_i(1−p_i)·x_i x_iᵀ
⟹ H_CE = Σ_i p_i(1 − p_i)·x_i x_iᵀ
vᵀH_CE v = Σ_i p_i(1 − p_i)·(vᵀx_i)²  ≥ 0        （因 p_i ∈ (0,1) ⟹ p_i(1−p_i) > 0）

每一项都是"正系数 × 平方”，故 H_CE 半正定，交叉熵是凸函数。取等号当且仅当所有 vᵀx_i = 0（v 同时正交于全部样本），该方向本就不可分辨，属正常退化。凸 ⟹ 没有局部极小陷阱，梯度下降（步长合适时）能到全局最优。

（二）MSE 非凸。 M(w) = Σ_i (p_i − y_i)² 的梯度为 Σ_i 2(p_i − y_i)·p_i(1−p_i)·x_i（p_i 与 p_i(1−p_i) 两项都依赖 w）。再用乘积法则求二阶导（∂(p_i(1−p_i))/∂w = (1 − 2p_i)p_i(1−p_i)x_i）：

1

H_M,i = 2·p_i(1−p_i)·[ (p_i − y_i) + (p_i − y_i)(1 − 2p_i) ]·x_i x_iᵀ = 4·p_i(1−p_i)²·(p_i − y_i)·x_i x_iᵀ

关键在符号因子 (p_i − y_i)：它与 w 有关且可正可负。当 y_i = 1 而模型预测 p_i < 1 时它为负，x_i x_iᵀ 前的系数为负，H_M 沿该方向为负定；预测反过来时又为正。故 H_M 既非半正定也非半负定，M(w) 是非凸函数，存在局部极小与鞍点，梯度下降不保证找到全局最优。

9.4 Softmax 回归与多分类

K 类分类时把分数记作 z = Wx（W 第 k 行为 w_kᵀ），Softmax 把分数转成概率：softmax(z)_k = e^(z_k) / Σ_j e^(z_j)。把真实标签编码成 one-hot 向量 y_i，由分类分布似然 Π_k p_{i,k}^{y_{i,k}} 取负对数得多分类交叉熵：

1

L(W) = −Σ_i Σ_k y_{i,k}·ln p_{i,k}     ⟹   ∂L/∂w_k = Σ_i (p_{i,k} − y_{i,k})·x_i

因 y_i 是 one-hot，内层求和只剩一项，等于 −ln p_{i, 真实类别}：只惩罚正确类别的对数概率，正确类概率越接近 1，损失越接近 0。K = 2 时 Softmax 退化为 Sigmoid，多分类交叉熵退化为二分类交叉熵——这也是真题 【09-09 选择 Q4】 中"交叉熵天然支持多分类"的依据。

平移不变性。 给所有分数同时加常数 c，输出概率不变：

1

softmax(z + c·1)_k = e^(z_k + c)/Σ_j e^(z_j + c) = e^c·e^(z_k) / (e^c·Σ_j e^(z_j)) = softmax(z)_k

数值上取 c = −max_j z_j 后最大指数为 e⁰ = 1，绝不溢出，分母至少为 1 也不会下溢——这不是近似技巧，而是数学上完全等价的重写（第 5 章）。参数上因 softmax(Wx) = softmax((W + 1aᵀ)x) 对任意 a 成立，最优 W 不唯一、Hessian 奇异、参数不可辨识，标准处理是加 L2 正则或固定某一类权重为 0。

9.5 GLM：三要素统一视角

广义线性模型（Generalized Linear Model, GLM）由三要素组成：随机成分要求 y 服从某个指数族分布（exponential family），其分布可写成 P(y; θ) = h(y)·exp( θ·T(y) − A(θ) )，其中 θ 是自然参数，T(y) 是充分统计量，A(θ) 是对数配分函数（保证归一化）；指数族有个极好用的性质 μ = E[y] = A′(θ)、Var(y) = A″(θ)——一阶导给期望、二阶导给方差。系统成分是线性预测子 η = wᵀx。联系函数（link function）g 单调可微，把期望与线性预测子连起来：g(μ) = η，即 μ = g⁻¹(η)；当 g 取自然参数与期望之间的映射时称为标准联系函数（canonical link）。

泊松回归用于预测单位时间内的到达次数、点击量、缺陷数这类计数数据。计数非负且方差随均值增长，用线性回归会预测出负数且违反同方差假设；用对数联系函数后 λ = e^(η) > 0 恒成立，且 GLM 允许方差随均值变化。

9.6 在线学习与概念漂移

9.6.1 逐样本更新就是 batch size = 1 的 SGD

在线学习（online learning）的协议是：来一个样本 → 算梯度 → 立刻更新 → 丢掉该样本：

1

w_{t+1} = w_t − η_t·∇ℓ(w_t; x_t, y_t)

这与 batch size = 1 的随机梯度下降是同一套更新式，只是强调的侧面不同：SGD 强调"用小批量近似全量梯度"，在线学习强调"数据流式到来、不可重访"（真题 【08-05 选择 Q19】 的 A 选项）。**严格收敛的条件（Robbins-Monro）**是 Σ_{t=1}^{∞} η_t = ∞ 且 Σ_{t=1}^{∞} η_t² < ∞：第一式保证"还能走足够远"，第二式保证"步长平方可和"（噪声累积方差有限，最终能静下来）。典型满足者是 η_t = 1/t——调和级数发散，而 Σ 1/t² = π²/6 收敛。

9.6.2 AdaGrad：为什么稀疏特征上更优

AdaGrad 为每一维单独维护累积梯度平方和：

1
2

G_{t,j} = Σ_{s=1}^{t} g_{s,j}²                              （第 j 维历史梯度平方累积）
w_{t+1,j} = w_{t,j} − (η / √(G_{t,j} + ε))·g_{t,j}

有效步长是 η/√(G_{t,j} + ε)，与该维历史梯度的均方根成反比：

• 频繁出现的特征：G_{t,j} 快速累积变大 ⟹ 分母变大 ⟹ 有效步长自动缩小 ⟹ 不会来回震荡；
• 稀疏特征：出现次数少、G_{t,j} 长期很小 ⟹ 分母很小 ⟹ 一旦出现就获得远大于平均的步长 ⟹ 正好补偿它"更新机会稀少"的劣势。

在文本 one-hot、推荐系统 ID 特征这类场景里，绝大多数维度每次只被极少样本激活。若用统一学习率，则要么对常见特征过大（震荡），要么对稀疏特征过小（几乎不更新），无法同时满足；AdaGrad 用逐维缩放解开了这个矛盾。代价是 G_{t,j} 单调增、分母永不停止变大，后期步长趋近 0 而无法继续学习——这正是 AdaDelta / RMSProp / Adam 改用指数移动平均的动机（第 6 章）。

9.6.3 概念漂移的类型与应对

概念漂移（concept drift）指 P(y|x) 随时间变化。先区分两种漂移：协变量漂移（covariate shift）是 P(x) 变了而 P(y|x) 不变；概念漂移是 P(y|x) 本身变了。只有后者会让旧模型真的"判错"。

为什么在线学习比批量训练更能适应？ 在线学习持续用新样本更新参数，旧分布的影响随更新被逐步"洗掉"，天然带遗忘；批量训练的参数在两次重训之间被冻结，只能等下一次重训才能跟上分布变化（真题 【08-05 选择 Q19】 的 C 选项）。工程上还会加一层漂移检测（如 ADWIN、DDM），监控预测分布与误差统计量，一旦显著变化就触发重训或调大学习率——盲目地永远在线更新在标签有噪声时会持续被污染。

本章小结

自测题

Q1（计算）一元线性回归模型为 ŷ = 2x + 1，求 x = 4 时的预测值，并说明把答案写成 10、8、7 分别对应什么错误。

Q2（推导）从伯努利似然出发推导逻辑回归的交叉熵损失与其梯度，指出推导中"哪一步"约掉了 σ′。

1
2

∂L/∂w = −Σ_i [ y_i(1/p_i) − (1−y_i)/(1−p_i) ]·p_i(1−p_i)·x_i
      = −Σ_i [ y_i(1−p_i) − (1−y_i)p_i ]·x_i = Σ_i (p_i − y_i)·x_i

Q3（证明）写出逻辑回归分别使用交叉熵与 MSE 时关于 w 的 Hessian，据此判断各自的凸性。

Q4（辨析，多选）判断下列说法正误： A. 在线逻辑回归每次用一个样本更新，等价于 batch size = 1 的 SGD； B. AdaGrad 等自适应学习率方法在稀疏特征的在线场景中优于固定学习率； C. 概念漂移场景下在线学习比批量训练更能适应分布变化； D. 使用固定学习率的在线逻辑回归能保证严格收敛到全局最优解。

Q5（计算）写出泊松回归的随机成分、标准联系函数与反联系函数，并说明为什么计数数据不能用线性回归直接建模。

与真题的关联

延伸阅读

• Hastie, Tibshirani, Friedman. The Elements of Statistical Learning, 第 3 章（最小二乘与逻辑回归）、第 4 章（GLM 三要素）。
• Bishop. Pattern Recognition and Machine Learning, 第 4 章（逻辑回归与指数族）。
• Murphy. Machine Learning: A Probability Perspective, 第 8、10 章（线性回归与逻辑回归的概率视角）。
• Duchi, Hazan, Singer. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization（AdaGrad 原文，2011）。
• Gama et al. A Survey on Concept Drift Adaptation, ACM Computing Surveys, 2014。