# 第 9 章 线性模型与广义线性模型


> 本章把"用一条直线或一个超平面预测目标"的想法，扩展成一套能统一处理回归、二分类、多分类与计数问题的建模语言——广义线性模型。它是深度网络最后一个可解释的前身，也是考试中出现频率最高、最容易"以为会了却算错"的一类模型。

## 学习目标

读完本章，你应当能够：

1. 由最小二乘目标**推导**正规方程 `w = (XᵀX)⁻¹Xᵀy`，并从几何（正交投影）与概率（高斯噪声下的 MLE）两个角度解释它为什么合理；
2. 判断 `XᵀX` 何时不可逆，说明正则化在数值与统计两个层面的必要性；
3. 由伯努利似然**推导**交叉熵损失，并**证明**交叉熵关于 `w` 凸、MSE 关于 `w` 非凸；
4. 写出逻辑回归梯度 `(σ(z) − y)x`，解释 Sigmoid 导数为什么会被约掉；
5. 用 GLM 三要素统一描述线性回归、逻辑回归、泊松回归；
6. 说明在线学习与 `batch size = 1` 的 SGD 的等价性、AdaGrad 在稀疏特征上更优的推导，以及概念漂移的类型与应对。

### 前置知识检查

| 你需要知道 | 在哪一节补齐 |
|---|---|
| 矩阵乘法、转置、逆、秩、列空间与正交投影 | 第 1 章、第 2 章 |
| 标量对向量求导、二次型梯度、Hessian 与正定性 | 第 3 章 3.2 节、第 6 章 6.1 节 |
| 高斯/伯努利/泊松分布与最大似然估计 | 第 4 章 |
| 熵、交叉熵、KL 散度 | 第 4 章 |
| 梯度下降与 SGD、学习率、Robbins-Monro 条件 | 第 6 章 |
| L1/L2 正则化与其贝叶斯解释 | 第 8 章 |

---

## 9.1 从线性回归到最小二乘

### 9.1.1 模型形式：对参数线性

只有一个输入特征时，模型是 `ŷ = w₁x + w₀`，`w₁` 是斜率（slope），`w₀` 是截距（intercept）。为把截距统一进矩阵形式，在每个样本特征前补一个恒为 `1` 的分量，记 `x = (1, x₁, …, x_d)ᵀ`，于是任意样本都写成同一个内积：

```
ŷ = wᵀx          （w 的第一个分量就是截距）
```

**这就是"线性模型"的确切含义：模型对参数 `w` 线性。** 它对输入 `x` 未必线性——把 `x` 换成 `(1, x, x², x³)` 后模型仍叫线性回归，因为待估的 `w` 进入模型的方式没变。区分"对参数线性"与"对输入线性"是常见陷阱。

> [!WARNING]
> 代入型题目的三个高频错误：漏看截距、忘加截距、斜率截距用反。如 `ŷ = 2x + 1` 在 `x = 4` 处正确答案是 `2×4 + 1 = 9`；写成 `10` 是漏了截距后又误加，写成 `8` 是只算了 `2x`，写成 `7` 是把式子当成 `ŷ = x + 2`。**先把模型式子原样抄到草稿纸上再代入，不要心算。**

### 9.1.2 最小二乘目标

把训练集堆成矩阵 `X ∈ R^(n×(d+1))`（第 `i` 行是 `x_iᵀ`）与向量 `y ∈ R^n`。残差向量是 `y − Xw`，最小二乘（least squares）目标为残差平方和：

```
L(w) = Σ_{i=1}^{n} (y_i − wᵀx_i)²  =  ‖y − Xw‖²
     = (y − Xw)ᵀ(y − Xw) = yᵀy − 2wᵀXᵀy + wᵀXᵀXw
```

**为什么用平方和而不是绝对值和？** 三个理由都要能用：

1. **可导且凸**：`x²` 处处可导，`|x|` 在 0 点不可导。平方和关于 `w` 是二次函数，Hessian 为 `2XᵀX`（半正定），故**只有全局最优、没有局部最优**。
2. **概率解释**：噪声服从高斯分布时，最小二乘恰好等价于最大似然（9.1.4 节推导）。
3. **几何解释**：平方和最小 ⟺ 残差向量与 `Col(X)` 正交（9.1.3 节推导）。

代价是**对离群点敏感**：误差从 1 变到 10，惩罚从 1 变到 100。需要抗噪时改用 Huber 损失或分位数损失（第 8 章）。

### 9.1.3 正规方程：求导与几何两条路

**求导法。** 对 `L(w) = yᵀy − 2wᵀXᵀy + wᵀXᵀXw` 求梯度，用 `∂(aᵀw)/∂w = a` 与 `∂(wᵀAw)/∂w = 2Aw`（`A` 对称）：

```
∂L/∂w = −2Xᵀy + 2XᵀXw = 0
⟹  XᵀXw = Xᵀy                                    （正规方程 normal equation）
⟹  w = (XᵀX)⁻¹Xᵀy                                 （当 XᵀX 可逆）
```

> [!NOTE]
> 常见卡点：不确定 `2XᵀXw` 是向量还是矩阵。`XᵀX` 是 `(d+1)×(d+1)` 矩阵，`w` 是 `(d+1)×1` 列向量，乘积仍是列向量，与左边 `2Xᵀy` 维度一致，可以直接移项。**维度对得上，是求导没写错的第一道保险。**

**几何法。** `Xw` 的全部可能取值构成 `X` 的**列空间** `Col(X)`，维数为 `r(X)`。要在 `Col(X)` 里找离 `y` 最近的点 `ŷ = Xw`。设残差 `e = y − ŷ`；若 `e` 还有分量落在 `Col(X)` 内，沿该方向移动 `ŷ` 就能继续缩短距离，与最优性矛盾。故最优时 `e` 与 `Col(X)` 中每个向量正交：

```
Xᵀ(y − Xw) = 0    ⟹   XᵀXw = Xᵀy            （与求导法得到的方程完全相同）
```

这给出两个结论：

1. 最小二乘解 `ŷ` 就是 `y` 在 `Col(X)` 上的**正交投影**，投影矩阵 `H = X(XᵀX)⁻¹Xᵀ` 称为帽子矩阵（hat matrix），因为它把 `y` 变成 `ŷ`；
2. `H` **对称幂等**（`Hᵀ = H`、`H² = H`），这正是"投影算子"的代数刻画。

```
        y  ●
           |  ← 残差 e ⊥ Col(X)
   ────────●──────────►  Col(X)        ŷ = Hy 是投影点
```

> [!IMPORTANT]
> **`ŷ` 唯一，但 `w` 不一定唯一。** 只要 `r(X) < d+1`（特征线性相关，或样本数少于特征数），就有无穷多组 `w` 给出同一个投影点。此时必须靠正则化在等价解中挑一个，见 9.2 节。

### 9.1.4 概率解释：最小二乘 = 高斯噪声下的 MLE

设真实关系为 `y = wᵀx + ε`，`ε ~ N(0, σ²)` 且样本独立，则 `y_i | x_i; w ~ N(wᵀx_i, σ²)`。取对数似然，把连乘变成求和：

```
ℓ(w) = Σ_i [ −½ln(2πσ²) − (y_i − wᵀx_i)² / (2σ²) ]
     = −(n/2)·ln(2πσ²) − (1/(2σ²))·Σ_i (y_i − wᵀx_i)²
```

前两项与 `w` 无关，`1/(2σ²) > 0` 是正常数，因此

```
argmax_w ℓ(w) = argmin_w Σ_i (y_i − wᵀx_i)²
```

**最小二乘就是高斯噪声假设下的最大似然估计。** 这条等式把"平方"从随意的选择变成概率模型的必然推论：平方来自高斯密度指数上的 `−z²`。顺带还能得到 `σ²` 的 MLE：`σ̂² = (1/n)·Σ_i (y_i − ŷ_i)²`。注意分母是 `n` 而不是 `n − (d+1)`——这就是"有偏方差估计"的来源。

---

## 9.2 正则化与加权最小二乘

### 9.2.1 `XᵀX` 何时不可逆

`XᵀX` 是 `(d+1)×(d+1)` 对称方阵，且 `r(XᵀX) = r(X)`，故它可逆的充要条件是 `r(X) = d + 1`，即 `X` **列满秩**。以下情形会破坏这一条件：

| 情形 | 后果 | 具体例子 |
|---|---|---|
| 特征线性相关 | 某列可被其他列线性表示，`r(X) < d+1` | 同时放入"面积（m²）"与"面积（亩）"，只差常数倍 |
| 样本数少于特征数 | `r(X) ≤ n < d+1` | 100 个样本 500 个特征（基因数据、文本 one-hot 常见） |
| 某特征取常数 | 该列与截距列（全 1）完全相关 | 数据里"性别"全是同一个取值 |
| 独热编码未去一列 | 各类别哑变量之和恒为 1，等于截距列 | 4 个类别放了 4 列哑变量（dummy variable trap） |

即使可逆，当 `XᵀX` **接近奇异**（病态，ill-conditioned）时微小扰动会被放大：`cond(XᵀX) = cond(X)²`，求逆相当于把数据里的噪声放大平方倍，数值解不再可信（第 5 章）。

### 9.2.2 岭回归：两个视角看同一件事

岭回归（ridge regression）在目标上加 L2 惩罚：

```
L_ridge(w) = ‖y − Xw‖² + λ‖w‖²
⟹ ∂L/∂w = −2Xᵀy + 2XᵀXw + 2λw = 0
⟹ w = (XᵀX + λI)⁻¹Xᵀy
```

**为什么它一定可逆？** 设 `v ≠ 0`，则 `vᵀ(XᵀX + λI)v = ‖Xv‖² + λ‖v‖² ≥ λ‖v‖² > 0`（`λ > 0`）。即 `XᵀX + λI` 在任意方向上都是正的，因而是**正定矩阵**，正定必可逆——**无论 `X` 长什么样**。

| 视角 | 解释 | 结论 |
|---|---|---|
| 数值 | 把特征值 `λ_i` 抬成 `λ_i + λ` | 条件数被压低，病态被治愈 |
| 统计 | 等价于给 `w` 加均值 0、方差 `σ²/λ` 的高斯先验 | 解变成 MAP 估计，`λ` 越大收缩越强 |
| 优化 | 目标函数严格凸（`2(XᵀX + λI) ≻ 0`） | 解唯一，不再有"无穷多等价解"问题 |

> [!TIP]
> "正则化只是防过拟合"是不完整的认识。在上面的表里，**治数值病态**与**保证解唯一**同样是正则化的本职工作——它们甚至比重塑模型复杂度更早出现。

### 9.2.3 加权最小二乘

样本重要性不同时（重复观测、异方差、局部近似）引入权重 `u_i > 0`：

```
L_w(w) = Σ_i u_i (y_i − wᵀx_i)² = (y − Xw)ᵀW(y − Xw),   W = diag(u₁, …, u_n)
⟹ ∂L_w/∂w = −2XᵀWy + 2XᵀWXw = 0  ⟹  w = (XᵀWX)⁻¹XᵀWy
```

| 权重取法 | 含义 | 用途 |
|---|---|---|
| `u_i = 1` | 普通最小二乘 | 基准 |
| `u_i = c_i`（重复次数） | 加权平均 | 把聚合数据还原成原始频次 |
| `u_i = 1/σ_i²` | 逆方差加权 | 异方差下的最优线性无偏估计（GLS） |
| `u_i` 随距离衰减 | 局部加权回归（LOWESS） | 非参数平滑 |

把 `√u_i` 乘到样本上（`x̃_i = √u_i·x_i`、`ỹ_i = √u_i·y_i`），加权最小二乘就化成普通最小二乘——**加权没有引入新算法族，只是改了数据尺度**。第 10 章的 k-medoids 选址题把城市用户数当权重，用的正是这套代价口径。

---

## 9.3 逻辑回归：从对数几率到交叉熵

### 9.3.1 建模动机：为什么要引进 logit

二分类中 `y ∈ {0,1}`，我们想预测 `P(y = 1|x)`。直接用线性函数 `wᵀx` 不行：它的值域是整条实轴，会产生"概率 = −3"这类无意义输出。需要把 `(−∞, +∞)` 映到 `(0, 1)` 的函数，于是从几率出发构造：

```
几率（odds）        = P/(1−P)        取值 (0, +∞)
对数几率（log odds）= ln(P/(1−P))    取值 (−∞, +∞)
```

**对数几率（logit）的值域恰好是整条实轴**，正是线性预测子该在的地方。于是假设"对数几率是线性的"：

```
ln(P/(1−P)) = wᵀx   ⟹   P/(1−P) = e^(wᵀx)   ⟹   P = 1/(1 + e^(−wᵀx))
```

得到 Sigmoid 函数 `σ(z) = 1/(1 + e^(−z))`，其中 `z = wᵀx` 称为线性预测子（linear predictor）或分数（score）。这个建模还带来**系数的可解释性**：`w_j` 增大 1 单位，**对数几率**增加 `w_j`，即几率变成原来的 `e^(w_j)` 倍。在风控、医疗等需要解释的场景里，这比一个黑箱概率有用得多。

### 9.3.2 Sigmoid 的性质与导数

| 性质 | 表达式 | 用途 |
|---|---|---|
| 值域 | `σ(z) ∈ (0, 1)` | 可解释为概率 |
| 单调递增 | `σ′(z) = σ(z)(1 − σ(z)) > 0` | 分数越大越可能是正类 |
| 对称性 | `σ(−z) = 1 − σ(z)` | 正负类对称，常用来化简 |
| 端点 | `σ(−∞) = 0`，`σ(+∞) = 1`，`σ(0) = 0.5` | 饱和区导致梯度消失 |
| 端点导数 | `σ′(±∞) = 0`，`σ′(0) = 0.25` | 最大斜率只有 0.25 |

导数推导（必会）：

```
σ(z) = (1 + e^(−z))⁻¹
σ′(z) = −(1 + e^(−z))⁻² · (−e^(−z)) = e^(−z) / (1 + e^(−z))²
      = [1/(1+e^(−z))] · [e^(−z)/(1+e^(−z))] = σ(z)·(1 − σ(z))
```

最后一步用了 `1 − σ(z) = e^(−z)/(1+e^(−z))`。**记住 `σ′ = σ(1−σ)`，这是下面"σ′ 被约掉"的全部基础。**

### 9.3.3 交叉熵损失的推导

把两次伯努利试验写成一个式子（最容易被忽略的技巧）：

```
P(y_i | x_i; w) = p_i^{y_i} · (1 − p_i)^{1−y_i},      p_i = σ(wᵀx_i)
```

`y_i = 1` 时退化为 `p_i`，`y_i = 0` 时退化为 `1 − p_i`，两种情形都对。取负对数得负对数似然（NLL），即**二分类交叉熵损失**（cross-entropy loss，也叫对数损失 log loss）：

```
L(w) = −Σ_i [ y_i ln p_i + (1 − y_i) ln(1 − p_i) ]
```

**梯度推导（关键）：** 由 `∂p_i/∂w = σ′(z_i)x_i = p_i(1−p_i)x_i`，逐项代入：

```
∂L/∂w = −Σ_i [ y_i(1/p_i) − (1−y_i)/(1−p_i) ]·p_i(1−p_i)·x_i
      = −Σ_i [ y_i(1−p_i) − (1−y_i)p_i ]·x_i
      = −Σ_i [ y_i − y_i p_i − p_i + y_i p_i ]·x_i
      = −Σ_i (y_i − p_i)·x_i = Σ_i (p_i − y_i)·x_i
```

**`σ′` 消失了。** 这不是巧合：伯努利分布的**标准联系函数**正是 logit，其导数与交叉熵的导数互相抵消（信息论里称为 canonical link）。后果极其重要：

- 预测严重错误（`y = 1` 而 `p ≈ 0`）时梯度大小约等于 `x`，**不被饱和区压小**，学得很快；
- 用 MSE 时梯度含 `σ′(z) = p(1−p)` 因子，在 `p ≈ 0` 或 `p ≈ 1` 处趋近于 0，**学得极慢**。

### 9.3.4 凸性：交叉熵凸而 MSE 非凸的证明

这是本章技术含量最高的一段，也是真题 `【09-09 选择 Q4】` 的严格答案。判凸的标准手段是**写出 Hessian 并判断正定性**。

**（一）交叉熵凸。** 单样本损失 `ℓ_i = −y_i ln p_i − (1−y_i)ln(1−p_i)` 的梯度是 `(p_i − y_i)x_i`，再求一次导：

```
∂²ℓ_i/∂w∂wᵀ = ∂/∂w [ (p_i − y_i)·x_iᵀ ] = p_i(1−p_i)·x_i x_iᵀ
⟹ H_CE = Σ_i p_i(1 − p_i)·x_i x_iᵀ
vᵀH_CE v = Σ_i p_i(1 − p_i)·(vᵀx_i)²  ≥ 0        （因 p_i ∈ (0,1) ⟹ p_i(1−p_i) > 0）
```

每一项都是"正系数 × 平方"，故 `H_CE` **半正定**，交叉熵是**凸函数**。取等号当且仅当所有 `vᵀx_i = 0`（`v` 同时正交于全部样本），该方向本就不可分辨，属正常退化。**凸 ⟹ 没有局部极小陷阱，梯度下降（步长合适时）能到全局最优。**

**（二）MSE 非凸。** `M(w) = Σ_i (p_i − y_i)²` 的梯度为 `Σ_i 2(p_i − y_i)·p_i(1−p_i)·x_i`（`p_i` 与 `p_i(1−p_i)` 两项都依赖 `w`）。再用乘积法则求二阶导（`∂(p_i(1−p_i))/∂w = (1 − 2p_i)p_i(1−p_i)x_i`）：

```
H_M,i = 2·p_i(1−p_i)·[ (p_i − y_i) + (p_i − y_i)(1 − 2p_i) ]·x_i x_iᵀ = 4·p_i(1−p_i)²·(p_i − y_i)·x_i x_iᵀ
```

关键在符号因子 `(p_i − y_i)`：它**与 `w` 有关且可正可负**。当 `y_i = 1` 而模型预测 `p_i < 1` 时它为负，`x_i x_iᵀ` 前的系数为负，`H_M` 沿该方向为**负定**；预测反过来时又为正。故 `H_M` 既非半正定也非半负定，`M(w)` 是**非凸函数**，存在局部极小与鞍点，梯度下降不保证找到全局最优。

| 损失函数 | 关于 w 的 Hessian | 正定性 | 凸性 | 饱和区梯度 |
|---|---|---|---|---|
| 交叉熵 | `Σ_i p_i(1−p_i)·x_i x_iᵀ` | 半正定（系数恒正） | **凸** | 不衰减，`(p−y)x` |
| MSE | `Σ_i 4p_i(1−p_i)²(p_i−y_i)·x_i x_iᵀ` | 不定（符号随 `p_i−y_i` 翻转） | **非凸** | `p(1−p)` 因子 → 0 |

---

## 9.4 Softmax 回归与多分类

`K` 类分类时把分数记作 `z = Wx`（`W` 第 `k` 行为 `w_kᵀ`），Softmax 把分数转成概率：`softmax(z)_k = e^(z_k) / Σ_j e^(z_j)`。把真实标签编码成 one-hot 向量 `y_i`，由分类分布似然 `Π_k p_{i,k}^{y_{i,k}}` 取负对数得**多分类交叉熵**：

```
L(W) = −Σ_i Σ_k y_{i,k}·ln p_{i,k}     ⟹   ∂L/∂w_k = Σ_i (p_{i,k} − y_{i,k})·x_i
```

因 `y_i` 是 one-hot，内层求和只剩一项，等于 `−ln p_{i, 真实类别}`：**只惩罚正确类别的对数概率**，正确类概率越接近 1，损失越接近 0。`K = 2` 时 Softmax 退化为 Sigmoid，多分类交叉熵退化为二分类交叉熵——这也是真题 `【09-09 选择 Q4】` 中"交叉熵天然支持多分类"的依据。

**平移不变性。** 给所有分数同时加常数 `c`，输出概率不变：

```
softmax(z + c·1)_k = e^(z_k + c)/Σ_j e^(z_j + c) = e^c·e^(z_k) / (e^c·Σ_j e^(z_j)) = softmax(z)_k
```

数值上取 `c = −max_j z_j` 后最大指数为 `e⁰ = 1`，绝不溢出，分母至少为 1 也不会下溢——**这不是近似技巧，而是数学上完全等价的重写**（第 5 章）。参数上因 `softmax(Wx) = softmax((W + 1aᵀ)x)` 对任意 `a` 成立，最优 `W` 不唯一、Hessian 奇异、参数不可辨识，标准处理是加 L2 正则或固定某一类权重为 0。

---

## 9.5 GLM：三要素统一视角

广义线性模型（Generalized Linear Model, GLM）由三要素组成：**随机成分**要求 `y` 服从某个**指数族分布**（exponential family），其分布可写成 `P(y; θ) = h(y)·exp( θ·T(y) − A(θ) )`，其中 `θ` 是自然参数，`T(y)` 是充分统计量，`A(θ)` 是对数配分函数（保证归一化）；指数族有个极好用的性质 `μ = E[y] = A′(θ)`、`Var(y) = A″(θ)`——一阶导给期望、二阶导给方差。**系统成分**是线性预测子 `η = wᵀx`。**联系函数**（link function）`g` 单调可微，把期望与线性预测子连起来：`g(μ) = η`，即 `μ = g⁻¹(η)`；当 `g` 取自然参数与期望之间的映射时称为**标准联系函数**（canonical link）。

| 模型 | 随机成分 | 期望 `μ` | 标准联系 `g(μ)` | 反联系 `μ = g⁻¹(η)` |
|---|---|---|---|---|
| 线性回归 | 高斯 `N(μ, σ²)` | `μ` | 恒等 `η` | `η` |
| 逻辑回归 | 伯努利 `Bernoulli(p)` | `p` | logit `ln(p/(1−p))` | `σ(η)` |
| 泊松回归 | 泊松 `Poisson(λ)` | `λ` | log `ln(λ)` | `e^(η)` |

**泊松回归**用于预测单位时间内的到达次数、点击量、缺陷数这类**计数数据**。计数非负且方差随均值增长，用线性回归会预测出负数且违反同方差假设；用对数联系函数后 `λ = e^(η) > 0` 恒成立，且 GLM 允许方差随均值变化。

> [!TIP]
> 指数族 + 标准联系函数下，负对数似然的梯度统一成 `∂L/∂w = Σ_i (μ_i − y_i)·x_i`：线性回归是 `(wᵀx_i − y_i)x_i`，逻辑回归是 `(σ(z_i) − y_i)x_i`，Softmax 是 `(p_{i,k} − y_{i,k})x_i`。**它们长得完全一样，不是巧合，而是 GLM 结构的必然结果**——标准联系函数让 `σ′`/`A″` 因子被约掉。记住这一条，等于把本章全部梯度公式一次背下来。

---

## 9.6 在线学习与概念漂移

### 9.6.1 逐样本更新就是 batch size = 1 的 SGD

在线学习（online learning）的协议是：来一个样本 → 算梯度 → 立刻更新 → 丢掉该样本：

```
w_{t+1} = w_t − η_t·∇ℓ(w_t; x_t, y_t)
```

这与 `batch size = 1` 的随机梯度下降是**同一套更新式**，只是强调的侧面不同：SGD 强调"用小批量近似全量梯度"，在线学习强调"数据流式到来、不可重访"（真题 `【08-05 选择 Q19】` 的 A 选项）。**严格收敛的条件（Robbins-Monro）**是 `Σ_{t=1}^{∞} η_t = ∞` 且 `Σ_{t=1}^{∞} η_t² < ∞`：第一式保证"还能走足够远"，第二式保证"步长平方可和"（噪声累积方差有限，最终能静下来）。典型满足者是 `η_t = 1/t`——调和级数发散，而 `Σ 1/t² = π²/6` 收敛。

> [!WARNING]
> 固定学习率**不能**保证严格收敛到全局最优。即使逻辑回归损失凸，固定步长的 SGD 也只会在最优点附近一个与 `η` 成正比的邻域内持续震荡。`η_t = 1/√t` 只满足第一条条件，故仍会震荡。

### 9.6.2 AdaGrad：为什么稀疏特征上更优

AdaGrad 为每一维单独维护累积梯度平方和：

```
G_{t,j} = Σ_{s=1}^{t} g_{s,j}²                              （第 j 维历史梯度平方累积）
w_{t+1,j} = w_{t,j} − (η / √(G_{t,j} + ε))·g_{t,j}
```

有效步长是 `η/√(G_{t,j} + ε)`，与该维历史梯度的**均方根成反比**：

- **频繁出现的特征**：`G_{t,j}` 快速累积变大 ⟹ 分母变大 ⟹ 有效步长自动缩小 ⟹ 不会来回震荡；
- **稀疏特征**：出现次数少、`G_{t,j}` 长期很小 ⟹ 分母很小 ⟹ **一旦出现就获得远大于平均的步长** ⟹ 正好补偿它"更新机会稀少"的劣势。

在文本 one-hot、推荐系统 ID 特征这类场景里，绝大多数维度每次只被极少样本激活。若用统一学习率，则要么对常见特征过大（震荡），要么对稀疏特征过小（几乎不更新），**无法同时满足**；AdaGrad 用逐维缩放解开了这个矛盾。代价是 `G_{t,j}` 单调增、分母永不停止变大，后期步长趋近 0 而无法继续学习——这正是 AdaDelta / RMSProp / Adam 改用**指数移动平均**的动机（第 6 章）。

### 9.6.3 概念漂移的类型与应对

概念漂移（concept drift）指 `P(y|x)` 随时间变化。先区分两种漂移：**协变量漂移**（covariate shift）是 `P(x)` 变了而 `P(y|x)` 不变；**概念漂移**是 `P(y|x)` 本身变了。只有后者会让旧模型真的"判错"。

| 漂移类型 | 变化形态 | 典型例子 | 推荐应对 |
|---|---|---|---|
| 突发型 abrupt | 某时刻突然跳变 | 系统升级、政策生效 | 检测 + 丢弃历史重训 |
| 渐变型 gradual | 缓慢持续演变 | 用户兴趣随季节迁移 | 滑动窗口训练、指数加权遗忘 |
| 增量型 incremental | 逐步累加，状态量扩大 | 新类别、新词不断出现 | 增量式更新、开放集建模 |
| 周期性 recurring | 按周期反复出现 | 工作日/周末、大促周期 | 保留多套模型或加入时间特征 |

**为什么在线学习比批量训练更能适应？** 在线学习持续用新样本更新参数，旧分布的影响随更新被逐步"洗掉"，天然带遗忘；批量训练的参数在两次重训之间被冻结，只能等下一次重训才能跟上分布变化（真题 `【08-05 选择 Q19】` 的 C 选项）。工程上还会加一层**漂移检测**（如 ADWIN、DDM），监控预测分布与误差统计量，一旦显著变化就触发重训或调大学习率——盲目地永远在线更新在标签有噪声时会持续被污染。

---

## 本章小结

| 关键结论 | 一句话表述 | 常见错误 |
|---|---|---|
| 正规方程 | `w = (XᵀX)⁻¹Xᵀy`，条件是 `X` 列满秩 | 忘记"`X` 要补一列 1"；以为 `w` 一定唯一 |
| 几何意义 | `ŷ` 是 `y` 在 `Col(X)` 上的正交投影，投影矩阵 `H = X(XᵀX)⁻¹Xᵀ` 对称幂等 | 说成"投影到零空间" |
| 概率意义 | 高斯噪声下最小二乘 = MLE | 说成"因为平方好算所以用平方" |
| 岭回归 | `(XᵀX + λI)⁻¹Xᵀy`，正定故必可逆 | 以为正则化只为防过拟合，忽略它治病态、保唯一 |
| 加权最小二乘 | `w = (XᵀWX)⁻¹XᵀWy` | 忘记 `W` 要同时出现在两项上 |
| 交叉熵梯度 | `(σ(z) − y)x`，`σ′` 被约掉 | 忘了约掉 `σ′`，写成 `(p−y)p(1−p)x` |
| 凸性 | 交叉熵 Hessian `Σ p(1−p)x xᵀ` 半正定；MSE 系数含 `(p−y)` 故不定 | 只说"MSE 梯度小"，说不出 Hessian 依据 |
| Softmax | 平移不变 `softmax(z + c) = softmax(z)`；参数冗余需正则 | 把"减最大值"当成近似技巧 |
| GLM | 指数族 + 线性预测子 + 联系函数 | 以为线性回归/逻辑回归是两套无关方法 |
| 在线学习 | 逐样本更新 ⟺ `batch size = 1` 的 SGD；收敛需 `Ση_t = ∞`、`Ση_t² < ∞` | 以为固定学习率能严格收敛到全局最优 |
| AdaGrad | 逐维按梯度平方累积缩放步长，稀疏维获得更大有效步长 | 以为它对所有特征一致地缩小步长 |

## 自测题

**Q1**（计算）一元线性回归模型为 `ŷ = 2x + 1`，求 `x = 4` 时的预测值，并说明把答案写成 10、8、7 分别对应什么错误。

<details><summary>答案与解析</summary>

`ŷ = 2 × 4 + 1 = 9`。

- `10`：漏看截距，只算 `2x` 后又误加；
- `8`：只算 `2x`，忘了加截距 `1`；
- `7`：把斜率与截距用反，算成 `ŷ = x + 2` 之类的笔误（代入得 `6`）。

**防错做法**：把模型式子原样抄下来再代入，不要心算。

</details>

**Q2**（推导）从伯努利似然出发推导逻辑回归的交叉熵损失与其梯度，指出推导中"哪一步"约掉了 `σ′`。

<details><summary>答案与解析</summary>

由 `P(y_i|x_i;w) = p_i^{y_i}(1−p_i)^{1−y_i}` 且样本独立，取负对数得 `L(w) = −Σ_i[y_i ln p_i + (1−y_i)ln(1−p_i)]`。代入 `∂p_i/∂w = p_i(1−p_i)x_i`：

```
∂L/∂w = −Σ_i [ y_i(1/p_i) − (1−y_i)/(1−p_i) ]·p_i(1−p_i)·x_i
      = −Σ_i [ y_i(1−p_i) − (1−y_i)p_i ]·x_i = Σ_i (p_i − y_i)·x_i
```

**约掉 `σ′` 的那一步**是把 `p_i(1−p_i)x_i` 代进去后与括号里的 `1/p_i`、`1/(1−p_i)` 分别相消：`(1/p_i)·p_i(1−p_i) = 1−p_i`，`(1/(1−p_i))·p_i(1−p_i) = p_i`。因子 `p_i(1−p_i)` 被完全消去，故最终梯度不含 `σ′`。

</details>

**Q3**（证明）写出逻辑回归分别使用交叉熵与 MSE 时关于 `w` 的 Hessian，据此判断各自的凸性。

<details><summary>答案与解析</summary>

交叉熵：`H_CE = Σ_i p_i(1−p_i)·x_i x_iᵀ`。对任意 `v`，`vᵀH_CE v = Σ_i p_i(1−p_i)(vᵀx_i)² ≥ 0`（因 `p_i(1−p_i) > 0`），故半正定，**凸**。

MSE（`M = Σ_i (p_i − y_i)²`）：`H_M = Σ_i 4p_i(1−p_i)²(p_i − y_i)·x_i x_iᵀ`。系数 `(p_i − y_i)` 随 `w` 变化且可正可负：取 `y_i = 1` 且当前 `p_i ≈ 0` 时系数为负，沿 `x_i` 方向 `vᵀH_M v < 0`，故不定，**非凸**。

关键差异：交叉熵的系数 `p(1−p)` 与标签 `y` 无关、恒正；MSE 多出 `(p − y)` 因子，正是它破坏正定性。

</details>

**Q4**（辨析，多选）判断下列说法正误：
A. 在线逻辑回归每次用一个样本更新，等价于 `batch size = 1` 的 SGD；
B. AdaGrad 等自适应学习率方法在稀疏特征的在线场景中优于固定学习率；
C. 概念漂移场景下在线学习比批量训练更能适应分布变化；
D. 使用固定学习率的在线逻辑回归能保证严格收敛到全局最优解。

<details><summary>答案与解析</summary>

**A、B、C 正确，D 错误。**

- A：更新式完全相同，只是"数据不可重访"与"小批量近似全量梯度"两种表述。
- B：AdaGrad 按各维梯度平方累积量单独缩放步长；稀疏特征累积量小 ⟹ 有效步长更大，恰好补偿其更新机会稀少的劣势。
- C：在线学习持续用新样本更新，旧分布影响自然衰减；批量训练必须重新训练才能跟上。
- D：逻辑回归损失虽凸，但固定步长的 SGD 只收敛到最优解附近一个邻域内持续震荡。严格收敛需 `Ση_t = ∞` 且 `Ση_t² < ∞`，如 `η_t = 1/t`。

</details>

**Q5**（计算）写出泊松回归的随机成分、标准联系函数与反联系函数，并说明为什么计数数据不能用线性回归直接建模。

<details><summary>答案与解析</summary>

随机成分 `y ~ Poisson(λ)`；期望 `μ = λ`；标准联系函数 `g(μ) = ln λ`；反联系 `λ = e^(η) = e^(wᵀx)`。

不能直接用线性回归：线性模型输出 `wᵀx` 的取值范围是整条实轴，会预测出负的到达次数或点击量，与"计数非负"矛盾；同时泊松分布满足 `Var = E = λ`，方差随均值增长，与线性回归"方差恒定"的同方差假设冲突。用对数联系函数后 `λ = e^(η) > 0` 恒成立，GLM 的方差函数也允许它随均值变化。

</details>

## 与真题的关联

| 真题 | 考查角度 | 对应本章小节 |
|---|---|---|
| 【09-04 选择 Q8】线性回归代入 | `ŷ = 2x + 1`、`x = 4` 求预测值，考截距代入纪律 | 9.1.1 |
| 【09-09 选择 Q4】交叉熵 vs MSE | MSE 用于逻辑回归时目标非凸、易陷局部最优；交叉熵凸且 `σ′` 被约掉 | 9.3.3、9.3.4 |
| 【08-05 选择 Q19】在线学习（多选） | 逐样本更新 ⟺ `batch=1` SGD；AdaGrad 与稀疏特征；概念漂移适应；Robbins-Monro 条件 | 9.6.1、9.6.2、9.6.3 |
| 【08-05 选择 Q12】逻辑回归的评价指标 | MSE 不属于分类指标，交叉熵/对数损失与 AUC 才是 | 9.3.3 |
| 【09-04 选择 Q1】多任务学习共主干 | 共享主干减少重复参数与计算，但不保证精度提升 | 9.5 |

## 延伸阅读

- Hastie, Tibshirani, Friedman. *The Elements of Statistical Learning*, 第 3 章（最小二乘与逻辑回归）、第 4 章（GLM 三要素）。
- Bishop. *Pattern Recognition and Machine Learning*, 第 4 章（逻辑回归与指数族）。
- Murphy. *Machine Learning: A Probability Perspective*, 第 8、10 章（线性回归与逻辑回归的概率视角）。
- Duchi, Hazan, Singer. *Adaptive Subgradient Methods for Online Learning and Stochastic Optimization*（AdaGrad 原文，2011）。
- Gama et al. *A Survey on Concept Drift Adaptation*, ACM Computing Surveys, 2014。


---

> 作者: [破戒僧](https://onlyblacktea.cn)  
> URL: https://onlyblacktea.cn/book/ai/ch09/  

