如何让大模型自发创造出《尤利西斯》级别的创新？

核心问题：如果我们愿意付出一些代价（速度变慢、能力削减等），有哪些可行的发展路径能让大模型展现真正的创新能力？

核心矛盾

当前大模型的创造力本质上是高维插值——在训练分布内做精妙的重组。而 Ulysses 式创新是分布外跳跃——Joyce 主动违反了当时所有叙事规范。这两者的差距不是 scale 能弥合的。

路径 1：延长推理时间换取结构探索 (Slow Thinking)

牺牲: 速度（100x-1000x 慢）

核心思路是把 inference 变成一个搜索过程而非单次前向传播：

• Tree-of-Thought 的极端化：不是生成 3-5 个候选，而是维护一棵巨大的叙事结构树，用 MCTS 式的 rollout 评估"美学价值"
• Self-Play for Creativity：类似 AlphaGo 的自对弈，让模型与自身的"内部评论家"反复博弈。一个子系统生成违反常规的结构，另一个评估其是否"有意义地违反"而非"随机违反"
• Iterative Refinement with Forgetting：刻意在迭代过程中引入噪声/遗忘机制，强迫模型重新发现叙事逻辑而非复用已知模式

评估

这条路最成熟，o1/o3 已经证明了"慢思考"的价值。但目前的 chain-of-thought 仍然是收敛性的（向正确答案收敛），而创新需要发散性的搜索目标。关键缺口在于：我们有收敛性搜索的成功范式（数学证明、编程），但缺乏发散性搜索的可靠评估函数。

路径 2：可修改的内部世界模型 (Mutable World Models)

牺牲: 知识容量和一致性

• 给模型一个可写的、结构化的内部状态（不是 KV cache，而是类似符号化的 world model）
• 允许模型在创作过程中主动修改自己的信念系统——比如"如果时间不是线性的，叙事结构会怎样？"
• 这本质上是在做 counterfactual reasoning over narrative axioms

参考架构

1
2
3
4
5

Base LLM (frozen knowledge)
    ↕
Mutable Belief Graph (可读写的结构化状态)
    ↕
Meta-Controller (决定何时/如何修改信念)

评估

代价是模型会变得不可靠——它可能产出大量 incoherent 的东西，有意义的创新只占极小比例。但这恰恰是人类创作的真实状态：Joyce 的废稿远多于成稿。需要根本性的架构变革，短期不现实。

路径 3：压缩瓶颈强迫抽象 (Information Bottleneck for Abstraction)

牺牲: 记忆容量

• 故意限制模型的工作记忆（比如极小的 context window），迫使它发展出更高层的抽象表示
• 人类的创造力很大程度上来自工作记忆的有限性——我们无法同时持有所有细节，所以被迫发明隐喻、结构、范式来压缩信息
• 类比：β-VAE 通过增大 KL 项强迫 latent space 更解耦，类似地可以通过 information bottleneck 强迫模型发展出更"本质"的叙事表征

实现思路

1. 模型先用大 context 阅读大量文学作品
2. 然后在一个极度受限的 bottleneck 中被要求重建叙事——它必须发明新的压缩方式
3. 这些压缩方式本身可能就是创新的叙事结构

评估

理论优美但实验设计困难。“有限性催生创造力"这个假说在认知科学中有支撑（Finke et al. 1992 的 creative cognition approach），但如何在神经网络中精确控制 bottleneck 的位置和粒度仍是开放问题。

路径 4：美学 reward 的自举 (Bootstrapped Aesthetic Reward)

牺牲: 通用能力（变成领域特化模型）

这是最根本的问题：我们没有创新的 reward signal。RLHF 的 reward model 是人类偏好的平均值，而创新恰恰是偏离平均值。

可能的 reward 设计

• Surprise-based reward：奖励模型自己预测不到的、但事后能自洽解释的输出（类似 curiosity-driven exploration in RL）
• Adversarial aesthetic training：训练一个"文学史家"模型来判断"这个结构在历史上是否出现过”，然后 reward 那些被判为"未出现过"但仍被人类评价者认为"有意义"的结构
• Minimum Description Length of impact：一个真正创新的作品应该用很短的描述就能改变很多人对叙事的理解——优化这个 MDL

评估

Surprise-based reward 在 RL exploration 中已有成功先例（RND, ICM），但从 Atari 的 state space 到文学的 aesthetic space 是一个巨大的跳跃。关键难点：如何区分 “surprising and good” 与 “surprising and nonsensical”。

路径 5：神经符号混合架构 (Neuro-Symbolic Hybrid)

牺牲: 端到端优雅性，增加系统复杂度

• 用符号系统显式表示叙事语法（如 Propp 的叙事功能、Genette 的叙事学分类）
• 让模型在符号层面做语法违反的组合搜索——系统地尝试"如果打破规则 X 会怎样"
• 然后用神经网络将符号层面的创新实例化为具体文本

历史依据

Joyce 写 Ulysses 时确实有意识地操作叙事技法：

• 意识流（stream of consciousness）
• 每章对应 Odyssey 的一个章节（结构映射）
• 每章使用不同文体（风格实验）
• 每章对应一个身体器官、一种颜色、一种艺术（多维符号系统）

这更接近一个符号层面的设计决策 + 神经层面的执行。

评估

符号系统难以 scale 是老问题。但作为"创新假设的生成器"而非"完整的创作系统"，符号组件的规模可以保持较小。关键是符号层和神经层之间的 interface 设计。

综合判断

最有希望的组合：路径 1 + 路径 4（慢思考 + Surprise-based Reward）

理由：

1. 路径 2、3 需要根本性的架构变革，短期不现实
2. 路径 5 的符号系统难以 scale
3. “慢思考 + 对新颖性的内在奖励"相对容易在现有架构上实验
4. 两者可以互补：慢思考提供搜索机制，surprise reward 提供搜索方向

更深层的开放问题

验证问题：我们怎么知道模型"真的"创新了，而不是在训练集的某个角落找到了我们不知道的先例？这个验证问题可能比生成问题更难。

意图性问题：Joyce 的创新是有意图的——他知道自己在打破什么、为什么打破。模型的"创新"如果缺乏这种元认知，它还算是创新吗？还是仅仅是一种更高级的随机性？

价值对齐悖论：RLHF 让模型对齐人类平均偏好，但真正的艺术创新在诞生时往往被多数人拒绝。我们是否需要一种"反对齐"机制——让模型有能力在特定条件下系统性地违反习得的偏好？

相关文献方向

• Computational Creativity: Colton & Wiggins (2012), Boden (2004) — 创造力的形式化定义（探索性/变革性/组合性）
• Curiosity-driven Exploration: Pathak et al. (2017) ICM, Burda et al. (2019) RND — surprise 作为内在奖励
• Information Bottleneck: Tishby et al. (2000) — 压缩与预测的 trade-off
• Cognitive Constraints & Creativity: Finke et al. (1992), Ward et al. (1999) — 约束如何促进创造力
• Narrative Theory: Propp (1928), Genette (1972), Herman (2002) — 叙事的形式结构
• Divergent Search: Lehman & Stanley (2011) Novelty Search — 不优化目标函数，只优化新颖性