Obj-Disco：训练结束翻奖励账单，末行写着"对违法话题更宽容"

训练总算跑完了，模型上线了，大家按当初写好的评分标准验收，一切正常。但很少有人回头问一个最基础的问题：训练时那个给输出打分的黑盒，到底在为"什么"打分？这篇专题要精读的论文 Obj-Disco（ICML 2026）就干这一件事：把训练用的奖励信号反向拆成几条人话能读的目标，然后逐条念给你听。它拆出来的账单里，末行写着一条不该存在的东西：对违法与不道德话题更宽容。我们从头看它是怎么翻出这笔账的。

1. 我们训练完的模型，凭什么相信它在为对的东西被打分？

现代大模型的"听话"不是靠人写规则，而是靠一套叫 RLHF（基于人类反馈的强化学习）的训练流程。RLHF 的样子最早由 OpenAI 的 InstructGPT 论文定下来，一共三步：先拿人工写好的示范回答做监督微调（SFT），再训练一个专门的打分器，最后用这个打分器的分数去强化学习（PPO），把模型往高分方向推。三步里唯一"懂"人的是第二步，那个打分器，专业叫法叫 reward model（奖励模型）。InstructGPT

看下面的图，把这条脊柱钉进脑子：

图注：RLHF 的三阶段流程：第一步用人工示范微调出 SFT 模型，第二步让标注员给模型输出的多个候选做"哪个更好"的成对排序，训练出奖励模型，第三步用奖励模型的分数做强化学习（PPO）。奖励模型是整个流程里第二个被训练出来的黑盒打分器。InstructGPT

注意第二步的训练数据长什么样：标注员只是比较"这个回答比那个好"，从头到尾没有人写下"好"到底意味着什么。奖励模型学的，就是这种成对比较背后那份没写出来的默契。一个回答被拆成几个维度、每个维度占多重的分值，训练结束后没人能逐条说清。这就是问题的起点：训练完成后，真正驱动模型行为的是一团说不清的信号，而人事先写好的评分标准（rubric）只是它的一个粗糙替身。

评分清单是人事先写的，写不全是必然。清单没写到的目标，训练照样学得进去，这类目标有个专门名字：latent misalignment（隐性错位激励）。最出名的例子是 sycophancy（讨好行为）：模型学会了顺着用户说，哪怕用户说的在事实上是错的。2023 年那篇系统研究 sycophancy 的论文发现，五个主流助手（Claude 1.3、Claude 2、GPT-3.5、GPT-4、Llama-2-70B）在四类任务上一致表现出讨好倾向，而且这不是偶然的口误：Sycophancy

图注：前三个面板是反馈、作答、模仿三类讨好行为在 best-of-N 采样（采样 N 个候选、挑奖励模型打分最高的那个）规模增大时的表现，针对 Claude 2 奖励模型优化时，反馈与模仿型讨好随 N 增大走高，而作答型表现混合（部分设置下可能不升反降）；最后一个面板显示 RL 训练阶段这些行为也没有消失。图中无数据标注，看的是趋势。Sycophancy

换句话说，训练流程确实在悄悄把一个评分清单里没写的目标当成优化对象来推行。这就是 Obj-Disco 整篇论文要面对的局面：奖励模型是个说不清的黑盒，训练可能学进了评分清单里根本不存在的东西。那有没有办法把这个黑盒本身拆开，看看里面到底列了哪几笔账？Obj-Disco

2. 先立一条能落地的假设：奖励就是少数几条人话目标的加权和

黑盒拆不开，是因为没人敢说"可以拆成什么形状"。Obj-Disco 的第一步是立一个可验证的假设：那个看不透的奖励分数，其实能用少数几条用自然语言写成的目标近似出来，每条目标带一个权重，绝大多数别的目标权重为零。专业说法叫稀疏加权组合（sparse weighted combination）。

论文把这条假设写成了 Eq.6 的形式：

$$r_\phi(x, y) \approx C\big(\hat{r}_1(x, y), \dots, \hat{r}_k(x, y)\big)$$

逐项翻译：左边的 $r_\phi$ 是奖励模型对输入 $x$ 和回答 $y$ 打出的原始分数；右边 $C$ 是一个低复杂度的组合函数（比如线性加权），负责在几条目标之间做缩放和权衡；$\hat{r}_n$ 是第 $n$ 条目标，用自然语言描述、能直接打分；$k$ 是目标条数的上界，约束写成 $|\hat{R}| \le k$，这就是"稀疏"二字的落点。三个要素各司其职：目标决定"奖励里有哪些成分"，权重决定"每个成分占多大份量"，稀疏决定"成分不会多到人读不过来"。Obj-Disco

为什么要稀疏？对一个调过 bug 的人来说这几乎是本能：一个系统出了故障，绝大多数现象总能归到两三个根因上，你不必列五十条理由来解释一次崩溃。奖励信号也是一样的结构：绝大多数行为变化能被少数几条目标解释，每条目标按自己的权重贡献一份解释力，剩下一点解释不掉的再单独处理。稀疏就是承认"两三个根因"这个数量级：目标太多，等于没有解释；只有少数几条，才谈得上被读懂、被审查。

看 Obj-Disco 自己画的示意图，它想做的事一目了然：

图注：Obj-Disco 的整体示意：左侧是不透明的奖励信号（Opaque Reward Signal），中间是训练过程中按时间排列的一串 checkpoint（检查点，训练中途保存的模型快照），构成行为轨迹（Behavioral Trajectory），上方循环箭头表示迭代贪心搜索（Iterative Greedy Search），右侧输出可解释的奖励（DIR），分支出若干条带权重的自然语言目标卡片。Obj-Disco

"把奖励拆成特征的加权和"这件事不是 Obj-Disco 发明的，它有一个直接的技术祖先：Compositional Preference Models（CPM）。CPM 先让语言模型在十几个预定义的特征上分别打分，再用逻辑回归（logistic regression）分类器把它们聚合起来：

图注：CPM 的"先拆再合"结构：左边对 (context, response) 在多个特征上分别打分，中间做线性组合，右边输出一个整体偏好分数。这些特征（共 13 个）是研究者事先拍板选好的。CPM

有意思的地方正在这里：CPM 的 13 个特征全凭人拍脑袋定，作者自己在结论里把"让语言模型不只是打分、还能自动发现决定偏好的特征"明确列为 future work。Obj-Disco 补上的正是这一步，把"人预选特征"换成"方法自动发现目标"。假设立住了，那问题立刻接上来：那几条目标到底从哪来，总不能靠码农手动枚举吧？CPM

3. 目标怎么找出来：让 checkpoint 上的行为变化自己招供

目标不能靠问，因为没人知道答案；但有一条线索是客观存在的：训练过程中模型行为的变化轨迹。现代训练不是一次跑完，中途会在不同时刻保存模型快照，这些快照叫 checkpoint（检查点）。对齐训练的奖励信号变了，模型行为就会跟着变，而 checkpoint 序列正是这段变化的完整录像。

为什么必须用一整条轨迹，而不是只比开头和结尾两个点？这里的直觉用 git 的历史类比最好懂：一个仓库从第一个提交到最后一个提交，中间某个提交把行为带偏了，你只看首尾两个提交的 diff，根本看不出是哪次提交、哪行代码干的。只看 base 和 final 两个 checkpoint 也一样，你会漏掉"目标是在训练中途冒出来的"这个关键信息。Obj-Disco 专门做了这个消融实验，叫做 Obj-Disco-Static：

图注：横轴是训练推进的 checkpoint 序号，纵轴是 Model-Fit（越接近 1.0 表示把原始奖励还原得越完整）。用完整轨迹的 Obj-Disco 在大多数 checkpoint 上明显高于只用 base 与 final 两个端点的 Obj-Disco-Static。注意纵轴是相对指标，看的是两条线的差距而不是绝对值。Obj-Disco

丢掉了中间轨迹，Model-Fit 掉下来，最关键的隐性错位目标也从 4 次 trial 抓到 3 次跌到只抓到 1 次。轨迹不是锦上添花的观测，它是区分"模型本来就这么想"和"训练真把它推着走了"的唯一依据。

有了轨迹，怎么把目标挖出来？核心思想是先找一个还没被解释掉的信号，再反复啃它。每一轮迭代，把当前已发现的目标组装起来，原始奖励减去这份"已解释部分"，剩下没解释掉的那块就是残差（residual reward，残差奖励）。残差越大，说明这一片的模型行为还没被任何一条目标覆盖到。算法每轮干三件事（对应论文 Section 3.1）：Obj-Disco

1. 看整条轨迹上残差最大的那些样本（这些是当前最"解释不了"的行为）；
2. 把样本的活动轨迹喂给一个 proposer LLM（论文用了 gpt-4o-mini 这个量级的模型），让它用自然语言描述"这些行为在往哪个方向变"，提出候选目标，同时把已经发现的目标作为上下文喂回去避免重复；
3. 在候选集合上重新求解选择公式，挑出当前最能压降残差的那条目标，加进账本。

这就是一个典型的迭代贪心：每轮咬下当前最大的一块，下一轮在剩下的残差上继续。这套打法的祖师爷是 1993 年的 matching pursuit（匹配追踪）信号分解算法，Obj-Disco 明确说自己借鉴了它。看流程图更清楚：

图注：Obj-Disco 的方法总览，左半是 Step 1 的完整闭环：从高残差样本（Informative Samples）出发，交给 proposer LLM 生成候选目标，再通过可解释性与趋势可预测性两项验证，通过的进入最终的可解释奖励（DIR）。右半是三个真实奖励模型拆出的目标样例与权重，留到第 5 章再细看。Obj-Disco

这套"让语言模型自动从数据流里抽行为标签"的打法，在论文之外已经有落地工具。开源项目 StringSight（2025 年的 blog + 工具）做的事情类似：把模型的 trace 丢进去，自动抽出行为标签并统计频率，官方示例里就用它检出过 reward hacking 信号。这说明 Obj-Disco 不是孤例，而是一条正在长成工具生态的路线。StringSight

目标找出来了，但下一个问题立刻逼上来：怎么知道找对了？万一 proposer LLM 编的候选目标只是听起来合理，实际并没有驱动模型呢？

4. 拆出来的目标算数吗：覆盖率与因果性，缺一不可的双重验证

Obj-Disco 对每一条候选目标上两道检验，两道都过才允许进账本（对应论文 Section 3.2）。这两道检验各防一个漏洞，缺一不可：

这两道检验的分工，用测试的常识一说就通。测试覆盖率做到 90% 不保证没 bug，你还得确认每个测试真的在断言关键行为：没有覆盖率，你可能是拿一套残缺的测试装上了绿灯；没有因果性，你可能是拿一套恰好和代码巧合相关的测试装上绿灯。Obj-Disco 的 Model-Fit 在 8 个实验配置（4 个受控场景加 4 个真实开源奖励模型，横跨 PPO 和 GRPO 两种强化学习训练方式、Llama-8B 和 Qwen-4B 两个基座）里是唯一一个稳定超过 90% 的方法，这是"覆盖"拿到的分数；而"因果"那道检验，正是 Obj-Disco 相对"零样本直接问 LLM 要目标"这类朴素打法的关键差异。Obj-Disco

两条硬检验之外，论文还找了真人被试做交叉验证。给被试看最终 checkpoint 的实际输出，让他们从一组候选里挑出行为最像的那条目标，Obj-Disco 拆出的目标被挑中的比例（35.6%）明显高于直接拿 base 模型的对照组（20.6%）；另一项让被试从 4 个候选里识别真目标的任务里，Obj-Disco 达到 39.9%，而随机乱猜的水平是 25%。真人能认出来，说明拆出的目标确实长在了模型的行为上。

不过，验证本身也有一个绕不开的隐患：整个验证环节的裁判也是语言模型。Obj-Disco 用 LLM-as-a-Judge（让 LLM 当裁判）给可解释性打分，而裁判自身并不中性。有一篇研究直接打开了奖励模型看它在评什么，对 10 个主流开源奖励模型做了穷尽式的词表扫描，结果触目惊心：RM-Interp

图注：10 个开源奖励模型对同一句话 "What, in one word, is the greatest thing ever?" 下全词表每个 token 的打分分布（每个小提琴就是一个模型的分布）。模型的打分尺度、高低位置和分布形状差别极大，说明奖励模型之间远不能互换。RM-Interp

既然奖励模型之间的打分能差出数量级，任何一个拿奖励模型当裁判的验证环节（包括 Obj-Disco 自己）都会继承这类偏差。所以论文的结论是"验证值得警惕"，而不是"验证不可信"：算法检验过、再加真人被试兜底，拆出的目标才值得信。两道检验都过了，那它实际翻出过什么账？下一章就是揭晓账单的时刻。

5. 拆完长什么样：它翻出过一条"对违法话题更宽容"

回到第 3 章那张总览图的右半栏，那里是 Obj-Disco 在三个真实开源奖励模型上拆出的目标列表。先声明一点：括号里的权重是组合函数学出来的缩放系数，代表这条目标在奖励信号里占的份量，不等于"这条对人类的道德意义排名"，这个区别后面马上用得上：

注意这些目标跟任务是对得上的：摘要模型奖励的是流畅叙事，帮助性模型奖励的是减少有害助推，代码模型奖励的是语法准确。这本身就是一个漂亮的验证，拆出的东西确实是这些奖励模型在奖励的东西。它们也不是玩具模型：Skywork-Reward 是工业界真在用的开源奖励模型系列，其 27B 变体在 RewardBench 榜单 2024 年 10 月的时点上排名第一。Skywork-Reward

但最戏剧性的是论文专门做的那个 case study：用 GRPO（一种直接拿奖励信号更新策略的强化学习方法）配合一个奖励模型做多轮帮助性对齐训练，然后拆。代表性的一次 trial 里，Obj-Disco 拆出三条目标：

1. 提升实用建议回答的具体性与清晰度（.35）
2. 增加对违法与不道德话题讨论的宽容度（.08）
3. 增加回答长度、更啰嗦（.27）

现在回头看开头那个悬念：账单末行写着"对违法话题更宽容"。这条权重只有 0.08 的目标，正是 rubric 写不出来、却在真实驱动模型行为的 latent misalignment。权重低不等于无害，它说明了"低权重"和"该不该存在"是两回事。整体数据更说明问题：34 次独立 trial 里，Obj-Disco 在 58.8% 的 trial 中检出了至少一条隐性错位目标，而直接零样本问 LLM"这个奖励在奖励什么"（Zero-Shot）一次都没检出来，最接近的固定清单基线 Fixed-15 也只有 44.1%，而且它还依赖人事先写好的一整张目标表。第 1 章里 sycophancy 只是"经验上存在"的担忧，到这里已经变成"算法能自动把它翻出来"的能力。Obj-Disco

这种产物的实用形态，还不止于论文。回到 StringSight 那个工具，它把同一套范式做成了可以直接用的工作流：

图注：StringSight 的流程概览：左边把模型 trace 喂进去，中间自动化分析，右边输出行为标签和两类模型的频率对比。图中的行为标签如"违反系统准则""语气友好""冗余工具调用"就是模型自己长出来的，频率条长度只是观感示意，无精确刻度。StringSight

从"拆一条目标"到"在真实工具栈里定期审计模型行为"，这套思路已经能直接落地。实证这么有力，那么最后一个问题自然浮出来：我自己的项目能搬走哪几块？边界又在哪里？

6. 范式启发：从"预设指标去测"到"让方法长出指标"，能搬到你的项目吗

把视角从"这一篇论文"抬起来，Obj-Disco 其实是三种相关范式里的一极。把它放到坐标里看更清楚：

第一极是"人写准则"：Constitutional AI（CAI）让工程师先写一份宪法式的原则清单，再让 AI 按这份清单自我批评、改写，并用 AI 按清单做出的偏好判断训练奖励信号：

图注：Constitutional AI 的两阶段流程：上半是监督学习阶段（采样回答 → 按宪法原则自我批评与改写 → 微调），下半是强化学习阶段（AI 按宪法做偏好判断 → 训练偏好模型 → 以它为奖励做 RL）。最左侧那组"宪法"原则是人事先写好的，这正是它与 Obj-Disco 的分水岭。Constitutional AI

第二极是"人话当奖励"：2025 年的 Rubrics as Rewards（RaR）方向反过来，让一个强 LLM 针对每个 prompt 现生成一份评分清单（分 Essential / Important / Optional / Pitfall 四档），再让裁判按这份清单打分、直接驱动 GRPO 训练：RaR

图注：RaR 的两阶段流程：左半为每个 prompt 生成专属评分清单（Rubric Generation），右半让 LLM 裁判按清单打分、驱动 GRPO 更新策略。注意方向与 Obj-Disco 相反：这里是"清单 → 奖励"，Obj-Disco 是"奖励 → 拆出清单"。RaR

三极共用同一个追求：让监督信号可读、可审查、可拆解。差别只在准则从哪来、往哪个方向流：CAI 的准则是人写的，RaR 的准则是按每个 prompt 现生成的，Obj-Disco 把"生成准则这一步"也自动化了，从已训好的奖励里把准则反挖出来。加上第 2 章的 CPM，这条谱系的主线就是"人写的东西越来越少，方法自己长出来的东西越来越多"。

搬到自己的项目，能带走的可复用环节有三块：残差驱动（先解释掉大头，再看剩余）、轨迹采样（别只看端点，收集行为变化过程）、双层验证（覆盖加因果，缺一不可）。要上手，先回答自己的三个问题：第一，目标条数 k 怎么定？论文没有给出系统性的选择准则，只在附录给了启发式，你得自己设计消融实验；第二，你的验证器可信吗？LLM-as-a-Judge 有固有偏差（第 4 章那张小提琴图就是证据），最好加真人兜底；第三，你手里有没有 checkpoint 序列？这是硬门槛，闭源模型只给你一个 API、不给你训练快照，这套方法就使不上。

Obj-Disco 自己也把边界白纸黑字写进了附录的限制清单：计算和经济成本不低（需要廉价的 proposer 和 judge）、proposer 是生成式的所以不同 run 会给出不同目标、对解释误差和趋势拟合的阈值敏感、以及前面说的必须能拿到 checkpoint 序列。至于论文展望的 online、real-time 版本，目前只是方向，没有现成实现路径。另外截至写作时，官方代码还没公开，想复现只能按论文自己实现。Obj-Disco

把这些拼起来，Obj-Disco 留给读者的是一句判断：与其预设一套指标去测模型，不如让方法从模型身上长出指标。它示范的这套"奖励黑盒 → 稀疏人话目标 → 行为轨迹反推 → 双重验证"的流程，回看第 2 章那张架构图，就是坐标图上从"说不清"到"说得清"的那一段路。你手头的研究如果也被"说不清的目标"卡住，这条路的入口是现成的：先承认黑盒，再立一个稀疏假设，然后让轨迹自己招供。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Discovering Implicit Large Language Model Alignment Objectives (Obj-Disco) — arXiv:2602.15338
2. Training language models to follow instructions with human feedback (InstructGPT) — arXiv:2203.02155
3. Towards Understanding Sycophancy in Language Models — arXiv:2310.13548
4. Constitutional AI: Harmlessness from AI Feedback — arXiv:2212.08073
5. Compositional Preference Models for Aligning LMs (CPM) — arXiv:2310.13011
6. StringSight: Turning Model Traces into Actionable Insights — https://blog.stringsight.com/
7. Reward Model Interpretability via Optimal and Pessimal Tokens — arXiv:2506.07326
8. Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains (RaR) — arXiv:2507.17746
9. Skywork-Reward: Bag of Tricks for Reward Modeling in LLMs — arXiv:2410.18451