BloomBloom
发起研究

RLVR 的内部几何：几条方向就装下了它的进步，却在靠近输出层时失灵

在 DeepSeek-R1-Zero 的训练记录里，AIME 2024 的 Pass@1 从 15.6% 一路爬到 77.9%。这条曲线被反复引用，因为它证明了一件事：不靠人类偏好标注，只用「答案能不能被自动判对」当作奖励，也能把推理能力从零练出来。DeepSeek-R1 可曲线只告诉你分数在涨，不告诉你模型内部发生了什么。哪些激活被推高，哪些子空间被占用，哪一类方向被训练刻了进去，这些问题在只看评测分数的世界里完全是一片空白。

这篇论文盯住的就是这片空白。它的结论很反直觉：RLVR 带来的能力增益，在大多数评测任务上能被极少几条方向复现，单条向量就能恢复 85% 以上；可这份「几条方向就够了」的表达力有明确的边界，而且真正管用的那些方向，并不待在模型信息最密集的地方。

RLVR 把推理能力练出来了，可它到底改了模型的哪一部分？

RLVR 是 Reinforcement Learning with Verifiable Rewards 的缩写，中文一般译作「可验证奖励强化学习」。它和经典 RLHF 的关键差别在奖励从哪来。RLHF 需要人写偏好、或训一个神经奖励模型去猜人的偏好；RLVR 换成一个确定性的 verifier，答对给分、答错归零，这个 verifier 可以是数学答案的格式匹配、代码的单元测试，也可以是约束是否被满足。Tülu 3

这个词不是某个小工作的自造术语。AI2 在 2024 年 11 月的 Tülu 3 报告里正式给它命名，并把它放在一条四阶段后训练流程的最后一格：数据整理、SFT、DPO、RLVR。也就是说，RLVR 不是孤例，而是一套可复现、可下载的范式。Tülu 3

把它真正推出圈的是 DeepSeek-R1。R1-Zero 直接从一个基础模型出发，不做推理数据的冷启动 SFT，只给奖励信号。它的奖励完全由规则决定，分两类：一类验答案对不对，一类强制模型把思考过程放进指定标签里。论文里有一句态度鲜明的话，大意是不对推理任务使用神经奖励模型，因为这类模型在大规模强化学习里容易被奖励劫持，而且要花额外的算力去重训。DeepSeek-R1

这套训练最常搭配的优化器是 GRPO。它出自 2024 年 2 月的 DeepSeekMath，核心改动是丢掉 PPO 里的 critic，也就是那个与策略同规模的价值网络，改用同一问题下多条采样输出的组内相对分数当 baseline。GRPO 少了一个大网络，训练便宜了，但代价是训练本身并不总是稳，后面我们会看到它会崩。

于是问题就摆在这：RLVR 已经把能力练出来了，效果确凿，可我们手里只有分数。模型内部被改了什么，此前几乎是块盲区。这不是纯粹的好奇，它直接决定一件事，就是我们能不能在大改结构、重跑训练之前，就发现训练正在走偏。

凭什么相信「往激活里加一个方向」就能改模型行为？

要看内部，得先有一套工具。过去两年里，社区逐渐攒出了一类方法，统称 activation steering（激活引导）。它的核心操作很朴素：不更新模型权重，只在推理时往隐藏层的激活上加减一个向量，以此改变输出行为。ActAdd

最朴素的写法叫 ActAdd。取一对对比 prompt，比如「爱」和「恨」，分别跑一次前向，在指定层取出激活，两者相减就得到一条方向。把这个方向按一个系数加进真实 prompt 的残差流，输出就会往某个方向偏。整件事只需要三个旋钮：注入哪一层、加多大强度、对齐到序列的哪个位置。全程没有反向传播，只做前向。ActAdd

图注：ActAdd 的机制示意。用户 prompt 经 token embedding 进入解码器层栈，中间一层的残差流上叠加了对比 prompt 得到的激活向量，输出因此被强烈带向某个主题，与用户 prompt 的原意无关。ActAdd

从这里再往前走一步，方向就不必靠手写 prompt 去凑了。ITI 把粒度切到了单个 attention head：先用线性探针在数据上找出哪些 head 对真实性敏感，再在推理时把这些 head 的激活沿探针指向的方向平移一个可控量。在 Alpaca 模型上，这一步把 TruthfulQA 的 true*info 从 32.5% 提到 65.1%。ITI

与此同时，RepE 这条线把整件事拆成了两半：一半是「读出」，用线性手段从激活里提取一个承载高层概念的方向；另一半是「控制」，再拿这个方向去改行为。他们用这套框架在 honesty、power-seeking 这类高层概念上做了实证，一个 honesty 方向在留出集上的分类准确率超过 90%。RepE

有意思的地方在于，「读出加控制」这套流程很快被整理成了一份统一的坐标。2025 年的 RepE 综述把几乎所有方法都写成同一条三步管线：识别概念算子、把表示操作化、施加控制；而操作化的那一步，说白了就是在显式地声明一种几何假设，它规定概念到底以什么形态存在，是一条线性方向，还是一张非线性流形。RepE Survey

把这几步摆在一起看，一件平时容易被忽略的事就浮出来了：每个 steering 方法在动激活之前，都已经偷偷假设了一种几何结构。ActAdd 假设对比 prompt 的差就是那条方向，ITI 假设方向藏在单个 head 里，RepE 假设概念可以被一个线性算子承载。这些假设各自有效，但它们都是前提，不是结论。这篇论文要做的，正是从这些假设继续往深处走一步。

同一组向量，既能当方向盘，也能当显微镜

论文的招法，藏在标题的双关里。它不满足于「加一个方向能改行为」，而是把方向本身变成一个可训练的参数，然后让同一个对象扮演两种角色：先把它当成能从老师那里蒸馏出能力的方向盘，再把它反过来当成显微镜，去读 RLVR 在内部留下的结构。

要理解这个反身性有多巧，可以想一把既能开锁、又能从齿形反推锁芯形状的钥匙。第一层用法是行动：你反复打磨钥匙的齿，直到它能打开那把锁，也就是让冻结的基座模型复现出 RL 调过的老师模型的行为。第二层用法是解读：同一把钥匙的齿形，本身就编码了锁芯的形状，于是你不需要撬开锁，只要看手里的钥匙，就能知道锁内部大概长什么样。论文里的钥匙就是那几条学出来的向量，锁芯就是 RLVR 改动过的表示几何。Learning to Steer

具体做法是：把基座模型冻结，在受控的若干层上学一组共享向量，这组向量与输入无关，对所有 prompt 都一样。训练目标就是让加了向量的基座模型去逼近 RL 调过的老师，把老师的能力「搬」过来。如果几条向量就能搬成功，那说明 RLVR 留下的改动本身维度不高；如果搬不动，那说明你手里的干预形式没对上要修正的东西。

图注：论文的核心概念图，展示单条 steering 向量视角下 RLVR 带来的低维、对深度敏感的控制几何。图中三块分别对应后面三个章节要展开的内容：有效流形容量的注入深度与老师学生差距、控制流形分离的方向落点、以及 Alpha-Stabler 的监控与梯度投影。Learning to Steer

拿到这张地图之后，后面几章的路线就清楚了：先量第一条性质，也就是这份低维表达力到底能装下多少、在哪里会不够用；再量第二条性质，也就是那些真正有效的方向究竟长在激活空间的什么位置；最后把这两条性质变成训练技巧。下面就从第一条开始。

RLVR 的增益能被多少维度装下？

第一个发现相当漂亮：复现 RLVR 带来的增益，需要的维度低得出奇。论文报告，在多数评测任务上，每条受控层只加一条与输入无关的向量，就能恢复超过 85% 的完整微调增益。Learning to Steer

这不是数学上的巧合，而是能测出来的结构变化。在 Qwen3-4B 上，单条向量注入后，模型的隐状态几何确实被推动了：清洁激活与被引导激活的主成分重叠度变了，前 k 个主成分解释方差的比值变了，激活质心的位置也移动了。Learning to Steer 也就是说，一条方向不是浮在表面的标注，它真的在动模型内部的几何。

图注：单向量引导对 Qwen3-4B 隐状态几何的影响，按注入层的位置测量。三联图分别给出清洁激活与被引导激活的主成分平均重叠、注入前后 top-k 解释方差的比值、以及激活质心的相对位移，虚线为参考基线。这是主成分与方差度量，不是嵌入散点图。Learning to Steer

但这份表达力有两条明确的边界，而且两条性质完全不同。

第一条来自老师与学生的差距。当老师与学生的分布比较接近时，单条向量足够；差距一旦拉大，单条向量就兜不住了，性能会塌下去，必须换成更灵活的参数化，比如多条向量、带门控的形式，或者依赖上下文的形式。换句话说，「几条方向就够了」这句话有个隐藏前提，就是学生离老师别太远。

第二条来自注入深度，也更有意思。固定的单条向量在低层和中层效果好，越靠近输出层退化越明显。直觉上很容易把它解释成「深层不好优化」，但论文的诊断是另一回事：不是优化信号太弱，而是低维干预在高层本身就缺乏表达力，一条对所有 token 都一样的固定方向，装不下高层需要的那种逐 token 的精细化修正。为了坐实这个诊断，作者给干预加了一个 Rank-1 门控，让它从固定方向变成依赖 token 的调制，结果退化就消失了。Learning to Steer

到这里，第一个发现就带着一个缺口交到下一章手里了：既然容量有上限，而且上限和干预形式是否匹配修正有关，那真正有效的那些方向，到底长什么样？

真正管用的控制方向，为什么藏在低方差的角落里？

直觉会给出一个很自然的答案：最重要的信息应该集中在能量最大、方差最高的那些主成分里，所以有效的控制方向也该在那里。论文测出来的结果正好相反。

它先检查这些方向稳不稳定。把单条向量扩展成多层、多条互相正交的方向之后，首条方向确实起主导作用，但并不唯一；无论老师是全参数微调还是 LoRA，无论蒸馏走 on-policy 还是 off-policy，方向之间都保持着一套一致的层级余弦相似度结构。Learning to Steer 这说明这些方向是被 RL 训练稳定诱导出来的，不是随机噪声。

接着是最反直觉的一点：这些可复现的方向，几乎一致地落在激活主成分子空间的低方差正交补集里，也就是 Top-10% 主成分之外的广大区域。Learning to Steer

这张划分图值得多看一眼。它把同一层激活切成两块：一块是方差最大的 Top-10% 主成分，数字上承载了绝大部分能量；另一块是剩下的低方差正交补集，单看每一项都很不起眼。论文的结论是，控制行为的方向活在后一块里。

这听上去别扭，但结构上和日常经验并不冲突。可以想象一条车流密集的高速公路：绝大部分流量都跑在主干道上，你盯着车流当然会觉得主路才重要；可真正能改变整体车流的东西，往往是路边那个不起眼的小小信号灯，它本身不承载多少流量，却决定了车往哪走。主成分里的能量对应的是「信息有多少」，补集里的方向对应的是「能不能控制」，这两件事本来就不必在同一个位置。低方差在这里不意味着不重要，恰恰相反，它是控制的容身之处。

论文还给了这条位置并非巧合的证据。研究者把 Science 领域拆成物理、化学、材料、生物四个子主题，分别训四个 RL 老师，各自提取方向，然后比较「源任务与目标任务的方向对齐度」和「归一化迁移增益」。结果显示两者的线性拟合 R² 达到 0.91。Learning to Steer 方向对得越齐，能力越容易迁移过去。这意味着「几何对齐」不只是个描述性指标，它能预测能力迁移。

顺着这条线索，一个很工程的念头就冒出来了：既然有效方向藏在补集里，那训练时把落在主成分方向上的梯度屏蔽掉，会不会反而更稳？下一章就是这个想法的兑现。

把「看」到的几何拿来用：Alpha-Stabler 如何稳住会训崩的 RLVR

前面说过，RLVR 训练本身并不总是稳。用 GRPO 这类优化器训久了，训练会崩，表现为奖励先停滞、随后一路下滑。论文给的几何解释是：崩之前，激活的位移开始大量挤进主成分子空间。于是他们把这件事量化成一个指标，叫 Principal-Subspace Intrusion，简称 PSI，衡量的是 token 级激活位移在 Top-10% 主成分上的范数占比。稳定训练时，这个值远低于 10% 的各向同性基线；训练继续推进时，PSI 会先抖动，然后分数才跟着下滑。Learning to Steer

关键在于先后顺序。PSI 领先于分数退化，这意味着它是一个早期预警信号，不用等训练真的崩掉就能提前出手。

Alpha-Stabler 就是围绕这个信号搭起来的，由两个部件组成。Predictor 负责监测：在训练刚开始的 warm-up 期估计各受控层激活的协方差，固定住前 10% 的主方向，之后用指数滑动平均平滑 PSI，再用中位数加 1.4826 倍 MAD 这样一套抗噪的阈值设定来判断，连续若干次超出警戒线就打开控制。Controller 负责行动：反向传播时把该层进来的梯度投影到主成分子空间的正交补集，用公式写就是 $G_\ell \leftarrow (I - U_{\ell,r} U_{\ell,r}^\top) G_\ell$，也就是把指向主成分的那部分梯度分量削掉。Learning to Steer

这个 Controller 有个很讨喜的性质：它只动反向传播，前向的激活完全不变，不引入任何新的可训练参数，也不改优化器、奖励函数和模型结构。论文报告它几乎没有额外的 wall-clock 开销。而它之所以能压住崩溃又不伤任务能力，靠的正是上一章的发现：有效控制方向本来就活在低方差补集里，把主成分方向上的梯度拿掉，等于只削了那些会挤压表示几何的分量。

图注：Alpha-Stabler 的训练动力学与消融实验。左两块是受控与不受控的对照，不受控会 collapse、受控能持续涨分；中间两块分别看跨学习率的稳定性与不同干预时点下的任务分和峰值 PSI；右侧一块比较控制不同子空间的性能。Learning to Steer

论文在 5 个模型、6 个可验证任务的设定上做了验证，模型从 1.5B 跨到 14B，任务覆盖数学推理、科学推理、代码生成和指令跟随，奖励全部可自动判定。结果是稳定训练 2000 步，跨不同学习率都稳；触发式控制与常开控制效果相当，且峰值 PSI 最低；在受控子空间上，投影掉 Top-PC 明显优于随机子空间、Middle-PC 和 Bottom-PC，也好于或相当于全局梯度裁剪。Learning to Steer

这最后一条消融尤其关键。如果增益来自「随便给梯度加点约束」，那随机子空间也该管用；实测只有精确投影掉主成分才最好，说明这不是泛泛的梯度平滑，而是特异性地移除主成分子空间在起作用。几何视角在这里不只是解释性的，它直接变成了一个可操作、几乎零成本的训练技巧。

但边界必须说清楚。论文自己承认，这整套几何框架建立在经验性假设上，还没有从第一性原理推导出来；实验与分析也只在数学、代码、科学这类可验证任务上做过，至于 RLHF、多轮 agentic 决策和开放式生成上是否同样成立，作者明确把它列为开放问题。Learning to Steer 他们也预告了后续方向：用神经元归因与因果追踪放松几何假设，把方法推广到 RLHF 与 agentic 场景，甚至把 PSI 本身当成自适应调节学习率和干预强度的信号。

那么这篇论文到底给了我们什么？一句话：RLVR 的进步可以被几条低维方向承载，这些方向藏在低方差的正交补集里，而读懂这个位置，就足以让我们在训练崩掉之前先出手把它按住。它的价值不在于宣布 RLVR 被彻底看穿，而在于把「调黑盒超参」变成了「可几何调控的过程」，并且诚实地划出了这个视角目前还走不到的边界。

想深入可以读原文：Learning to Steer, Steering to See: Unveiling the Geometry of RLVR in Large Language Models via Trainable Vectors — arXiv:2609.34344

参考文献

RLVR 的内部几何：几条方向就装下了它的进步，却在靠近输出层时失灵