U-Space 方法：逐 token 定位四类不确定，长度控制后仍几乎不掉分

这篇专题解读 2026 年 10 月出现在 arXiv 上的论文《U-Space: Uncovering When and Why Uncertainty Arises in Language Models》（arXiv:2610.09087）。一句话概括它的贡献：它把语言模型的不确定性从“一个标量分数”升级为“一张能指出何时、为何不确定的地图”，而且不训练、不多次采样，单次前向就能拿到。下面从它要解决的问题讲起。

一个“我不知道”的分数，回答不了“我不确定在哪一步”

一个标量分数回答不了的两个问题

想象你在为一个大模型搭拒答路由：模型没把握时就该把问题转给人类，而不是硬着头皮编。要让这条流水线工作，你需要一个分数，模型越可能答错、分数越高。传统做法是取输出 token 概率的某个统计量，比如熵。这类分数只回答了一个问题：模型不确定吗？

U-Space 这篇论文认为，这个问法本身就不够。第一作者 Tobias Braun 与共同一作 Nils Loose 等七位作者要问的是两个更难的问题：模型在哪一步开始没把握？它是因为什么没把握？所谓“何时”与“为何”，而不是仅仅“是否”。论文原标题里 “When and Why” 这两个词，精确地划定了这个立场（arXiv:2610.09087 v1，2026 年 10 月提交，NeurIPS 2026 模板，接收状态未公开）。U-Space

你可能会问，标量分数哪里不够？举个具体场景。模型在解一道数学题，前半段推理每一步都很顺，最后一步突然开始凑数。它整体的熵可能并不高，因为聚合值把“哪一步在动摇”这件事抹平了。可如果你能逐 token 看到“最后那一步在犹豫”，你就能精准地在那个位置把决定权交还给人。这就是“何时”与“为何”相对“是否”的差异：前者可定位、可解释，才配得上幻觉检测和拒答路由这些真实应用。

不确定性不是一种，是四种

论文从信息不完整理论的分类法里借来四个顶点，把不确定性的来源拆成四类：

• ambiguity：表达本身含糊，一词多义，说不清具体所指；
• incompleteness：信息缺失，题目少条件，或者模型知识里就是缺这块；
• conflicting：相互矛盾，上下文里出现了冲突的证据；
• general：泛指怀疑，感觉不对劲，但指不出具体原因。

为什么是四类而不是一个数？因为同一句答案里，不同 token 可能落在不同的怀疑来源上。这正是论文开篇的 Hamlet 图想让你一眼看到的东西：

图注：左侧是模型对“Hamlet 是左撇子吗？他爱 Ophelia 吗？”这句话的回答文本，按四类不确定性着色；右侧是一个 3-simplex（三维单纯形，四面体），图中画着这条答案里各 token 走过的路径。同一句话内部，不同 token 可以同时指向不同的怀疑来源。U-Space

几何上，四个类别顶点张出一个三维单纯形，而某个 token 的“怀疑构成”则可以看成这个四面体里的一个点：它离哪个顶点近，就偏向哪类怀疑。4 个坐标之和归一化后，就是一个怀疑来源的分布形状。这种表达本身就说明，不确定性不是一个可以被压扁成标量的东西。

可是直到 2026 年，主流做法大多仍只停在“是否”这一层。连语义熵（Semantic Entropy）这条公认有效的研究线，也是每次提问采样 10 条回答、再配一个独立的 NLI 模型做语义聚类，最后换回一个标量分数。Semantic Entropy

所以真正值得回答的问题不是“模型不确定吗”，而是“它在哪一步、因为哪一类来源而不确定”。带着这个问题，我们进入下一章，清点既有方法各自付了什么成本。

此前的不确定性：要么重采样，要么训练探针，要么只给一个数字

先有一张地图：主流方法分四类

要看清 U-Space 想一次性绕开什么，先把既有方法摆到一张地图上。Shorinwa 等人在 2024 年底的大规模综述里，把大模型不确定性估计（UQ）方法归成四大类（该综述视界停在 2025 年 7 月，所以它不会提到 U-Space 自己）。UQ Survey

第四类是 U-Space 落脚的格子，但也是前人走起来最费劲的一格。我们先把前三类里最值得讲的一条路看透，再看第四类的经典代表。

语义熵：有效，但重

语义熵是“多次采样 + 语义聚类”这条路的代表，由 Kuhn 等人 2023 年在 ICLR 提出。它的出发点是一个很实在的问题：同一含义可以用无数句法表达出来，“Paris” 和 “It's Paris” 说的是同一件事，但 token 级的朴素熵会把这种“措辞差异”错当成“含义不确定”。

解法分两步。第一步，对每道题独立随机采样约 10 条回答；第二步，用一个在 MNLI 上微调过的 NLI 模型对候选回答两两做双向蕴含判断，只有互相蕴含的两条才被归入同一个“含义”；最后在这个含义的概率分布上算熵，得到语义熵。论文在 30B 参数的 OPT 模型、TriviaQA 数据集上报告，语义熵预测“答案是否正确”的 AUROC（二分类判别能力）显著优于各基线，而且优势随模型规模扩大。Semantic Entropy

看下面这张图，它正是这套“确实有效”的量化证据：

图注：左图是 semantic entropy（蓝色曲线）在 TriviaQA 上与各基线的 AUROC 对比，右图是该优势随模型规模（2.7B 到 30B）的变化。它说明“多次采样 + NLI 聚类”这条路真实有效，但代价也随之而来：10 次采样和一个额外 NLI 模型。Semantic Entropy

代价重在哪？每一次提问都要额外跑 10 次生成，还要维护一个 NLI 模型；而且折腾完这一切，拿到的仍然只是一个标量。它回答得很好的一件事是“模型整体上说这条回答靠不靠谱”，但回答不了“哪一步、为什么”。

第四类里还有个经典坐标：训练式探针。Azaria 与 Mitchell 在 EMNLP Findings 2023 提出的 SAPLMA，直接在隐藏层激活上训练一个三层 MLP 来预测陈述真假，在 OPT-6.7b 上平均约 71%、在 LLAMA2-7b 上约 83%，并且发现中间层优于最后一层。这条路证明了内部状态里确实有真假信号，但它需要带标签数据训练，而且探针只能读出相关性。SAPLMA

把四类方法摆在一起看，缺口就清楚了：没有一条路同时做到无训练、可解释、逐 token、单次前向。这正是 U-Space 的出场位置，而它能出手，靠的是一件现成的工具。下一章讲它。

前置工具：把“词的意思”反向投进模型内部的 J-Lens

三代透镜：为“反向投”找一个干净工具

U-Space 想把“怀疑”这种语义投进模型内部去测量。凭什么能做到？凭一件 2026 年 7 月出现的现成工具：J-Lens。它来自 Anthropic interpretability 团队 Wes Gurnee 等人的 Transformer Circuits Thread 系列报告（arXiv:2607.15495）。J-Lens

要理解 J-Lens，最好从它的两代前辈说起。第一代 logit lens 最早由 nostalgebraist 在 2020 年提出：直接用模型的 unembedding 矩阵把中间层激活投影回词表。这个近似只在最后几层靠谱，越往中间越退化成噪声，因为不同层用了不同的坐标系。第二代 tuned lens（Belrose 2023）改为训练一个逐层线性映射去拟合模型的输出分布，但训练目标是相关性而非因果性，它在“模型心里想着但没说出口的中间推理”这类情况下会提前跳到最终答案。

J-Lens 是这两代的“原则性修正”。对每一层 ℓ，它计算一个平均 Jacobian（雅可比）矩阵：把“第 ℓ 层某个位置激活的扰动”线性传播到最终层残差流，再对 token 位置、上下文位置和一千条预训练类 prompt 求平均，得到矩阵 $J_\ell \in \mathbb{R}^{d_{\mathrm{model}}\times d_{\mathrm{model}}}$。用它读出时，第 ℓ 层下游的所有层被替换成一条线性映射加 unembedding，从而得到“这一层这个位置的激活，模型平均倾向于接着说哪个词”的打分。

一句话直觉：J-Lens 把“词表里的一个词”反向定位成残差流里的一个方向向量。所谓反向投（pullback），就是把词从“输出端”拉回“内部的某一层”。这正是 U-Space 要先借这副透镜的原因：

图注：J-Lens 的三联机制图。(A) 从最终层残差流反传回中间层 h_ℓ，跨 token 位置和多条 prompt 平均得到每层一个的矩阵 J_ℓ。(B) 读出时把 ℓ 下游的所有层替换成 J_ℓ 加 unembedding，得到词表打分。(C) 在透镜坐标里做激活层面的干预，注意这不是改权重，J_ℓ 也不是逐 token 的，它是每层一个矩阵。J-Lens

差出基为什么合法：残差流里的线性结构

有了透镜还不够，U-Space 的构造还依赖一个更早的信念：残差流里确实存在有语义的方向，而且“正负中心做差”就能把它挑出来。这个信念来自 Marks 与 Tegmark 2023 年的《The Geometry of Truth》：他们证明在 LLaMA-2 家族的残差流里，真/假是一个近似线性的结构，最简单的差值平均探针（mass-mean，取正例激活均值减负例激活均值再归一化）就能定位它，而且这个方向在因果干预实验里真的能改变模型输出。Geometry of Truth

这件事给 U-Space 的“怀疑词减确信词”提供了合法性来源：用词义相反的词组差出一个方向，不是凭空发明，而是把既往验证过的操作从“真/假”平移到了“怀疑/确信”。

至此工具齐了。把“词表词变成残差流方向”这件事已经有一件现成、可复用的训练-free 工具，U-Space 的四类 anchor 就是通过这副透镜投进去的。下一章看它如何张出一把尺子。

四类怀疑词如何在模型内部张出一把尺子

从怀疑词到一张正交基

U-Space 的构造是五步走，每一步都有明确动机。

第一步，选词。对四类中的每一类，作者准备两组词：一组是该类怀疑的“正 anchor”（锚点词），一组是确信的“负 anchor”。以 ambiguity 类为例，正词用 ambiguous、puzzling、bizarre，负词用 doubtless、demonstrable。词表来自 Chen 2018 的不确定性种子词与 Rocklage 2023 的确信规范词。在按各模型 tokenizer 丢掉多 token 词之前，四类（按 ambiguity、incompleteness、conflicting、general 的顺序）的正 anchor 候选数分别是 13、14、17、17，负 anchor 分别是 82、84、84、98；过滤掉多 token 词之后，每类实际采纳的子集更小（见论文 anchor 表）。

第二步，投进残差流。每个 anchor 词的 unembedding 向量经 J-Lens 反向投到残差流，得到一个方向向量 $g_{\ell,a}$。每侧先各自做 L2 归一化、再平均出质心，然后对每一类做“正质心减负质心”，得到双极方向 $b_{\ell,c}$。这正是上一章 Marks-Tegmark 差出基的复用，区别只是这里是四类、而非真/假二值。

第三步，正交化。把四个 $b_{\ell,c}$ 收成一束，做 Löwdin 正交化，得到标准正交基底 $U_\ell$，形状是 [hidden, 4]。为什么必须正交？四个怀疑来源要能作为四个独立维度去读数，否则一个方向会把别的方向的成分叠进来，逐 token 的归属就含糊了。

看论文的主架构图，把这三步串起来：

图注：U-Space 的完整构造。(a) 每一类的“怀疑词/确信词”经 J-Lens 从词表空间拉进残差流，类别质心做差并正交化，得到基底 U_ℓ。(b) U-Lens 把每个推理 token 的隐藏状态投到基上，得到逐 token × 类别的不确定性图，再经 softplus 整流进正锥。(c) 在思考结束标记处取整流对齐的范数，乘以整条推理的平均预测熵，得到最终分数 S(r)。U-Space

U-Lens 读出：逐 token 投影与 A_cone

第四步，逐 token 读出，这就是 U-Lens。每个推理 token 的隐藏状态先归一化，再投影到基底上：

$$\alpha_t = U^\top \mathrm{norm}(h_t) \in \mathbb{R}^C$$

其中 $C=4$，第 $c$ 个分量 $\alpha_{t,c}$ 就是这个 token 在类别 $c$ 上的带符号对齐强度。接着做整流：先把 $\alpha_t$ 归一化成单位方向，只保留它在 U-Space 里的朝向，再对每一个分量分别过一层逐元素（element-wise）的 softplus，最后对整个结果向量取 L2 范数，得到该 token 的锥对齐分数：

$$s_t = \mathrm{softplus}\left(\sqrt{C},\frac{\alpha_t}{|\alpha_t|}\right), \qquad A_{\mathrm{cone}}(h_t) = \left| s_t \right|$$

注意这里的 softplus 是逐坐标作用在向量上的：整流发生在取范数之前、按类别分开进行。这正是一个值得点破的反直觉设计。用的是 softplus 而不是 ReLU，因为 ReLU 会把负对齐一刀切清零，而 softplus 保留锥边界附近的渐变；更关键的是，正因为先逐类整流再合并，一个类别的负对齐不会抵消另一个类别的正对齐，四类怀疑是可能并存的来源，不是互斥的标签。$\sqrt{C}$ 是个固定的维度增益，不是可调超参：单位向量在 $C$ 个坐标上均匀展开时，每个分量恰好是 $1/\sqrt{C}$，乘上 $\sqrt{C}$ 正好把这种均摊拉回单位刻度。

第五步，合成最终分数。在思考结束标记（end-of-thinking）那一处取 $A_{\mathrm{cone}}$，乘上整条推理的平均预测熵 $\bar{H}$：

$$S(r) = A_{\mathrm{cone}}(h_{t_{\mathrm{eot}}}) \cdot \bar{H}(r)$$

这里藏着论文对“不确定性”的完整理解。按元认知研究里的说法（Fleming 2017、Kumaran 2026），一阶不确定性写在输出概率里，是模型“说出来的”把握程度；二阶不确定性是模型自己能口头表达的怀疑，是模型“指得出来的”把握程度。前者用平均预测熵捕获，后者用可口头表达的锚词方向捕获。两者相乘而非加权，理由有三个：端末取值而非对整条 trace 做 pooling，因为端末状态已经条件化于完整推理，位置固定；熵取平均而非求和，避免分数机械地随序列长度增长；乘积在任一分量的正缩放下都保序，不需要拟合相对权重。一行公式，三个动机，处处都在躲避“长度作弊”。

三个设计动机与代码对照

这套构造全程不训练、不多 pass，单次前向就能同时得到逐 token 的四类归属图和最终分数。官方仓库 s2labres/U-Space 把整条计算组织成 7 步 pipeline：采样、生成、标注、前向、建基、打分、制表。“建基”对应 src/uspace.py 的 basis 函数（加载 J-Lens、解 anchor 词、做中心差与 Löwdin 正交化），“打分”里 U-Lens 就是 src/methods/ulens.py 里的一行计算，$S(r)=A_{\mathrm{cone}}\cdot\bar{H}$ 与论文公式逐行对应，不是黑盒。s2labres/U-Space

尺子造出来了。下一章要回答的问题是：这分数真的比别的基线强吗？答案是，要先过“长度捷径”这一关。

效果要过一关：答得越长越可能是错的，长度是最大的捷径

长度捷径：一个反直觉的事实

先立一个反直觉的事实：在推理任务里，答错的长推理往往比答对的更长。论文 §2 引用了 Devic 2026、Heo 2025、Vashurin 2025、Li 2026 一组同期证据支持这一点。这个现象打开了一扇危险的后门：任何与长度相关的信号，都能在“要不要信这个模型”的评测里假装自己很会判断。一个估计器就算完全不知道模型哪里没把握，只要它对长回答给更高分，AUROC 就能做得很好看。上一章表格里的那些 token-level 方法，恰恰大多在悄悄走这条路。

论文的应对是一个叫 length-controlled 的评测协议：对每个模型 × 数据集 × seed，把输出按 token 数分成 10 个分位桶，在每个桶内分别计算 AUROC、AUPRC、AURC，再按桶的大小加权平均。长度这个变量被“关在桶内”，再强的长度相关性也帮不上忙了。评测覆盖 3 个推理模型（Gemma 4、Qwen3.5、Magistral 1.1）× 4 个 benchmark（MMLU-Pro、Omni-MATH、SuperGPQA、TriviaQA），每 benchmark 固定 1000 条、跑 3 个 seed，读出层选在约三分之二深度（39、42、26，以官方仓库 reproduce.yaml 为准）。U-Space

一张致命的对照表

把 unadjusted 与 length-controlled 两列数字放在一起，结论一眼可见：

三行最关键的解读。第一，纯生成长度从 68.6 跌到 52.4，跌幅 16.2 是全场最大，52.4 已经接近随机猜测的 50。长度确实是最粗暴也最有效的作弊手段，控制住它，纯长度基线立刻失去判断力。第二，TokUR 是全部基线里 unadjusted 最强的一个，靠的是每步低秩权重扰动、多次前向的昂贵 Bayesian 方案，但长度一控制就从 69.6 崩到 60.2，跌幅 9.4，是 token-level 方法里跌得最惨的一个。在这组评测中，其未控制长度时的优势很大一部分在控制长度后消失；仅凭该对照不能判定它实际捕获的信号构成。TokUR

第三，也是本文的主角：U-Lens 从 71.1 只微降到 69.2，跌幅 1.8。控制长度后仍保有较高 AUROC，说明其在该协议下的判别力不主要依赖长度这个可利用变量，长度鲁棒性才是 Table 1 真正的结论。Per-model 的 length-controlled 数字分别是 Gemma 4 的 68.4、Qwen3.5 的 71.0、Magistral 1.1 的 68.3，相对各自最强基线提升 2.2、1.9、4.7 个点。Self-Certainty 与 DeepConf 这类 token 级方法也在长度控制后掉分，可见这不是个别方法的毛病。Self-Certainty DeepConf

还有一个值得停留的反常点：监督式 Feature-Gaps 是全场唯一用了带标签数据的基线，在此长度控制评测中跌幅较大，从 68.8 掉到 63.3，比多数无监督方法更差。

它不只是“相关”：推得动模型，但也绝非万能安全锁

看得见：逐 token 的不确定性图

前两章证明了 U-Lens 的分数可靠、不靠长度。但分数可靠不等于方向有意义，一个统计相关的方向也许只是巧合。这一章用两层证据说明，四根基轴“看得见、动得了”。

先说看得见。第 1 章用 Hamlet 这道题开了场，现在用 Qwen3.5 的真实输出逐 token 着色，把悬念落成结果：

图注：Qwen3.5 对“Hamlet 是左撇子吗、他爱 Ophelia 吗”的回答按四类不确定性逐 token 着色，条带右侧是四个被放大的 token，各带一小段 simplex 轨迹。同一句话里，不同词可以各自落在不同的怀疑方向上。U-Space

注意，图里的着色不是“这个 token 最不确定”的结论，它只是把 U-Lens 读到的投影方向画出来。你看到的是方法的能力边界：它能把一句话拆开，逐词告诉你“这里偏向含糊、那里偏向矛盾”。这正是第 1 章提出的“何时、为何”在该模型上的直接答案。

动得了：activation steering 因果干预

光看得见还不够，论文还做了一个因果实验：沿着每一根基方向，把隐藏状态推一小步：

$$\tilde{h} = h + \lambda,|h|2,u{\ell,c}$$

其中 $u_{\ell,c}$ 是基底的一列，$\lambda$ 是“该状态自身范数的一个比例”，所以同一个 $\lambda$ 跨位置、跨深度、跨模型都可比。论文沿四条方向分别做了 prompt 级与推理中段的 steering，四类的强度阶梯不同：ambiguity 取 0.04/0.08/0.09，incompleteness 取 0.04/0.08/0.09，conflicting 取 0.04/0.06/0.12，general 取 0.03/0.10/0.17。效果是，模型在原本很简单的问题上开始犹豫，在对应的目标区间丧失信心。U-Space

这个结果的分量在于对照。第 2 章的 SAPLMA 这类训练式探针，只能读出相关性：你训练一个 MLP 读激活，它告诉你“这里像假话”，但解释不了为什么，也推不动行为。U-Space 的方向是从语义 anchor 差出来的，又能通过注入实际改变模型的犹豫程度，这证明四根轴不是统计巧合，而是能操纵行为的因果方向。训练-free 并不等于与因果无关，这是对“探针只能相关”那一代方法最有力的一次反驳。

应用价值与边界判断

把能力收拢到应用上，U-Space 至少有三个落点。幻觉检测：在推理文本里逐 token 标出“这里在乱撒证据”；拒答路由：在具体某一个 span 处把决定权交还给人，而不是整题一刀切；以及更宽的可信 AI 治理。放在研究脉络里看，Shorinwa 等人的综述在第 10.4 节明确把“mechanistic interpretability 通向不确定性量化”列为未解决的开放挑战，U-Space 几乎是这个问题在 2026 年最直接的回应。UQ Survey

但边界必须说清，论文自己也承认四点局限：第一，依赖模型专属的预训练 Jacobian，Gemma 与 Qwen 可以用 Neuronpedia 上的现成资产，Magistral 就需要一次性自己估计；第二，四类 anchor 词表的完备性没有形式化证明；第三，只在 3 个推理模型、4 个 benchmark 上评估，多模态与非推理模型都没测；第四，length-control 是事后分桶，不是估计器内生机制。更重要的是，论文明确说这个读出不是校准过的安全检测器，在后果性场景里不能替代独立验证。

开放的延伸方向也随之而来：能否把 J-Lens 换成更新的机制可解释性工具、能否扩到多模态、能否让更小的模型估计 Jacobian 而不损失信号、能否把长度控制做成内生信号。这些问题的共同底色是：U-Space 的配方不是不确定性专属的，附录里把 anchor 词集换成情绪词，同一套构造还能做情绪分类和 reward-hacking 检测，说明它更像一个通用配方，而配方还没有被榨干。

所以对这篇工作最有判断力的一句评价是：U-Space 适合当“定位诊断器”，告诉你哪里、因为什么没把握；不适合当“安全闸门”，它不是校准器。至于训练方式的迁移性，本章未比较跨分布迁移，不能据此判断训练方式的迁移性。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. U-Space: Uncovering When and Why Uncertainty Arises in Language Models — arXiv:2610.09087
2. Verbalizable Representations Form a Global Workspace in Language Models (J-Lens) — arXiv:2607.15495
3. Official implementation of U-Space and U-Lens (s2labres/U-Space) — https://github.com/s2labres/U-Space
4. Semantic Uncertainty (Kuhn et al., ICLR 2023) / Detecting hallucinations using semantic entropy (Farquhar et al., Nature 2024) — arXiv:2302.09664
5. Scalable Best-of-N Selection for Large Language Models via Self-Certainty — arXiv:2502.18581
6. Deep Think with Confidence (DeepConf) — arXiv:2508.15260
7. TokUR: Token-Level Uncertainty Estimation for Large Language Model Reasoning — arXiv:2505.11737
8. The Internal State of an LLM Knows When It's Lying (SAPLMA) — arXiv:2304.13734
9. The Geometry of Truth: Emergent Linear Structure in LLM Representations of True/False Datasets — arXiv:2310.06824
10. A Survey on Uncertainty Quantification of Large Language Models — arXiv:2412.05563