Thinking Inertia:大模型「别思考」时,为何停不下来?

当模型被要求「别思考」,它到底有没有照做?

一道 MMLU 物理题:足球以 10 m/s 出射、仰角 30°,问总飞行时间。题目下压着一句红色强制指令,口气不容商量,直接给出最终答案,不要任何推理,响应里只留一个选项标签。

模型交了什么呢。DeepSeek-V4-Flash 先写出飞行时间的表达式,代进速度、角度、重力,一路算完,才给出一个选项。Qwen3-235B-A22B 也差不多,推导完了才落笔。两个回复都被标红,判成失败。同一道题交给人类,回来的只有一行,就是那个选项,判成成功。

先别急着说模型答错了。两个模型给出的选项都是对的,物理也没算错。被标红的其实是另一件事:它们没有听一句明确的指令就停下来。

这里藏着一个我们平时不会细想的落差。指令写在 prompt 里,说的是一种请求;响应是模型真正吐回给用户的那段文本。这两件事,可以不是一回事。而用户能拿到的,从来只有后者。项目主页

图注:左栏是一段对话,用户给出一道 MMLU 物理题并附上红色的「直接给出最终答案、不要推理」指令;DeepSeek-V4-Flash 与 Qwen3-235B 两个模型气泡里都先写出公式推导才给出选项,被标红为失败;人类气泡只给出选项,被标绿为成功。右栏是两张双轴条形图,横轴为 BoolQ、StrategyQA、MMLU、MMLU-Pro、GSM8K、MATH,左轴是 Empty-thinking Ratio,右轴是 Visible Token Length,底部脚注写着 Boolean < MCQ < Open-ended。项目主页

这就是论文 Thinking Inertia: LLMs Keep Thinking When Told Not To 要处理的落差。论文由清华、牛津、斯坦福的五位作者完成,2026 年 10 月 8 日挂上 arXiv,已被 NeurIPS 2026 接收,同时放出了项目主页、代码仓库和一份 no-thinking 轨迹数据集。Thinking Inertia

论文的立场很直接。既然「被设置成什么模式」和「响应里出现了什么」会分叉,no-thinking 就不该再当一个设置项来看,它得被当成一种可观测的响应级行为:只看响应文本里究竟出现了什么,不看配置里写了什么。关开关、设模式,这些都发生在请求发出之前;真正落到用户手里的,是模型吐出的那段文本。

顺着这条线,论文还给全篇埋了一根轴,就是答案空间的开放程度。它被切成三档:二选一的 Boolean,比如 BoolQ 和 StrategyQA;带若干候选的多选,比如 MMLU 和 MMLU-Pro;以及完全没有候选的开放题,比如 GSM8K 和 MATH。接下去会看到,这根轴才是理解后面所有数字的钥匙。

那么,既然开关和指令都不一定算数,我们凭什么判断模型到底有没有停下来?

为什么「关了开关」「没有长思考」「回答很短」都证明不了模型没在推理?

在论文出手之前,业界判断「模型没在思考」通常靠三种代理指标。它们各自看着都挺合理,却全都在测错对象。

第一种是 prompt 侧控制,在系统提示里写一句「不要思考」,或者把 enable_thinking 设为 False。它测的是请求层有没有提出要求。可请求和响应能分叉,被声明关掉思考的模型,仍然可能吐出一段跟问题高度相关的解释性文本。你设定了「别想」,不代表它就真没想。

第二种是格式控制,看响应里有没有 <think> 块,或者有没有一条独立的推理轨迹。它测的是一种书写格式在不在。去掉标签只是换了一层包装,推理本身完全可能搬进正文,读者照样看得见。把标题栏删掉,并不改变正文里写了什么。

第三种是长度控制,看回答短不短。它测的是生成了多少字符。一行答案里,依然可能藏着一个决定性的中间步骤,比如一句「由上式可得,因此取 B」。字数少不等于没有推理,只等于没有把推理铺开写。

常见代理指标它实际测的是什么为什么靠不住
prompt 侧控制请求层有没有要求不思考请求与响应可以分叉,被声明关掉思考的模型仍可能输出与问题相关的解释
格式控制某种书写格式在不在去掉 <think> 只是去掉一层包装,推理可能搬进了正文
长度控制生成了多少字符一行答案里仍可能藏着一个决定性的中间步骤

这三种代理共享同一个毛病:它们把「请求层是否要求不思考」和「响应层是否真的没推理」混为一谈。你想知道的是结果,测的却是意图。长度这一项尤其靠不住,早就有工作证明它不是推理质量的可靠代理,o1 一类的推理模型在「2+3=?」这种题上,平均比常规模型多消耗约 1953% 的 token,答案却完全一样。Overthinking

既然所有间接指标都失效,唯一能直接观测的对象就只剩下响应文本本身。要看响应,第一步得先把它切开。

把一次回复拆成两半来测:ETR、QRel.、EIR 三层标准

论文的做法是把每一条输出拆成两段。最终答案之前的全部可读文本,记作前置文本 $T$;最终答案本身,记作 $A$。答案对不对,用任务准确率单独判 $A$;模型有没有显式推理,全部落在对 $T$ 的判定上。对第 $i$ 条输出,如果 $T_i$ 为空就记 $e_i = 1$,否则记 0。这个小小的指示量,是后面第一层度量的基本单位。

这里要先说清一个容易混淆的地方。这条拆分不是模型内部的工作流,它是对一次已经产生的响应做事后切割。模型怎么算出答案的,论文不关心,也看不到。它只截住输出的那串文本,问一句:在答案出现之前,前面那段文字里有没有推理的痕迹。把研究对象锁在这层可见表面上,是整篇论文最关键的取舍。

图注:上半是一条四盒流程,问题 $Q$ 先被干预 $S(\cdot)$ 包装成模型输入,模型 $\pi$ 输出的响应被拆成前置文本 $T$ 与最终答案 $A$;三支箭头分别指向 $T$ 的 ETR、QRel.、EIR,第四支指向 $A$ 的准确率。下半是同一道 42 + 79 = ? 的六张响应卡,最终答案都是 121,前置文本却分别落在空白、显式推理、泛泛开场、相关但非推理等不同类别里。Thinking Inertia

在这把切分之上,论文架了三层递进度量,越往下越严格。

第一层是 Empty-Thinking Rate(空思考率,ETR),直接统计 $T$ 为空的比例,也就是答案前面一片空白的输出占多少。这是最严、最可操作的合规线,因为它对「只给答案」的字面要求毫不留情。但 $T$ 一旦非空,ETR 就再也说不出更多:它分不清一段通用模板、一段同义改写,和一句真正针对本题的推算。它只知道前面有字,不知道那些字意味着什么。

第二层是 Question-Pre-answer Relevance(指令感知的问与前置文本相关性,QRel.)。它把一个指令感知的 embedding 模型 Qwen3-Embedding-4B 同时用在问句和 $T$ 上,算两者的余弦相似度,$T$ 为空时按 0 计,并以包含零值的全体均值上报。这里有一个必须点破的坑:QRel. 测的是相关性,不是推理。一段复述,或一句直接把答案断言出来的话,可以拿到很高的相关性分数,却仍然没有任何推理步骤。论文对 572,688 条输出做短语审计,只找出 301 条、占比 0.053% 的近逐字复述,说明这个坑在真实数据里并不常见,但它在定义上确实存在。把 QRel. 读成「有没有在推理」,是最常见的误读。

第三层是 Explicit Inference Rate(显式推理率,EIR),这才是论文真正的结论性证据。判定的是一位被遮住眼睛的 LLM judge:它只拿到 $(Q_i, T_i)$,模型身份、干预模式、最终答案、答案对错、QRel. 分数全部隐藏,然后从五个互斥标签里选一个,分别是通用或离题、仅复述、相关但非推理、显式推理、无法判断,还要从 $T_i$ 里摘出支撑判断的原文片段。空 $T$ 按定义计 0,因为空文本根本不会送给 judge。

给 judge 遮眼这一步,结构上很像一场盲品:把酒标摘掉,只让评委对着杯子里的液体打分,绝不让「这瓶贵、这瓶有名」先入为主。论文要藏的也正是那几样最容易带偏判断的东西。一旦评委知道「这是某个大模型答的」或者「它答对了」,就很容易把「合规不合规」读成「强不强」。把身份和正确性都拿掉,剩下的判断才只关于前置文本本身有没有在推理。这个设计不花哨,却直接决定了 EIR 这个数字的意义。

论文图里那六张同题卡片,正好把三层的区别摆了出来。同一道 42 + 79 = ?,同一个最终答案 121,前置文本却可以是完全空白,可以是一段逐步往下推的推算,可以是一句与题目关系不大的泛泛开场,也可以是一句与题目相关却并未推理的断言。ETR 只能告诉你前面有字还是没字,QRel. 能把泛泛开场从与题相关的内容里挑出来,只有 EIR 会明确区分这段文本是在推理,还是仅仅相关。

所以这三层是一条越收越紧的漏斗,不是三选一。ETR 问「有没有字」,QRel. 问「这些字跟题目有没有关系」,EIR 才问「这些字里有没有推理」。一层入口最宽,一层比一层苛刻,越往下走能留下的输出越少。而只有最严格的 EIR,才撑得起「模型还在推理」这个结论。

judge 本身可不可信,论文用人类标注做了校验。600 条输出按比例匹配抽取,5 名标注者对模型、模式、答案、正确性、自动化分数一律盲态。在最硬的是非题上,人工判定与严格合规判定在 565/600 上一致,也就是 94.2%。在最主观的显式推理这一层,人类标注与主判官 GPT-5.5 的二值一致率达到平均 98.8%,与另一家族的独立判官 Claude Opus 4.8 是 96.7%。QRel. 与人类相关性判断的 Spearman 相关系数为 0.829。这几组数字押的是同一个赌注:这套自动判定,和人的眼睛大体上看到的是同一样东西。Thinking Inertia

这套度量也不是纸面定义。官方代码仓把它做成了可执行的 CLI,六个 benchmark 和六种干预都能一条命令跑起来,而且把 blinded judge 直接写进了 EIR 的定义层。读者若想在自己手上的模型上把这把尺子跑一遍,入口是现成的。官方代码仓

尺子有了。接下来的问题是,拿它去量出来的差距,究竟有多大。

答案空间越开放,推理越压不住:Thinking Inertia 与那条阶梯

论文先用一套干预谱,把「告诉模型别思考」这件事切成六个档位。M2 Think-Off 是最天然的基线,把思考开关关掉,不加任何额外约束,代表「我要求了,但我也只要求了这么多」。M1 Think-On 与 M3 CoT 是反方向的两根对照,一个是原生思考模式,一个是在答案通道里明确要求「一步一步想」。真正逐级加强压制的是 M4 Soft 与 M5 Strict,从允许一句很短的引言、但不许解释,升级为必须直接给出最终答案、不许任何推理。M6 Prefix 不属于这条加强链,它走的是另一条独立分支,开生成时就把答案模板预填进去,用结构强制代替自然语言劝说。这一点很关键,M6 不是 M5 的加强版,把它当成「更狠的命令」会读错后面一整组结果。

之所以六种干预值得当成一个正经评测维度,是因为 thinking 与 non-thinking 早在 2025 年就成了真实可切换的工程接口。Qwen3 用 /think 与 /no_think 做软切换,在同一个模型上按轮次切换,思维预算还能按 token 连续调节。换句话说,「告诉模型别思考」这个动作本身不是研究者凭空假设的场景,它是产品里已经存在的按钮。Qwen3

图注:四张折线图分别是 AIME24、AIME25、LiveCodeBench v5 与 GPQA Diamond;横轴是 thinking budget,从 1K 到 32K tokens,对数刻度,纵轴是 Pass@1。蓝色实线 Thinking Mode 随预算上升,红色虚线 Non-thinking Mode 是一条水平基线。这张图只用于说明两种模式是同一模型上可切换的两种接口,与本文的 EIR 度量无关。Qwen3

在这个接口前提下,论文跑了六个模型乘六个 benchmark 乘六种干预,共 216 组设置。六个模型是 Qwen3-4B、Qwen3-32B、Qwen3-235B-A22B、DeepSeek-V4-Flash、GPT-5.4 和 Gemini-3-Flash,其中 Qwen3 系列占了三个规模档,天然提供了一条同族缩放曲线;六个 benchmark 分成三类,Boolean 是 BoolQ 和 StrategyQA,多选是 MMLU 和 MMLU-Pro,开放题是 GSM8K 和 MATH。每一组都同时报准确率、ETR、QRel. 和 EIR 四项。

结果落在 M2 这一列的 EIR 上,呈一条毫不含糊的阶梯。

图注:行是 M1 Think-On、M2 Think-Off、M3 CoT 三种模式,列是 Boolean、多选、开放题三类答案空间。左半是各模型的 ETR 柱叠加 EIR 点,右半是 QRel. 柱叠加可见前置文本长度,灰色虚线标六模型均值,黑色三角连成的线标平均 EIR。在 M2 那一行里,ETR 在 Boolean 最高、在开放题塌下去,EIR 点则朝相反方向走。Thinking Inertia

六模型平均下来,M2 下 Boolean 上的 EIR 是 5.15%,多选升到 45.57%,开放题直接到 99.69%。ETR 的走向完全相反,Boolean 上最高,到开放题几乎塌到零。同一句「关掉开关」,在二选一题上基本压得住,在开放题上几乎完全压不住。也就是说,真正决定显式推理露不露出来的,不是思考开关本身,而是题目把答案卡得有多紧。论文给这个现象起名叫 Thinking Inertia:显式推理在 no-think 控制下依旧存在,而且随着答案空间开放变得越来越普遍。

这里有两处必须说清,否则很容易读歪。第一,这些数字是「可见前置文本」的聚合率,不是模型思考了多久,两者是两码事。99.69% 说的是开放题里近全部响应都在答案前写出了某种显式推理,不是「模型在开放题上花了 99.69% 的算力去思考」。第二,它是六模型均值,个别模型的单元格可以偏离很远,所以这是一条趋势,不是一条铁律。还有一件事论文没有回答:为什么答案空间越开放就越压不住推理。论文给出的是一条稳定的观察,不是机制解释。

还有一个细节值得留意:这条阶梯并不是只在开关关掉时才成立。论文报告,同样的排序在 M1 Think-On 和 M3 CoT 下依然保持。无论你让模型思考还是不思考,答案空间对显式推理露不露出来都在起作用。开关能改变台阶的高度,却改不掉台阶的走向。

这种「没人要求它思考,它还在思考」的惯性,不是 2026 年才第一次被看见。2025 年就有工作发现,给模型一道本身缺前提、根本不该被思考的题,推理模型的输出反而从约 1000 个 token 涨到超过 3000 个,而且不愿承认题目不可解。那篇论文处理的是问题侧,本文处理的是指令侧,一个说「题目不该被想,它偏想」,一个说「指令不让想,它偏想」,两件事从不同方向指向同一种惯性。MiP-Overthinking

既然惯性是真的,一个自然的追问就来了:那就下更狠的命令,把推理压下去,代价会是什么?

硬要它「只给答案」,代价是什么?为什么「给出选项」能让它闭嘴

先看压制换来了什么。把 M2 换成 M5,也就是从「关掉开关」升级为「给出最终答案、不许任何推理」,五个具备关闭思考条件的模型在 M2 到 M5 之间的平均变化,大致如下。

任务类型M2 平均 EIRM5 平均 EIR平均准确率变化
Boolean5.15%0.12%基本持平
多选45.57%25.39%基本持平
开放题99.69%62.00%下降约 15 个百分点,平均 ETR 从近零升到约 40%

这张表要读出两件相反的事。在 Boolean 和多选上,准确率几乎纹丝不动,说明在这些任务上压制推理近乎免费:命令写得更狠,显式推理确实少了,题目照样做对。到了开放题,代价就来了。ETR 从近零升到大约 40%,说明模型确实更听话,答案前面开始出现空白;可平均准确率掉了约 15 个百分点,而且即便下了最严的命令,平均 EIR 仍有 62.00%。也就是说,推理被压小了一半多,却没有被真正清空,而那份被压下去的推理,是用准确率换来的。

更反直觉的是,加强压制未必等于更管用。M6 Prefix 在开放题和多选上让 ETR 继续下降,可 QRel. 和 EIR 却反弹回了 M2 附近。表面上模型更愿意只给答案了,可被压下去的相关性和推理又换了个形式冒出来。这再次说明 M6 不是 M5 的加强版:它换了一条通道去施压,得到的却是不同方向的结果。

论文接着做了一个更能说明问题的实验:不换模型,只换题目的形态,把同一批数值答案的题在三种答案空间之间改写,然后看 Qwen3-32B 在 M2 下的表现。

同一批题的形态准确率ETRQRel.EIR
多选题,原始形态77.8%10.5%0.70986.95%
改写成二选一78.9%62.5%0.31436.90%
改写成开放题52.6%0%0.81090.14%

同一批题、同一个模型,题目内容没变,只是答案形式变了,结果却完全翻转。改写成二选一之后,准确率甚至略高,但 ETR 从 10.5% 跳到 62.5%,EIR 从 86.95% 掉到 36.90%。改写成开放题之后,ETR 直接归零,EIR 冲到 90.14%,准确率跌到 52.6%。三个数字完全对上了前面那条阶梯,只不过这次阶梯是在同一批题内部现出来的。

这条结果值得单独说一句,但它能支撑的范围比看起来要窄。论文在这里做的是一次同题改写实验:题目内容不变,只把答案的呈现形式换掉。改写成二选一时,候选答案摆到了模型面前,ETR 从 10.5% 升到 62.5%,EIR 从 86.95% 落到 36.90%。改写成开放题、候选答案消失时,方向整个反过来,ETR 归零,EIR 回到 90.14%。也就是说,同一批题、同一个模型,只要答案的呈现形式一变,压制推理的难易就跟着翻转。至于这个变化为什么会发生,论文没有给出证明。它报告的只是这次同题改写实验里的一条稳定观察:候选答案在场时更压得住,候选答案不在场时压不住。背后的原因是什么,论文没有回答,所以把它读成「给出选项就能让模型闭嘴」的机制解释,超出了这篇论文能支撑的范围。

这种「思考多少」和「答得对不对」不成正相关的情况,在同期工作里也能从另一头看到。有研究把推理强行延长,准确率在约 1100 个 token 附近摸到 87.3% 的高点,继续加长到约 15980 个 token 反而显著回落。一个是被迫少想,一个是被迫多想,两头都能看见代价。这说明 thinking 的预算和准确率之间,本来就不是一条单调上升的直线。Mirage

对工程实践来说,这条结论可以换算成一个很具体的取舍。在分类、判卷、选项确认这类封闭答案任务上,关掉思考开关几乎不用付代价,模型更容易只给答案,准确率也不掉,省下来的推理篇幅都是净收益。换到开放题,关掉开关换来的合规要从准确率里抠,而且抠掉的不算少,所以这类任务上与其硬压,不如先把答案选项设计好。至于延迟和 token 开销,这篇论文没有给结论,它量的只有合规、相关性、显式推理和答案正确性,把「no-thinking 就更快更省」当成默认前提,超出了它能支撑的范围。

到这里,一个判断已经站得住了:开关和指令都不保证模型真的停下来。但这条判断的边界在哪里,论文自己划得同样清楚。

「不思考」是一项该被单独评测的能力,以及这篇论文说不了什么

把整篇论文压成几句话:no-thinking 应该和推理能力一样被系统评测,而不是当成一个设置或一句指令的默认结果;Thinking Inertia 是一个稳定的响应级现象;而且它随答案空间开放而加剧。真正根本的一步,是把 no-thinking 从「配置里写了什么」搬到「响应里出现了什么」这一侧,并为它造出一套能量、能比的刻度。顺便说一句,这条评测轴也不是凭空假设,早在 RL 训练阶段就有工作把模式选择交给控制 token,让模型自己学会何时短答、何时长想。Thinkless

但这篇论文说的比很多人想象的要窄。下面这张表是它的边界。

维度论文说的论文没说的
观测层响应里仍出现显式推理,三层度量都是对可见文本的判定模型内部是否仍在计算,可见响应不等于潜在计算
覆盖范围六个模型乘六个 benchmark 乘六种干预,尽量使用确定性解码多语、代码、工具调用、多轮对话、随机解码、厂商 endpoint 漂移
结论性质六模型均值呈现的稳定现象,且随答案空间开放而加剧不是每个模型都如此;EIR 依赖 rubric 与 judge 校准

第一条边界最容易被忽略,却最要紧。论文反复强调,它声明的是「响应里还看得见推理」,不是「模型脑子里还在算」。把可见响应直接等同于潜在计算,是对这篇论文最大的误读。模型完全可能在关掉开关后仍然在内部做了计算,只是没写出来;也完全可能真的停止了计算,只是照训练惯例把某段套话写了出来。这两种情况,从响应文本上分辨不出来,论文也没有声称能分辨。第三条边界同样要认真对待,5.15%、45.57%、99.69% 是六模型均值,是个体单元格可以明显偏离的一个趋势。第二组边界则划定了题面:多语、代码、工具调用、多轮、随机解码都不在这批实验里,任何把这些场景算进来的推论都是外推,而不是这篇论文的结论。

而这条研究线并不孤单。同期的 2026 年已经有工作把「切换 thinking 模式之后响应仍然出问题」单独立成评测方向,在 25 个模型配置上报告两种接口的响应不一致,其中 17 对的差距超过 20 个百分点。这说明「按了按钮却没按预期工作」是一整类问题,不是某一次实验的偶然。PatternEval

至于惯性能不能被训练掉,会不会随模型规模或 RL 阶段迁移,论文只把它留成了开放问题。它在讨论部分给了两条可能往前走的路径。一条是校准式停止,把准确率、合规、相关性、延迟和真正花在推理上的 token 成本放在一起联合优化,而不是只盯住其中一项。另一条是往模型内部看,回答一个本文刻意回避的问题:那些被压下去的计算,究竟是消失了,是转移到了看不见的通道,还是只是不再写出来。这两个方向都指向同一件事,可见响应只是水面,水面以下还有东西。

所以下次你在 prompt 里写下「不要推理,直接给答案」时,最好别默认它已经生效。你关掉的是一个开关,模型要停下的是另一件事。前者是配置,后者是一项能力,而这项能力从现在起有了可以量出来的刻度。论文把全部运行轨迹也整理成了公开数据集,方便别人在自己的模型上把这把尺子再跑一遍。Thinking Inertia

想深入可以读原文:Thinking Inertia: LLMs Keep Thinking When Told Not To,arXiv:2610.11765。

参考文献

  1. Thinking Inertia: LLMs Keep Thinking When Told Not To,Lei 等,arXiv:2610.11765,NeurIPS 2026 接收。https://arxiv.org/abs/2610.11765
  2. Thinking Inertia 官方项目主页。https://thinking-inertia.github.io
  3. Thinking Inertia 官方代码仓库(MIT)。https://github.com/thinking-inertia/code
  4. Qwen3: Think Deeper, Act Faster,Qwen Team 官方博客,2025-04-29。https://qwenlm.github.io/blog/qwen3/
  5. Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs / Long Reasoning Models,Chen 等,ICML 2025,PMLR v267。https://proceedings.mlr.press/v267/chen25bx.html
  6. Missing Premise exacerbates Overthinking: Are Reasoning Models losing Critical Thinking Skill?,Fan 等,arXiv:2504.06514。https://arxiv.org/abs/2504.06514
  7. Thinkless: LLM Learns When to Think,Fang 等,NeurIPS 2025,arXiv:2505.13379。https://arxiv.org/abs/2505.13379
  8. Does Thinking More Always Help? Mirage of Test-Time Scaling in Reasoning Models,Ghosal 等,NeurIPS 2025,arXiv:2506.04210。https://arxiv.org/abs/2506.04210
  9. Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs,Wang 等,arXiv:2608.12781。https://arxiv.org/abs/2608.12781
Thinking Inertia:大模型「别思考」时,为何停不下来?