Mercury 3：扩散 LLM 能当实时工人，还当不了推理主脑

扩散语言模型（diffusion LLM，下称 dLLM）在 2026-10 第一次拿到了一份足够响亮的商用成绩单。Inception Labs 于 2026-10-19 发布 Mercury 3，声称 1,068 tokens per second on NVIDIA GPUs、1M token 上下文、$0.20 per million input 与 $0.70 per million output 的定价，总参数量比 Mercury 1 大 40 倍以上。

先给结论：这些数字目前全部来自厂商自己，没有任何独立复现；而在推理服务栈里，扩散 LLM 现在最有把握的位置是被按词元或按子任务调用的并行草拟器与实时 worker，不是推理主脑。

这条判断的入口是一个在 2026-10 工程社区流传的分工设想：由强模型负责规划与编排，由快速的扩散模型负责填充式的子任务。它不是某一篇论文提出的方案，也没有单一原始出处；被普遍关联到的那位研究者公开讨论的是 FlashAttention-4、SSM KV 与 spec decode，与「扩散 worker」不是一回事，不能写成他的主张。这个设想值得认真检验，因为 Mercury 3 是它能不能落地的第一个商用证据点。

Mercury 3 是目前最大的商用扩散 LLM，但它每个数字都还是厂商自报

Mercury 3 真正的新闻不是速度，而是「文本扩散能 scale」这句话本身，而这句话目前仍然只有 Inception 自己在说。

先把一手规格逐条固定下来。Inception 的公告称 Mercury 3 在 NVIDIA GPU 上跑到 1,068 tokens per second，上下文 1M tokens，比 Mercury 2.5 的 260K 大幅拉长，定价 $0.20 per million input tokens 与 $0.70 per million output tokens，首发期五折即 $0.10 / $0.35，缓存命中的输入再按标价打一折（优惠 90%）。质量口径上，Inception 的说法是「on par or better than frontier speed-optimized models like GPT-6 Luna and Claude Haiku 5.5」。Mercury 3

支撑「扩散能 scale」的是同一篇公告里的另一句话：他们把 Mercury 的总参数量扩了 40 倍以上，标准 benchmark 上的综合质量分从 Mercury 1 涨了 3 倍，Inception 对此给出的判断是「推动自回归模型的那套 scaling law，对扩散同样成立」。这是全篇的靶心，也是整篇专题要反复回来核对的一句断言。Mercury 3

图注：Mercury 五代在「质量 vs 参数规模」上的轨迹，横轴是相对 Mercury 1 Mini 的总参数量，采用对数刻度，纵轴是 11 项 benchmark 的算术平均质量分，每个点旁标注厂商给出的相对速度说法。图上所有数据均为 Inception 自报、未提供独立验证，也不能据图读出各代的绝对参数量或绝对吞吐。Mercury 3

同一天出现的第三方观察把这条限定补完整。Curiosity 在发布当天就把 Inception 接进了自己的 workspace，做法是把它当作 OpenAI 兼容的 provider，base URL 指向 api.inceptionlabs.ai/v1，不需要改代码。它给出的延迟观察是：连接测试 923 到 988 毫秒，聊天首段流式文本 0.4 到 1 秒，一轮带一两个工具调用的对话 1 到 2 秒；同时它明确声明这些是「one container on one day」的数字，不是 benchmark。Curiosity

更关键的是它对 benchmark 的态度。同一篇博客写道：Inception 说自己在自家 benchmark 上追平甚至超过大厂的 speed-optimized 模型，而这款新模型尚未被独立测试，所以换掉生产环境里的助手之前请先用自己的 prompt 跑一遍。它还点出一个技术空白：Mercury 3 接受 1M token 上下文，但 Inception 没有公开它怎么读这么长的上下文。Curiosity

图注：Mercury 3 与 GPT-6 Luna、Claude Haiku 5.5 的三列横评，按速度与价格、通用能力、长上下文、agentic coding、agentic search 五组分列。Mercury 3 在被列出的 12 项指标中 8 项最高、4 项不是最高，因此这张表不能读成全面领先；表中对手的输出速度含义未在图中说明，也不能当作实测稳态吞吐。Mercury 3

Mercury 系列并非从 Mercury 3 才开始有速度数字。2025-06 公开的 Mercury Coder 技术报告给出的是 Coder Mini 1109 tok/s 与 Coder Small 737 tok/s，同为 H100 上的口径；那两份模型的具体参数量、训练 token 数、推理引擎的 KV 策略都没有披露。这组数字与 Mercury 3 的 1,068 tok/s 不是一个模型、也不是同一次测量，不能互相引用。Mercury Coder

最后给一个理解范式的入口。文本扩散不是图像扩散，它的做法是把一句话里的一部分 token 随机换成遮罩，让模型同时看到每个空位的左右两侧，再把空位填回来；训练时遮罩比例逐样本随机，模型因此既能在近乎完整的句子上工作，也能在近乎全空的句子上工作。填回来的过程要迭代若干轮，而轮数可以远小于 token 数，速度就来自这里。Curiosity

扩散 LLM 一次前向能定下多个词元，代价是自回归免费复用的 KV 缓存失效了

扩散 LLM 的并行不是白送的速度，它是拿自回归免费复用的 KV 缓存换来的，这笔账会在长上下文上被成倍放大。

机制讲透这一遍，后面章节只当已知事实引用。MDLM 把文本扩散收窄成一类「吸收态」过程：加噪就是按随机比例把 token 替换成 mask，一旦被替换就一直保持到 t=1 全遮蔽；去噪就是从全遮蔽序列出发逐步把真实 token 填回去。它最重要的技术贡献是把这套过程的训练目标解析地化简成一个加权后的 MLM 损失，权重与遮罩比例的随机调度绑定。这就是「生成式 BERT」这个说法的来源：训练目标和 BERT 的随机掩码填空是同一件事，区别在于它配了一套反向采样算法，因此能生成文本，而不只是做理解。MDLM

图注：这张图把流程拆成三块：左侧是从干净序列经前向随机遮蔽走到全遮蔽、再反向逐步还原的主流程；右上说明它与普通 MLM 的关系，MDLM 的目标对应一个有原则的变分下界并支持反向采样生成；右下是 LM1B 上的 perplexity 对比。不要把右下的柱状数值当作精确 benchmark 分数。MDLM

并行的来源落在采样方向上：每一步前向同时预测所有被遮的位置，再按置信度决定这一步真正解除多少位置。生成一段文本需要的轮数因此可以远小于 token 数。代价在质量侧对得上：MDLM 在 OWT 上把 perplexity 收到 23.21，同数据同规模的纯自回归是 17.54。这个数字是 ELBO 上界对精确 perplexity，不能直接读成真实差距，它只在 110M 这个验证性规模上成立。MDLM

并行去掩码与 KV 缓存的冲突是结构性的，不是工程没做好。自回归模型每生成一个 token，前面所有位置的 key/value 都不变，所以能一次算好、反复复用。掩码扩散每一步都在改多个位置的内容，改完之后这些位置自己的 KV 变了，依赖它们的后续位置也全都要重算；更麻烦的是双向 attention 让每个位置都能看到左右两侧，序列里任何一处变化都可能让整段 KV 失效。LLaDA 把这一点直接写进论文：它明确说自己 incompatible with KV caching，为此把 grouped query attention 换回了参数更多的 vanilla multi-head attention。LLaDA

块扩散是这条冲突线上被广泛接受的折中，也是后面所有工程改造的语义接口。做法是把序列切成若干块，块与块之间按自回归顺序推进，块内做并行去噪；这样 KV 只需要在块与块之间复用，块内那部分双向计算被限制在一个块的范围内。它同时解决了固定长度的问题，在 OWT 上能生成到约 9982 token，是 SEDD 上限的约 10 倍。Mercury 3 的 1M 上下文怎么读，问题就落在这里。Block Diffusion

图注：序列被切成若干块，块与块之间是从左到右的因果箭头，块内部的多个 token 之间是密集连接。因果箭头让块间可以按自回归方式缓存 KV，块内双向则保留了并行去噪的能力，两条性质同时出现在这一张拓扑里。它是通用框架示意，不是 Mercury 3 的官方架构图。Block Diffusion

图注：同一套范式在真实模型里的形态：预训练时对全序列按随机比例遮罩，SFT 时只遮回答段，采样时从完全遮罩的回答出发逐步去遮罩，每一步同时预测所有空位再按低置信度重新遮罩。它是离散掩码扩散，不是连续高斯扩散，采样也不是一步到位的并行解码。LLaDA

补一句坐标系。这套方法谱系已经有一份覆盖到 2025-09 的综述，把连续、离散、混合三条路线与六类推理加速策略都列了出来，也把「并行解码诅咒」列为尚未解决的挑战之一；但它只覆盖到 2025-09，Mercury 3 与 2026 年的后续节点都不在其中，不能用它给 Mercury 3 定调。dLLM Survey

扩散确实能 scale，但规模没有让它在综合能力上追平自回归

扩散模型确实随规模变好，而且斜率与自回归接近，但「同规模就全面追平」并不成立，这个尚未补齐的缺口正是 Mercury 3 那句「质量追平第一梯队」需要被追问的地方。

最硬的一份对照来自 LLaDA。它用 8B 参数、2.3T tokens 从零训练，外加 4.5M 条 SFT 数据，且不做 RL 对齐。在同协议重评估下，LLaDA 8B Base 在 GSM8K 上拿 70.3、LLaMA3 8B 拿 48.7；CMMLU 69.9 对 50.7；HumanEval 35.4 对 34.8。反过来，BBH 是 49.7 对 62.1，Hellaswag 70.5 对 79.1，PIQA 73.6 对 80.6，三项大幅落后。中文古诗反向补全上它拿到 45.6，GPT-4o 是 34.3。两组数字要一起读：训练 token 量差了近 7 倍，LLaDA 也没有 RL 对齐，所以这份对照既证明了扩散能 scale 到 8B，也把缺口第一次摆到台面上。LLaDA

图注：8B 扩散模型与多个同规模自回归基线的逐项对比。它赢在数学、中文和代码，输在 BBH、Hellaswag、PIQA 这类需要多步推断或常识排序的任务上，两侧的训练 token 量也不相同。读这张图要读出互有胜负，而不是全面超越。LLaDA

更早的 1.1B 实验给出的是同一结论的另一半。这是扩散语言模型的第一个 scaling law：损失随算力的幂律下降斜率与自回归可比，中间隔着一个约 16 倍的常数级算力差距，而最优参数量约为自回归的一半。同一份工作里，1.1B 扩散模型在 GSM8K 上拿到 58.5，Llama-2 7B 是 58.6，用的是后者不到 5% 的预训练算力。斜率可比与常数因子落后是两件事情。SMDM

图注：左图是损失随算力的幂律下降，扩散与自回归两条拟合线几乎平行，中间隔着一个恒定的算力差距；右图是最优参数量随算力的增长，扩散的最优规模约为自回归的一半。斜率可比与常数因子落后同时呈现在这一张图里，但不要从图上读出具体的斜率指数。SMDM

从零训练也不是唯一路线。Dream 7B 从 Qwen2.5-7B 的权重初始化，再叠加 token 级的自适应噪声调度，只用了约 580B tokens，约为 LLaDA 训练量的四分之一，就在多项基准上取得可比质量。这条路线说明扩散模型可以直接借用成熟的自回归权重起步。Dream 7B

图注：左侧是自回归模型按位置从左到右逐个生成，右侧是 Dream 在同一序列上以 shift 方式同时生成全部被遮位置，两边因此在结构上对齐，可以直接复用已有的自回归权重。这张图说明扩散模型可以从成熟的自回归权重起步，而不是只能从零训练。Dream 7B

把规模这条线推到 1.7B 的最新一份跨家族结果，结论更细：在同一个算力预算下，masked diffusion 需要约 16 倍自回归算力才能匹配验证损失，另两个离散扩散家族分别要约 23 倍和 32 倍；但换到 GSM8K 的 SFT 评测，那个需要 23 倍算力的家族反而拿到 65.8，超过自回归的 62.9 与 masked diffusion 的 58.8。而在六项 likelihood 综合评测里，自回归 1.7B 全部第一。这两个结论都要带上限定：实验只在 1.7B 规模，而且三个扩散家族都出自同一个作者团队，属于自评。Scaling Beyond MDLM

图注：扩散语言模型的方法谱系被铺成连续、离散、多模态三栏，并在底部标出工业界的尝试节点，其中就包括 Mercury 系列。这份时间线只覆盖到 2025-09，Mercury 3 与 2026 年的后续节点都不在其中。dLLM Survey

步数一降吞吐就涨、质量就掉，工程补丁只能把这笔账补回一部分

步数、并行度、KV 缓存三者互相牵制，工程手段可以把速度补回来，但取舍曲线本身不会消失。

步数是这根主轴本身。Dream 7B 在 Countdown 任务上把 5 到 20 步之间的每一个档位映射成一个取舍点：步数减少，速度上升，准确率下降，曲线由模型自己沿步数滑动。同一张图上，Dream 7B 在 5 到 20 步区段落在自回归基线的右上方，也就是同时更快、更准。这份结论只在 Countdown 一个任务上成立，论文也没有给出绝对吞吐。Dream 7B

图注：同一条曲线上的每个点是一个去噪步数档位，横轴是生成速度，纵轴是 Countdown 任务的准确率，自回归基线是单个点。曲线说明步数是一个可以拧的旋钮，往快的一侧拧准确率会下降，但下降幅度可控。图中没有给出绝对吞吐数值，结论也只在 Countdown 这一个任务上成立。Dream 7B

工程上确实能把 KV 缓存捡回来一部分。Fast-dLLM 的思路是块级近似缓存：块开始前算一次前缀的 KV 供块内所有 step 复用，块结束后整体更新；更进一步的一级叫 DualCache，它把块后面那段全遮蔽的后缀也一起缓存，因为后缀在块内始终全是遮罩、不随 step 变化，它的 KV 激活在相邻 step 之间高度相似，可以安全地近似复用。配合按置信度阈值决定这一步解除多少词元，它在 LLaDA 上相对原生实现拿到 11 倍吞吐，在 8-shot 前缀加 1024 生成长度的条件下端到端到 27.6 倍。三个限定必须一起读：这是 A100 单 batch、没有用任何推理加速框架，参照物是原生 LLaDA 而不是调优过的自回归推理引擎，而且 DualCache 依赖「后缀全是遮罩」这个结构前提，换到 uniform-state 家族就不能直接迁移。Fast-dLLM

图注：块级近似 KV 缓存的两级做法。左侧只缓存前缀，前缀的 KV 在一个块内的多个 step 之间复用、块结束后整体更新；右侧同时缓存前缀与全遮蔽的后缀，因为后缀在块内始终全是遮罩、不随 step 变化，它的 KV 激活在相邻 step 间高度相似，可以安全地近似复用。这个前提一旦不成立，这一级缓存就不能照搬。Fast-dLLM

图注：加速被拆成可归因的几块：缓存与并行解码各自贡献多少、组合之后在更长的前缀与生成长度下差多少。图中两个加速倍数的实验条件不同，不能混为一谈；它们都是相对原生 LLaDA 的加速，不是相对成熟推理引擎的速度对比。Fast-dLLM

把视角拉到跨家族，取舍的形状更清楚。在 1.7B 规模上，自回归守住低吞吐、最高样本质量的那一端，另外两个扩散家族分别主导中等吞吐与更高吞吐区间，前沿曲线由不同家族分段占据。这说明「选家族」与「选范式」是两个问题，也不能读成扩散已经全面胜过自回归。同样要标注：这份结论来自 1.7B 规模的自评对比。Scaling Beyond MDLM

图注：横轴是吞吐，纵轴是生成困惑度，越低越好，四条曲线分别代表自回归与三个扩散家族在不同算力预算下能达到的最大吞吐。前沿由不同扩散家族分段占据，自回归守住低吞吐、最高样本质量的一端，不能读成扩散已经全面击败自回归。Scaling Beyond MDLM

在服务栈里，扩散 LLM 最站得住的位置是被按词元调用的并行草拟器

扩散 LLM 在服务栈里最站得住的位置，是被按词元调用的并行草拟器，以及延迟敏感场景里的实时 worker。这个结论与「强模型编排 + 快模型填充」的分工设想方向一致，但要判断那个设想成不成立，先得把三种经常被混为一谈的机制拆开，因为它们作用在不同粒度上，回答的是不同问题。

级联推理是一种词元级让渡机制，不是任务责任分层。Faster Cascades

图注：两种机制在曲线形状上的差别。级联类曲线在中段让渡率下能越过只用大模型的水平线，因为让渡决策直接优化最终质量；投机解码是一条几乎贴在大模型质量线上的直线，它保证输出分布不变，代价是每次调用大模型要为多个草拟词元同时打分。这份实验只在 T5 与 Gemma 上做，不能据此推断扩散模型做 worker 时会有同样形态。Faster Cascades

纯自回归栈里的编排加 worker 长什么样，有一份现成的工程模板：路由中心统一接收请求并编排 prefill、草拟、验证、回滚的完整工作流，模型池负责异构模型的装载与分配，状态管理模块维护 KV cache 并支持低开销的精确回滚，性能监控与调度器构成自适应回路。它把「分层服务栈」从口号变成可对照的结构，选链开销始终低于 5 毫秒。但它的模型池明确限定在自回归模型族，论文作者也把跨架构推测列为未来工作，所以它说明的是这个模式在工程上长什么样，不是扩散模型怎么融进去。SpecRouter

图注：一个编排加多级 worker 的推理栈结构：路由中心协调编排，模型池负责异构模型的装载与分配，执行器与几个处理器构成数据平面，状态管理模块维护各模型的 KV cache，性能监控与调度器构成自适应回路。需要留意的是它的模型池限定在自回归模型族，不包含扩散模型。SpecRouter

真正把扩散模型放进同一条生成序列的是跨范式路由这一支。做法是同一个目标模型后面同时挂着自回归树草拟器与扩散块草拟器，由一个词元级路由按当前上下文二选一，候选词元再回到目标模型做并行验证。它把切换开销压到每轮延迟 7% 以内，相对纯自回归草拟器最高拿到 69.6% 的吞吐改进，相对纯扩散草拟器最高 37.3%。这组结果给出了本章最直接的定位：扩散模型在混合系统里的现实形态是可被按词元调用的并行草拟器子模块，而不是独立承担一整段推理。WhiFlash

图注：跨范式的版本。同一个目标模型后面同时挂着自回归树草拟器与扩散块草拟器，由词元级路由按当前上下文二选一，候选词元再回到目标模型做并行验证。扩散在这里是一个可被调用的子模块，而不是承担整段推理的主干。WhiFlash

厂商自己的产品矩阵其实已经回答了同一个问题。Inception 给 Mercury 3 的早期用例全是延迟敏感场景：浏览器代理、互动教育、实时搜索代理、客服；它另外立了 Mercury Voice 与 Mercury Decide 两个专用模型，前者针对语音应用与首答词元时间的极端低延迟要求，后者面向高并发分类。旗舰没有被放在推理主脑的位置上，这与「实时工人」的定位是自洽的。Mercury 3

要评估下一个同类模型，可以用四把尺子。第一，步数与质量的那条曲线有没有被第三方独立复现，而不只是出现在发布公告里。第二，1M 上下文究竟怎么读，KV 策略是否公开，因为双向 attention 与 KV 复用的冲突是结构性的，不会因为参数变多就消失。第三，参数量扩了 40 倍这句话到底算进了什么，是参数、训练词元量还是训练算力，公告没有说明。第四，在你的栈里它是做填充式 worker 还是主脑。

按这四把尺子量下来，答案不是二分的。Mercury 3 在延迟敏感的短轮任务上有明确位置，把它当推理主脑则缺少独立证据，尤其在长链推理是否追平自回归这一点上，目前没有第三方验证。第三方博客给的那句提醒可以直接拿来当操作准则：先用你自己的 prompt 跑过，再考虑换掉生产里的助手。Curiosity

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Diffusion at Scale: Introducing Mercury 3 — https://www.inceptionlabs.ai/blog/introducing-mercury-3
2. Mercury: Ultra-Fast Language Models Based on Diffusion — arXiv:2506.17298
3. Simple and Effective Masked Diffusion Language Models — arXiv:2406.07524
4. Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models — arXiv:2503.09573
5. What a diffusion LLM is, and what Mercury 3 is like to run in a workspace — https://blog.curiosity.ai/blog/2026-10-mercury-3-diffusion-llm
6. Scaling up Masked Diffusion Models on Text — arXiv:2410.18514
7. Large Language Diffusion Models — arXiv:2502.09992
8. Dream 7B: Diffusion Large Language Models — arXiv:2508.15487
9. Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding — arXiv:2505.22618
10. Scaling Beyond Masked Diffusion Language Models — arXiv:2602.15014
11. A Survey on Diffusion Language Models — arXiv:2508.10875
12. Faster Cascades via Speculative Decoding — arXiv:2405.19261
13. WhiFlash: Accelerating Speculative Decoding with Token-Level Cross-Paradigm Routing — arXiv:2606.07710
14. SpecRouter: Adaptive Routing for Multi-Level Speculative Decoding in Large Language Models — arXiv:2505.07680