BloomBloom
发起研究

Flow Matching 采样到第 50 步，解题能力并没有跟着涨

采样步数不等于推理深度：这篇论文先证伪了最诱人的那个直觉

这篇论文要证明的是：让 Flow Matching 多跑几十步采样，并不等于让它多想几十步。它先用电路复杂度推翻「K 步采样就是 K 步链式推理」这个直觉，证明在常数深度的主干网络下，vanilla flow matching 的 K 步采样轨迹可以被常数轮并行模型调用模拟掉，加步数只改变数值精度，不改变模型能算的问题集合。随后它给出一个几乎不增加参数的修复：把每一步的端点预测喂回下一步，同一个主干的上界就能抬到 PSPACE/poly。三个复杂度已知的合成任务加五个结构化视觉推理任务验证了这个分离。论文 2026 年 10 月以预印本发布，投稿 ICLR 2027。SelfCondFM-2610

这个直觉之所以诱人，是因为 Flow Matching 的采样循环看起来确实像一条推理链。采样的每一步都做同一件事：用速度场网络看当前位置，问「这里该往哪个方向走」，然后沿这个方向挪一小步，K 步之后噪声被搬运成数据。每一步的输入都是上一步的输出，串起来正好是 K 次顺序的模型调用，和一句一句写出思维链的形式几乎一样。Flow Matching

图注：五个横向子图展示条件速度场在不同时刻的几何形态。最左一格用渐变背景标出起点 p_0 与目标点 x_1，右边四格是黑色短箭头构成的向量场，箭头方向就是当场速度场的方向；从左到右对应 t 从 0 走到 1。原图缺坐标轴与分格标签，需要靠正文补读法。Flow Matching

论文把这个问题的问法换掉了。它不问「步数多了生成质量好不好」，而问「步数多了，模型能计算的问题集合有没有变大」。这是一个复杂度视角的换法：如果一套模型能判定的问题集合不变，那么把 K 从 10 加到 50，换来的只是同一件事做得更精确，而不是模型变得会做更多事。Flow Matching 框架内部还有另一条平行分支叫 rectified flow，它换的是训练时的路径形状、让轨迹更直，与这里讨论的「步与步之间传什么」是两个层次的问题。Rectified Flow

为什么加步数没用：K 步采样能被常数轮并行模型调用模拟掉

在主干深度固定的前提下，vanilla flow matching 多跑多少步都不会变得更「深」。论文的 Theorem 1 给出的结论是：如果速度场由某个常数深度电路类 D（例如 AC0 或 TC0）计算，并且满足 B-bounded 与 L-Lipschitz 这两条温和的正则性假设，那么 K 步 Euler 采样能接受的语言仍然落在同一个 D 里。换句话说，ODE 迭代本身不带来新的表达力。SelfCondFM-2610

机制藏在每步位移的大小上。K 步采样里每一步只挪 O(1/K)，所以整条轨迹在每一步上都没有太多新信息。论文的 Lemma 1 用一组并行的 Picard 迭代把这 K 个位置一起修正：跨轮的误差以阶乘速率衰减，把 Lipschitz 常数 L 当成常数看，O(L) 轮并行调用就能收敛到同样的结果。K 步顺序执行，因此可以被常数轮并行执行模拟掉，而常数轮并行不改变电路复杂度类。这个「并行不增加深度」的图景在 transformer 上早有现成结论：log-precision softmax transformer 落在 uniform TC0 里，常见的综述把它和更严格的 unique hard-attention 结果放在同一张表上，后者落在 AC0 里。Parallelism TradeoffStrobl et al. 2024Hao et al. 2022

要读懂这里的深浅，只需要知道几个类的大小关系。AC0 大致是「足够多的并行处理器能在常数时间内判定的问题」，门电路只允许 AND、OR、NOT；TC0 多了一类多数表决门，因此严格更大；再往上是 NC、P/poly（多项式规模电路，允许每个输入长度给一小段额外提示）、PSPACE/poly。层级图从上往下逐级变大，越往下能算的问题越多。

Theorem 1 的意思就是：VanillaFM 的采样循环和它的主干落在同一个格子里。NFE 实验把这句结论落到了曲线上。

图注：横轴是 NFE（速度场评估次数，从 1 到 50），纵轴是 line tracing 上的 mean LCP。两条曲线起点都为 0：VanillaFM 小幅上升后压平在 7 至 8 附近，直到 NFE=50 仍未回到 8 以上；SelfCondFM 则持续上升，在 NFE=10 附近已接近 50。SelfCondFM-2610

VanillaFM 在 NFE=6 时 mean LCP 只有 7.66，NFE 加到 50 仍然不到 8.0。这就是「加步数只改精度、不改能力」在实验里的样子：曲线不是上升变缓，而是直接封顶。要让它真的变深，需要换掉步与步之间传递的东西。

把上一步的端点预测喂回去，采样步才真的变成推理步

打破常数深度塌缩的关键不在「看得更多」，而在「传递的东西可以跳」。论文的 Algorithm 2 在每步多做一件小事：用当前状态 x_i 和当前速度 v_i，直接外推到 t=1，得到一个端点预测

$$z_{i+1} = x_i + (1-t_i)\cdot v_i$$

然后把 z_{i+1} 拼接到下一步的条件输入里。这一点改动就是整篇论文的核心。SelfCondFM-2610

z 与 ODE 状态 x 的本质差别在于约束。x 每一步只能挪 O(1/K)，被步长死锁在一条细网格上；z 没有这个限制，它是对「最终答案长什么样」的完整猜测，可以在两步之间任意跳。这就像解一道需要几十步的题时，不只在草稿纸上记「当前写到哪个字」，而是每一步都写下一份「我认为最终答案是这样」。下一笔还能参考上一步的完整猜测大幅修正，而不是只能沿着固定的小格走。用论文的措辞，z 是一个内禀 scratchpad。注意图里的节点数只是示意，不是论文承诺的最小步数。

图注：自条件的闭环示意。状态 x_i 与时间 t_i 送入速度场网络 u_θ，得到速度 v_i；再由 x_i 沿 v_i 外推到 t=1 得到端点预测 z_{i+1}，它被拼接到下一步的条件里，形成循环。SelfCondFM-2610

self-conditioning 这个术语不是本文发明的。它来自 Chen 等人 2022 年的 Analog Bits，那里它扮演的是经验性正则器：训练时以 50% 概率把自条件输入置零并做 stop-gradient，推理时全程开启，效果是改善少步采样的图像质量，论文没有给出任何复杂度层面的解释。RFdiffusion 后来把同一招用到蛋白 3D 结构生成里，每步把上一帧的坐标预测当作模板输入，实测让 200 步轨迹更连贯。跨步信息复用因此不算新想法，本文的新意在于第一次为它给出理论。相邻的另一条路线让每个 token 拥有独立的噪声级别、把跨步信息吸收进训练分布本身，而不是显式加一条前步预测通道，出发点相同但做法不同。Analog BitsRFdiffusionDiffusion Forcing

有了这个机制，Theorem 2 就能给出上界：在一个 AC0 主干上加上 self-conditioning，poly 步采样可以接受 P/poly 里的语言，最多 2^poly(m) 步可以接受 PSPACE/poly 里的语言。证明是构造性的，让采样器模拟一台带建议的图灵机，z_i 充当纸带和状态，每次模型调用把纸带推进一个机器步。这里必须说清楚：这是存在性结论，它说明「这类模型能达到的上限在哪」，不等于训练出来的模型真的获得了 PSPACE 级推理力。

在复杂度已知的任务上，SelfCondFM 全面拉开差距，并随步数持续上升

理论预测的分离在实验里真的出现了。论文挑的三个合成任务都有已知的电路复杂度等级，这一点很重要：任务难度是被独立标定过的，所以两条曲线之间的差距可以归因到方法，而不是归因到任务恰好更适合谁。line tracing 属于 NC1-complete，long multiplication 与 long text rendering 属于 TC0-complete。实验采用 FLOPs-matched 配对，两种方法共享主干、数据、优化器与噪声调度，唯一差别是 SelfCondFM 多接收上一步端点预测这一个输入，比较时用累计训练 FLOPs 对齐。

图注：顶行是三个合成任务各自的输入与目标样例（line tracing 的彩色折线、long multiplication 的竖式、long text rendering 的文字排布），底行三组曲线把性能画在同一训练 FLOPs 轴（对数刻度）上。每组都同时画 VanillaFM 与 SelfCondFM，后者在三个任务上都明显更高。SelfCondFM-2610

结果很干脆。line tracing 在 100 NFE、1.10×10^{18} 累计训练 FLOPs 处，SelfCondFM 的最长正确前缀达到 50，VanillaFM 平台停在 8 附近；long multiplication 上 SelfCondFM 用一半的预算就超过 90% 准确率，VanillaFM 在整个评测范围内都没达到；long text rendering 上 SelfCondFM 持续上升，VanillaFM 几乎停在 0。这不是「好一点点」，而是两种行为：一种会随预算增加持续变强，另一种早早焊死在原地，和 Theorem 1 的预测一致。

五个结构化视觉推理任务上也是一致的提升。评测套件来自 DiffThinker 的 VSP/VSP-Super、Maze、TSP、Sudoku、Jigsaw，覆盖顺序规划、组合优化、约束满足与空间配置四类问题，评价的是每个格子或数字是否填对。DiffThinker 受控对比里 SelfCondFM 平均 76.7%，比 VanillaFM 的 65.9% 高 10.8 个百分点，其中 TSP 提升 15.7、Sudoku 提升 19.5 最大。把主干换成 20B 的 Qwen-Image-Edit-2511 后，任务专用平均达到 90.0%，一个适配器联合训练四个任务平均 90.2%。

机制层面还有几组证据说明 z 不是装饰性的 conditioning。第一层 attention 分配给 z 的比重从早期的 31.3% 单调下降到后期的 20.0%，说明模型在噪声主导的早期最依赖这份端点猜测。在长乘法上中途把条件换成另一个问题，SelfCondFM 能在轨迹前半段就地重定向到新问题上，等价于在采样过程中改题而不用重来。

它给「生成即推理」补上了理论解释，也划清了自己覆盖不到的边界

这篇论文的设计原则可以总结成一句：让每一步携带更多信息，额外步数才会翻译成更深的推理。它把「多步生成能不能变深」从一个经验直觉变成了可判定的复杂度问题，并给出一个极小的修复。这个思路并不孤立。TwGI 走的是另一条路：让模型先生成中间视觉子目标、再合成最终图，把生成出来的图本身当成推理步骤，在 GenEval 的 Two Obj. 子项上把分数从 0.38 提升到 0.57；SRM 则是在扩散采样里让模型自己决定先细化哪个变量，同一训练权重、只换采样顺序，就把 MNIST Sudoku hard 从 0.8% 提到 51.6%。三篇的实现完全不同，共同点都是「步骤本身带来新信息」。TwGISRM

图注：TwGI 在 GenEval 上的长多模态思维过程示例。模型从输入 prompt 出发先生成文本规划，再依次生成多个中间视觉子目标图像，最后合成一张包含所有物体的最终图，框线与标签标出每个规划步骤及其对应的视觉中间步。TwGI

边缘也要说清楚。论文里能分成三层。有定理保证的，是 VanillaFM 的常数深度塌缩和 SelfCondFM 的 P/poly 与 PSPACE/poly 上界；只在实验里看到的，是这 8 个任务上的一致分离，没有独立复现报告；论文没有证明的，是训练出来的模型真的获得了完整的 PSPACE 级推理力。Theorem 1 依赖 B-bounded 与 L-Lipschitz 这两条正则性假设，而且只分析了 Euler 采样；PSPACE/poly 上限刻画的是最坏情况下的表达能力。评测本身也只覆盖合成任务与结构化视觉推理，数学、代码、通用语言推理这类更广的多步任务没有涉及。

判断可以说得很直接：如果你在做多步生成的任务，这篇论文给的信号是别指望单纯堆采样步数，要让步与步之间传递的信息本身可跳、可复用；如果你关注的是「生成即推理」这条路线，它提供的是第一个把这条路线放进复杂度框架里的坐标，而不是一个已经在通用推理上验证过的方案。

想深入可以读原文：Self-Conditioning Enables Deep Sequential Reasoning in Flow Matching — arXiv:2610.19628

参考文献

Flow Matching 采样到第 50 步，解题能力并没有跟着涨