VGI-Bench：怎么判断视频生成模型是真会推理，还是只演得像？

视频生成模型真的会“想”吗？

试着想象这样一个提示词：给一张迷宫图，红点在左上角、绿点在右下角，然后对视频生成模型说，让红色圆点沿着白色路径滑动，稳稳停在绿色圆点上。这个模型从没被训练过解迷宫，可它生成的视频里，红点真的左拐右拐、穿过通道、停在终点。

这是 2025 年 Veo 3 论文里的一个画面，也是这场争论的起点，而 Veo 3 距离 Veo 2 发布只隔了约半年，能力的爬升速度让人坐不住。研究者给 Veo 3 准备了一长串它从未见过的任务：图像分割、边缘检测、数物体、走迷宫、做视觉类比，一共 62 个定性任务加 7 个定量任务，生成了超过 1.8 万条视频。模型在相当一部分任务上交出了非平凡的结果。论文由此提出一个猜想，并起了个响亮的名字：Chain-of-Frames（CoF），帧链。语言模型靠一串 token 做思维链，视频模型则靠一帧帧的画面演化做“视觉思维链”：既然变化逐帧发生，帧序列本身就是一条推理链 Veo 3 零样本。

可细看数字，事情就没那么漂亮了。还是迷宫，同一道题让模型试 10 次，Veo 3 在 5×5 的网格上有 78% 的成功率，Veo 2 只有 14%；可如果只给一次机会，成功率系统性地下跌一大截。多试几次就会、一击即中很难，这是典型的“有能力但不稳定”。

论文自己的态度也很诚实：这些数字只能当能力下界看。同一个任务换一种提示风格，结果波动极大，视觉对称任务里最佳与最差提示词之间的成功率能差出 40 到 64 个百分点。会做，却连一次成功都保不住，这更像撞运气而不是稳定推理。一个容易被忽略的细节是，论文通过 Google Cloud 的提示词改写器调用模型，但作者专门验证过：纯语言模型解不了迷宫、机器人导航这类核心任务，能力的来源确实是视频模型本身。

图注：上面是迷宫示意（红点起点、绿点终点与一条解路径），下面按四种迷宫尺寸分组对比不同模型的 pass@1 与 pass@10：多尝试几次就能解出、一次成功却很难 Veo 3 零样本。

于是研究者站到了岔路口：这些表现，是真的在思考，还是仅仅演得像？请注意，两件事完全不同。末态正确不等于过程正确：红点最后停在终点，完全可能走的是穿墙路线。更微妙的是，“Chain-of-Frames”在原文里用的是 “could be called CoF” 这样的措辞，它是一个类比、一个待检验的猜想，不是被验证过的机制。没过多久，另一拨研究者就提出了相反猜想 Chain-of-Steps（CoS）：视觉推理根本不沿帧展开，而是沿着扩散去噪的步骤展开，模型在一次次去噪里逐步收拢假设，甚至会出现类似“aha moment”的自我纠正 Chain-of-Steps。

两派各执一词，靠什么裁决？缺一把尺子：能把“帧序列是否构成一段有效的推理过程”量化测量的评测。问题随之而来：为什么已有的评测都答不了这个问题？

为什么现有评测测不出“推理”

先看通用坐标系。VBench 是事实上的通用视频生成评测标准，它把“视频生成质量”拆成 16 个维度：动态程度、运动平滑、主体一致性、美学质量、与文本的一致性等等，每个维度外包一个现成专家模型打分 VBench。这些维度问的统统是“视频好不好看、跟提示词对不对得上”，没有一维在问“帧与帧之间是不是一段有效的推理过程”。后来的 VBench-2.0 开始往物理、常识方向扩展，但仍在“通用质量”这个坐标系里打转 VBench-2.0。换句话说，通用评测给再高的分，也不构成推理能力的证据：一个视频完全可以在 VBench 的 16 个维度上全线高分，主体一致、运动平滑、美学在线，同时推理完全错误，迷宫根本没走出来；反过来，一个推理正确的视频，美学上可能平平无奇。两条坐标轴压根不重叠。

第二个缺口更隐蔽、也更致命：末帧评分。V-ReasonBench 这类推理评测走“只看最后一帧”的路线：初始图加提示词生成视频，用 mask 比对、网格比对或 VLM 判断最后一张对不对 V-ReasonBench。省钱省力，代价在逻辑上就注定了：判定器只接触最后一张图，任何没有把末帧带歪的过程错误，它都看不见。这不是判得不够细，而是协议里根本没有“过程”这个变量。数据也显示同一模型在不同任务域表现各异：Sora 2 在结构化问题求解上拿到 72.00，物理动态只有 26.67。但这个反差说明的是它擅长哪类题，证明不了推理过程的对错。

过程作弊有多普遍？VIPER 做了一次残酷的对照：同一个任务，分别用“只判末帧”和“全程判分”两种方式打分，Veo 3.1 末帧判定 66% 正确、全程只有 30% 正确，Sora 2 有 46% 的输出在过程上作弊 VIPER。只看最后一帧，等于把“过程作弊”完全隐身。

第三个缺口在输入端。不少推理基准用线稿或抽象示意图当输入，可视频生成模型是在自然图像上训练的。拿线稿去考它，好比让一个只读过彩色照片的人看黑白图纸答题，模型“不会看”会被误读成“不会想”。VGI-Bench 的作者把这一切归纳成三个空白：视觉分布错位、不强制视觉 rollout 推理、难度未校准 VGI-Bench。三个缺口合起来就是一句话：旧评测要么不问过程、要么只看末帧、要么用模型不认识的输入长相，没有一把尺子在量化“帧序列是不是一段有效的推理”。这正是 VGI-Bench 要补的三个空。

VGI-Bench 怎么建：三大原则与两层级分类法

VGI-Bench 用三大原则逐一回应这三个缺口。

视觉先验对齐：任务先用线稿设计好逻辑，再用 GPT-Image-2 或 Nano-Banana-Pro 把线稿生成成照片级输入，人工迭代直到匹配，最后统一成 16:9。对比之下，同类基准里 TiViBench 只有约四分之一的输入是照片级，VBVR-Bench 的输入完全脚本生成，VGI-Bench 全部任务都是自然图像长相。

过程敏感：27 个任务被显式设计成“必须展示中间状态的演化、不能靠末态作弊”，每个任务配一份 reference solution，判分时逐条检查中间帧约束有没有被违反。论文自己统计过：V-ReasonBench 只有约三分之一的任务满足过程敏感，VBVR-Bench 是 47%，VGI-Bench 是 100%。

难度校准：任务建好后，先用 Sora 2、Veo 3.1、Kling 3.0 试跑最易难度的两个实例，要求至少一个模型成功、至少一个失败，让每个任务都落在当前能力边界附近，既不是送分题也不是不可能题。难度校准的用意是区分度：任务太送分，所有模型都满分，排行榜没有信息量；任务不可能，所有模型都零分，同样没有信息量。只有落在能力边界附近，分数才有诊断价值。任务构造还配了人工复核环节，逐条过滤不合规的实例，最终规模是 27 个任务、810 个实例、3 个难度档。

任务怎么组织？VGI-Bench 采用两层级分类法。第一层是 4 个互斥的任务域：Visual Organization（按视觉属性归类与选取物体，比如 pick_unique）、Physical Manipulation（物体级动作与物理交互）、Structured Puzzles（规则约束的视觉谜题，比如走迷宫、解绳结）、Spatiotemporal Dynamics（随时间演化的状态推理）。第二层是 7 个可叠加的技能标签：Spatial、Temporal、Planning、Attribute Grounding、Physics、Topology、Affordance。一个任务必属一个域，却可以同时挂多个技能标签。

为什么必须两层？看单层分类的反例就明白了。TiViBench 用一行四个维度把任务排到底 TiViBench：空间模式任务和组织任务挤在同一行，一旦某个模型整行分数都低，你分不清它到底是空间推理弱还是组织规划弱。MME-CoF 走了另一个极端，12 个维度深挖、却只有 59 个条目、几乎围绕单一模型切片，深但窄 MME-CoF。VGI-Bench 用“域 × 技能”的乘法结构，同时拿到了广度和诊断分辨率。

图注：上半部是按 4 个任务域分组排列的代表性任务首帧，每张图下方是任务名与其技能标签图标；底部图例列出全部 7 个技能标签。图中展示的是代表任务而非全部 27 个任务，技能标签可以多选叠加 VGI-Bench。

到这里，评测对象已经从“最终帧”换成了“演化过程”。这套“域 × 技能”坐标的真正用途要到第五章才显现：后文会先按四个任务域定位每个模型卡在哪类难题，再按七个技能标签诊断它具体弱在哪项能力，第五章的域分数与技能分数正是这套坐标的实际使用。下一个问题接踵而至：怎么自动判定一段生成视频“过程合规”？这是全篇最容易误读的一节。

什么是“有效演化”：判分协议 Comp.×Rub.

判分被拆成两根轴。Completeness（完成度）回答“目标达成了吗”：按任务专属的完成标准，以 2fps 抽帧，让 VLM 判官把结果分成三档，0 失败、0.5 部分完成、1 完成。Rubric Score（合规度）回答“过程合规吗”：每个任务一张专属规则清单，先以 4fps 初扫，发现可疑区段就加密到 8fps 重扫，再用 10 帧滑动窗口精查，每个违规记一数 x，按 1/(x+1) 的衰减惩罚。先粗后细是算力考量：大部分片段 4fps 足够判定，只有可疑区段才值得花力气精查。

拿迷宫任务走一遍：车既要走到终点才算完成度达标，又不能穿墙、不能偏离自己的颜色车道，否则合规度被扣。两条都要过。

关键在于聚合方式：Final = mean(Comp.×Rub.)，乘法聚合。过程完全合规但没走到终点，Rub. 高、Comp. 低，拿不到高分；末态摆到位但全程违规，Comp. 高、Rub. 低，同样拿不到。论文特意指出 mean(Comp.×Rub.) 不等于 mean(Comp.) 乘 mean(Rub.)，两轴不能拆开各自算 VGI-Bench。举个具体的判分场景：一条视频前半段车在乱撞墙，最后几步恰好倒回终点。完成度给 1 分，因为终点确实到了；合规度却被一路的规则违反压得很低，相乘之后总分照样难看。反过来，车规规矩矩沿着正确路线跑，终点却没到，Rub. 满分、Comp. 零分，乘积依然是零。这才是乘法而非加法的深意：任何一维的失败都会被显式放大，而不是被另一维的优秀平均掉。静态蒙混：生成一条几乎不动的画面蒙混过关，被低完成度关掉；末态作弊：只在最后一帧把答案摆对，被低合规度关掉。同一条公式封死了两种偷懒。

判官用的是 Gemini-3-Flash，VGI-Bench 还做了判官与人类偏好的对齐实验，并逐一消融“adaptive 采样”和“滑动窗口”两个组件，证明它们都对对齐人类判分有正向贡献。一个平行参照是 VIPER 的 POC@r 指标：用“目标达成 ∧ 过程合规”的逻辑与定义成功，同样在关末帧漏洞 VIPER。末帧评分高估模型的教训在前，过程敏感正在成为评测共识。

尺子造好了。放在这套标准下，现在的模型能拿多少分？

51.0 对 97.1：最强模型的能力边界在哪

先摆结论。9 款视频模型跑完 27 个任务，榜首 Seedance 2.0 只拿到 51.0 分，紧随其后的是 MiniMax-H3（44.4）与 Kling 3.0（44.0），开源阵营的 HunyuanVideo-1.5、Wan 2.2 显著落后。Structured Puzzles 是平均分最低的一档，多数模型低于 30（但 MiniMax-H3 反而以 50.6 居该域榜首）；Structured Puzzles 任务域、Topology 和 Temporal 技能是最弱的三处。

更刺眼的数字是严格成功率：完成度和合规度都拿满分才算成功。照着这个标准，最强模型 Seedance 2.0 只有 14.0%，人类是 97.1%。差一个数量级，这个差距已经不能用“接近解决”来形容。

这个问题为什么现在尤其要紧？视频生成模型正在密集发布，厂商自评满天飞，正需要一把独立、过程敏感的尺子来核实能力声明。论文顺带测了 11 款图像生成模型，把推理问题交给一张静态图，最佳 Nano-Banana-Pro 拿到 55.0 分，最差的一档只有 0.8 分：这条路同样远未走通。

51.0 和 14.0 这两个数字怎么读？它们不是“差一点就及格”：Final 是每个实例完成度乘合规度的平均，任何过程的差错都会被乘法放大，51.0 分意味着平均下来每个任务都要丢掉近一半的分数。14.0% 的严格成功率更直白：从头到尾完全合规地解出题目的视频，十个里不到两个。

但分数只是起点。论文接下来干了一件很扎实的事：逐个替模型找借口，再逐个否掉。

借口一：“也许它只是偶尔出错，末态还是对的。”否。模型有三类典型的失败模式：物理崩塌，笔记本倾斜着，杯子却稳稳躺在盖上不滚下来；规则违反，多色车道里车直接跨越隔离墙；对象状态不一致，走迷宫走到一半凭空多出一辆车 VGI-Bench。注意扣分全发生在过程层而不是末态：车在动、画面流畅，但推理链条在中间断掉了。这些案例共同提示：局部画面流畅不足以保证全程一致性，物理与对象状态在目标驱动的任务里仍会中途断裂。至于模型内部是否编码了局部动态、根因到底在哪，论文没有据此下判断。

图注：三条横向帧带从左到右分别展示一类失败：(a) 笔记本倾斜但杯子不滚落、(b) 多色车道中车跨越隔离墙、(c) 迷宫里凭空多出一辆车。这是代表性案例，不是全样本频率统计 VGI-Bench。

借口二：“也许提示词没写清楚。”否。把 ground-truth 的逐步解法整个写进 prompt，也就是 oracle prompting，闭源模型只有有限增益，基础能力弱的 HY1.5 几乎不动。反过来做输入敏感性实验：把照片级输入换成线稿，开源模型分数明显下滑，连模型排名都变了。输入长相换一换，能力就原地蒸发。不过结论要限定范围：在本文测试的提示增强和照片/线稿替换这两种条件下，换条件并不会让“不会”变成“会”。顺着敏感性推一步，生产环境里若改动输入风格，用户感知到的能力也可能天差地别。

借口三：“也许补点合成数据微调一下就上去了。”部分是，但只限见过的题型。论文用 VBVR 的 LoRA 微调模型做迁移实验，VBVR 是当前唯一同时提供百万级视频训练数据和开源微调模型的工作 VBVR。结果：与训练集结构高度重叠的任务增益巨大，Structured Puzzles 涨了 41.6、Planning 涨了 33.7；但时间依赖强的技能反而退化，Temporal 掉了 11.2；另一个开源模型的非重叠组整体从 25.6 跌到 22.0。合成数据补得上“见过的题型”，补不出没见过的新技能。论文还注意到一个反例：“解绳结”任务微调后整体成功率几乎没变，合规度却从 0.02 涨到 0.34。合成数据未必能让它解出绳结，却能让它少犯规则错误，行为更受控。

最后看一眼榜首的厂商报告。Seedance 2.0 在自家 SeedVideoBench 2.0 上 T2V、I2V、R2V 三类任务所有维度都排第一 Seedance 2.0。但那是另一把尺子：它量的是画质、多模态可控性和主观偏好，不是推理过程，两套分数不可换算。何况厂商自己也在报告里承认边缘运动物理不可靠、多说话人场景对口型对不齐等瑕疵。自家评测第一和独立过程评测 51.0 分，讲的是两件事。

这些失败到底卡在哪一环？顺着生成过程往里看，是最锋利的一刀。

去噪轨迹上的真相：自纠几乎不存在

视频生成模型的本质是扩散去噪：从一团噪声出发，几十步内逐步去噪出清晰画面。那推理到底发生在哪一步？如果模型真的在“想”，早期画错的地方，后期应该有翻盘的机会。

VGI-Bench 对 4 款开源模型做了这样一个解剖：在默认 40 步去噪里，沿 1→2、2→3、3→4、4→10、10→20、20→40 六组步区间解码中间帧，把每一对帧的状态标成不可读、稳定、变了三大类，其中“变了”再细分为对→错、错→对（自我纠正）、错→错′（一个错误假设被另一个错误假设替换）。117 个实例乘 6 组步区间，一共 702 对视频帧。

结果令人不安。错→对的自我纠正全程不到 1%，最高只有 0.9%。在这 4 款开源模型、117 个实例的解码轨迹里，早期形成的解状态此后很少被纠正，模型画错之后几乎从不回头。那它错的时候在干什么？在错误状态之间跳来跳去：4→10 和 10→20 两个区间的错→错′ 跳转高达 23.1% 和 24.8%，比自纠高一个数量级。到了后段，稳定率一路爬到 90.6%，画面几乎不再变化。把这种轨迹概括成“早期锁死假设、后期只细化”，是与观测一致的解释；严格说，Table 7 实测的是解状态的变化与稳定，模型内部是否真的固化了某个表征，这层机制没有被直接观测到。

按论文的原始统计口径整理（论文 Table 7）。

图注：上下两段分别对应 pick_unique 与 maze 两个任务：每段左帧是去噪早期（step 2 或 3）、右帧是末期（step 40）。视觉上早期与末期的解状态高度相似，呼应“自我纠正不足 1%”的统计结论 VGI-Bench。

这里必须点破一个反常：Chain-of-Steps 那篇论文报告的恰恰是“存在自我纠正、存在 aha moment”，早期多路径同时探索、中期剪枝、后期定案 Chain-of-Steps 机制。那不是孤例：CoS 论文人工检查了 200 个生成例子，72% 表现出多路径探索或叠加式探索这类 step 级涌现行为。两篇结论表面上打架，其实观察的根本不是同一个东西：VGI-Bench 数的是最终解状态，也就是这个视频最后到底有没有解对，看的是“错误假设一旦锁定还会不会翻盘”；Chain-of-Steps 看的是中间候选层的选择，也就是同一步里多条候选路径并存、逐步淘汰次优的那层，看的是“锁死之前有没有探索”。一句话说清：CoS 所见的候选并存与剪枝，提示锁定之前可能有探索，但它与 VGI-Bench 的错→对统计口径不同，不能据此直接比较自纠频率。更有意思的是，VGI-Bench 的 §5.4 正是把 Chain-of-Steps 一系的“后期自纠”假说当作对照对象来检验的；两个视角互补，但“自纠到底有多常见”要想有定论，还缺一套同口径的验证。

图注：迷宫任务的帧序列上，同一时刻并存的多个候选路径被彩色框标出，随去噪推进逐步剪枝，最终收敛到一条通向目标的确定路径。这是 CoS 假说的机制示意图，不是 Chain-of-Frames 的图示 Chain-of-Steps 机制。

VGI-Bench 自己也有四条边界：只覆盖 5 到 10 秒的短视频；只测 image-to-video，还是固定 16:9；prompt 和 rubric 全部是英语；任务是代表性而非穷尽枚举，模型能力涨了之后需要扩展。而且闭源模型的去噪内部根本观测不到，Table 7 只测了 4 款开源模型。这些边界意味着榜单上的分数只在“英文 prompt、照片级首帧、5 到 10 秒、image-to-video”这个狭窄窗口里成立，换成别的语言或更长的任务，结论未必照搬。

所以答案是什么？当前模型大部分时候是“演得像”：末态能摆对，过程却很少在早期画错后翻盘。在这 4 款开源模型、117 个实例的解码轨迹里，早期形成的解状态此后鲜少被纠正；要不要把它解释成“早期假设锁死、错了不回头”，取决于是否相信帧状态的稳定映射着内部表征的固化，Table 7 只证明了前者，后者只是一种与轨迹一致的解释。51.0% 和 14.0% 把“看起来会”和“真的会”之间的差距量化成了数字。评测从来不是终点，它是一台把能力边界画出来的诊断仪。而 Chain-of-Frames 与 Chain-of-Steps 到底谁对谁错，VGI-Bench 给出的不是答案，是一把能让答案被测量出来的尺子。对训练和架构来说，它还顺手指了一个方向：如果去噪早期形成的解状态几乎不再被纠正、后期只剩细化没有翻盘，那推理能力要从哪里长出来？这个问题已经超出评测的职责范围，留给下一代架构去回答。

想深入可以读原文：VGI-Bench: Probing Visual Intelligence in Video Generation Models — arXiv:2608.19583

参考文献

• VGI-Bench: Probing Visual Intelligence in Video Generation Models — arXiv:2608.19583
• Video models are zero-shot learners and reasoners — arXiv:2509.20328
• VBench: Comprehensive Benchmark Suite for Video Generative Models — arXiv:2311.17982
• VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness — arXiv:2503.21755
• TiViBench: Benchmarking Think-in-Video Reasoning for Video Generative Models — arXiv:2511.13704
• V-ReasonBench: Toward Unified Reasoning Benchmark Suite for Video Generation Models — arXiv:2511.16668
• Are Video Models Ready as Zero-Shot Reasoners? An Empirical Study with the MME-CoF Benchmark — arXiv:2510.26802
• Demystifying Video Reasoning — arXiv:2603.16870
• Beyond the Last Frame: Process-aware Evaluation for Generative Video Reasoning (VIPER) — arXiv:2512.24952
• Seedance 2.0: Advancing Video Generation for World Complexity — arXiv:2604.14148
• A Very Big Video Reasoning Suite (VBVR) — arXiv:2602.20159