PAWBench：同一枚硬币重拍50次，11个视频模型没一个掷出对半开

同一个起点重拍 50 次：一条『看起来对』的视频，凭什么不算数？

桌面上平放着一枚硬币，没有任何人碰它。你让视频生成模型"把硬币弹起来，让它翻转落地"。模型吐出第一段视频：硬币旋转、翻滚、哐当落在桌面，正面朝上。非常自然。再让它生成一次，这次落在背面朝上。也非常自然。

然后你让它从同一个起点连拍 50 次，把结果放在一起数。真硬币抛 50 次，应该大致 25 次正面、25 次背面。模型的 50 条视频却不是这么回事：正面和背面远不呈对半开，有时某个结局占掉压倒性多数，有时还出现真硬币几乎不会有的结果，硬币立着不倒下。

单看任何一条视频，你都挑不出毛病。毛病藏在 50 条放在一起看的时候。这正是"一条看起来对的视频凭什么不算数"的答案：单条视频再自然，也证明不了模型学会了世界的概率。要证明，只能固定同一个起点、同一条指令，反复采样，看落点分布是否和真实世界一致。

这正是视频生成模型今天被寄予的位置。过去两年，视频生成的主战场从"能出片"移到了"能当世界用"：自动驾驶公司拿生成视频做规划仿真，机器人实验室用它合成训练数据，游戏团队拿它做可控的场景推演。生成式仿真能省下大规模真实数据采集与标注的开销，这让世界模型（world model）正在从论文里的概念变成工程上的基础设施。基础设施的要求和玩具不一样：它不能只产出好看的未来，还得产出对的未来、对的分布。而"对的分布"意味着要把随机性也学对。谁负责证明这件事？至今没有一把合适的尺子。

新基准 PAWBench 测的就是这件事。论文由上海交大、上海人工智能实验室、Krea AI、Hugging Face 等七家机构合作，2026 年 8 月 27 日提交 arXiv 2608.27345。按论文排版推断它投的是 ICLR 2026，接收状态待定，目前只有 arXiv 版本可读。论文用一句话立起全部主张：一条 plausible 的未来不够，单条视频看起来像真的，证明不了模型学会了世界的概率。为了把这句话变成可以量化检验的东西，论文给出了正式定义，叫概率对齐（probabilistic alignment）：模型输出的概率分布，应该和真实世界一致。PAWBench

图注：论文 Fig.1 的概念图。单条 rollout 看起来物理上完全合理，但同一初始观察和动作下重复 rollout 会暴露概率不对齐的世界：结果挤在窄小的未来子集上，而非匹配合法的随机支撑。PAWBench 评的是重复采样诱导出的分布，而不是一条样片。PAWBench

它把问题问得比"这条视频像不像真的"深一层，问的是 50 条视频摆在一起分布对不对。那问题就来了：现在的评测都在怎么测？为什么它们看不见这一层？过去验证一个视频模型，流程是抽几条视频、请人打分、出一份榜单。PAWBench 把流程整个改掉：固定住起点和动作，逼着模型把未来一遍遍重放，直到它的概率性子暴露出来。性质变了，前者是在看样品，后者是在做统计检验。

真实世界掷硬币是五五开，模型就得在 50 次里给出接近 25 比 25 的频率；真实世界里小概率事件一年发生一次，模型就不能把它压缩成永不发生。

现有评测都在给单条视频打分，分布这一层没人测

主流视频评测做的事，可以概括成一句话：拿一条视频，打一个分。质量榜看画质和连贯性，世界模型榜看物理合不合法、指令跟没跟。这类评测叫 per-sample plausibility（逐条合理性），分辨率天生只有一条视频。打分器再准，也问不到"同一起点重复采样 50 次的频率"。

这条路线不是某个团队做得不好，而是整个方向的结构性盲区。最有代表性的是 WorldModelBench，它由 UC Berkeley 与 NVIDIA 合作，原文标注为 CVPR 2025 投稿版。它做了 350 组条件、7 个应用领域、67K 条人类标注，从指令跟随、物理遵守、常识三个维度给单条视频打分。物理那一维尤其卖力，五条评分定律覆盖了惯性、质量守恒、流体、不可穿透与重力。WorldModelBench 一口气评了 14 个前沿模型，还配套一个 2B 参数的微调打分器，人类评分的（±2 分容差内）一致率 87.1%。规模相当可观，但它自己的实验恰好暴露了盲区：把 8 个模型在 WorldModelBench 和通用质量榜 VBench 上的两两对战胜率做相关性分析，画质维度相关性是 0.69，强相关；物理遵守维度却骤降到 0.28，弱相关。结果相当反常：判断哪条视频更清晰、更连贯时，两个榜单高度一致；判断哪条视频物理更对时，几乎各说各话。WorldModelBench

图注：WorldModelBench 与 VBench 的模型两两对战胜率散点。左图 frame-wise quality 维度点云贴近对角线（相关性 0.69），右图 physics adherence 维度点云散开、远离对角线（相关性 0.28）。通用质量型评测在物理维度上几乎失明。WorldModelBench

同一阵营还有另外三家。Physics-IQ（WACV 2026）逐条轨迹地打物理合理性分，场景池横跨流体、光学、固体、磁学与热力学五类物理现象，覆盖面并不小。但它自己 2026 年 6 月的 Verified 重审版和 Original 版排名之间 Kendall τ 只有 0.46，论文自己称之为中等但意义重大的排名变动，等于说打分口径一旦改了，榜单就要换上相当一批面孔，连自己都不稳定。Physics-IQ Verified WorldScore（ICCV 2025）把 3D、4D、I2V、T2V 二十个模型拉到同一把尺子上打 10 项指标，跨模态统一做得很彻底，仍然是单条打分。WorldScore WorldSimBench（ICML 2025）走 embodied 路线，用双通道评测"视频能否转回动作指令"，把分辨率推到了闭环任务成功，也停在单条视频层面。WorldSimBench

四家代表作摆在一起，结论很清楚：per-sample 打分是主流范式，覆盖了画质、物理、常识、指令、跨模态、embodied，唯独没覆盖"分布"。那么"分布这一层"到底该怎么定义、怎么测量？PAWBench 给出了一套可直接落地的完整方案（形式化定义 + 协议 + 双指标 + 干预实验）。

0.28 说明两套单条物理评测给出的排序分歧很大，因而不能把任一榜单当作稳定的物理能力尺度。而无论排序是否稳定，单条口径本身没有频率信息，才是本章能确证的分布盲点。

概率对齐：要覆盖所有合法结局，还要给对它们出现的频率

动手之前，先钉死一个最容易混淆的概念。

机器学习里的校准（calibration）有一个经典画面：模型说它 80% 有把握，那这类样本里就该真有 80% 答对。可靠性图（reliability diagram）把声称的置信度放横轴、实际正确率放纵轴，点贴在对角线上才算准。深度学习里有个著名现象：两个模型准确率几乎一样，校准质量却能差出十万八千里。下面这张经典对照里，未校准模型用标准交叉熵训练，准确率 83.8%；校准过的模型用 focal loss（γ=5）训练，准确率 83.4%。两个数字连看几乎没差别，可靠性图却不是一回事：上排（未校准）的可靠性图明显偏离对角线，下排（校准后）紧贴对角线。Calibration Survey

图注：二元分类的可靠性图对照。上方两图是未校准模型（标准交叉熵，accuracy 83.8%），下方是校准模型（focal loss，accuracy 83.4%）。两个模型准确率相近：左上未校准模型的可靠性图明显偏离对角线，左下校准模型的可靠性图紧贴对角线（右侧两图为预测概率分布直方图）。Calibration Survey

PAWBench 的概率对齐不是这个。置信度校准问的是单次预测的 confidence 靠不靠谱，PAWBench 问的是同一个物理过程重复发生 50 次，落点频率对不对。测的不是同一个对象。一句话收拢：传统校准收的是单次预测的账，概率对齐收的是重复采样的账。两者都要求"说的和实际一致"，但收账的对象完全不同。论文并没有把世界模型当成一个报置信度的分类器来校准，而是把重复 rollout 的终态当成随机过程的观测，拿来跟参考分布比。

形式化地说，给定初始观察 x 和动作 a，模型诱导出一个终态结局分布。PAWBench 把对齐拆成两层。第一层是 support alignment（支撑对齐）：当全部合法结局可以枚举时，模型必须能覆盖每一个合法未来，一个都不能漏。第二层是 probability-mass alignment（概率质量对齐）：当参考分布可以解析推导时，比如硬币、骰子、转盘这类对称分布，模型不仅要取得到每个结局，还要按正确比例给出。前者管"有没有这条路"，后者管"这条路该在 50 次里走多少次"。

举个具体例子。桶里有红蓝两种签，各占一半。支撑对齐要求模型两种都要能抽出来，如果 50 次全部是红签，那就是支撑坍缩，世界在你的模型里少了一条路。概率质量对齐进一步要求频率也对：50 次里如果 35 次红、15 次蓝，两种结局确实都出现了，抽签却远不是对半开，频率依然错得离谱。两层缺一不可，覆盖不到等于世界缺了路，频率不对等于路被走得太勤或太疏。

为什么以前看不见这两层？因为单条视频只会落在某一个结局上，而任何单一结局乍看都合理。分布信息只存在于跨 rollouts 的频率里，逐条打分恰好把频率信息丢掉了。这正是概率对齐要回收的东西。

"测分布"不是 PAWBench 一家的执念。2026 年 8 月，三支互不重叠的团队几乎同时给出同方向的答案。CaliBench（2026 年 8 月 17 日，Odyssey 团队）设计了 9 个有解析参考分布的随机场景，直接用统计检验测校准。CaliBench Why Does the Future Branch?（2026 年 8 月 1 日）从可识别性角度补了关键一刀：给定相同的预测分布，无法判断它来自观测没看清状态，还是状态定了但动力学本身就随机，因此只看单条预测分布永远不够。Future Branch 三个团队、同一月、三个入口，共同把"per-sample 不够"从口号变成了研究方向。

PAWBench 的设计：把『随机』变成三个可以比的数字

定义了目标，剩下的是工程难题：怎么把"分布对不对"变成能上秤的数字？

PAWBench 的答案是 50 个受控场景，8 类物理机制，归入两个 regime。PAW-Calibration（25 个场景）里每个场景的结局都有解析参考分布，可以精确算频率偏差，覆盖抛掷、旋转、路径、抽取四类机制，硬币、骰子、转盘、抽签都在这一组。PAW-Coverage（25 个场景）里只能枚举合法结局、给不出可靠相对概率，覆盖碰撞、稳定性、agent 交互、材料转变四类，保龄球、积木塔、猫的反应、巧克力条都在这一组。PAWBench

场景挑选有三条铁律：随机性必须来自可见的物理机制，而不是 prompt 的歧义；动作必须是单一原子干预，且能在视频里判定有没有完成；终态必须有限、可肉眼区分。三条律令的意图是同一个：让"结果"能由机器一致地读出来。评估不靠美感判断，靠可枚举、可读、可复现。官方项目页把这条纪律说得更绝：在任何一个生成器吐出任何一条 rollout 之前，输入图像、动作 prompt、结局集合、失败条件、参考分布这五样东西必须全部固化。PAWBench 项目页

测量协议叫 PAWEval，走一遍就是标题里的画面：每个场景固定同一张源图、同一条动作 prompt，重复 rollout 50 次。每条视频由一个 rubric-based judge 按事先写好的规则读出终态，读不出来的单独记为 readout failure。全部可读的结果聚合成经验分布，再和参考分布比。

把协议落到一个具体场景看看。转盘场景固定一张转盘图，动作是拨动它让它转起来，终态是最后停在哪个扇区，参考分布由各扇区角度唯一确定。50 次 rollout 里每次停在哪个格子都被记下来，格子的经验频率和角度比例一对，TVD 就出来了。50 个场景全是这个套路：可解析的算频率，不可解析的算覆盖，没有例外。

图注：论文 Fig.3 的 PAWEval 流程，以抛硬币为例。同一源图与动作 prompt 重复 rollout 50 次，Gemini 3.5 Flash 按 rubric 把每次可读的硬币翻转判为正面或反面，聚合出经验分布后与参考分布比对，而不是逐帧匹配视频。PAWBench

度量用三把尺子。第一把是 TVD（总变差距离）乘 100，衡量两个分布差多远：完全一致得 0，70/30 对 50/50 得 20。直觉上可以理解为每 100 次重放里，两个分布平均有约 20 次落点不一样。这把尺子只用于 PAW-Calibration。第二把是 Coverage 百分比，衡量覆盖了多少合法结局，只用于 PAW-Coverage。第三把是 SPR（场景通过率）：25 个场景里有多少通过了"至少 20 次 rollout 可读"的门控。门控是这套设计的良心：如果模型生成的视频大多连结局都读不出来，平均值就不该算数。所以 SPR 必须和 Avg 一起读：LTX-2.3 在 Calibration 轨只有 24% 的场景通过门控，它的条件均值只来自这 6 个能读的场景；它最高的 Coverage 均值（71.7）则属于另一条轨道，两条轨道的 SPR 要分开读。

PAWEval 里还有一个容易被低估的细节：judge 由 Gemini 3.5 Flash 充当，一个现成的商用多模态模型，不需要为基准专门训练或调参。它按 rubric 把每段视频的模糊终态翻译成离散标签，读不出来的就报 readout failure。为什么敢让通用模型来做这件关键的事？答案在场景三原则与预写 rubric 的配合上：终态可枚举、可读、不涉及美感，判读规则又在生成任何视频之前就固化下来，judge 只是照章归类，全程不依赖临场美感判断。这两道设计都是为了压低主观性，把"自动读出终态"变成一个可检验的选择，而不是默认成立的前提。它到底靠不靠谱，要由下一章的人类一致性检查来回答。

11 个主流模型测下来：能出片，概率却全都不对

把 50 个场景 × 每场景 50 次 rollout 跑完 11 个主流视频生成模型，结论没有任何修饰：没有一个模型掷出对半开。

先交代读表方法。Cal 类场景看 TVD，越低越好；Cov 类场景看 Coverage，越高越好；两边的 SPR 是门控，低于 100% 就意味着有场景连结局都读不出来。下面挑六个有代表性的读数：

每个数字都在讲一种不同的失败方式。Cosmos 3 Super I2V 的 Cal TVD 20.5 全场最佳，Cal SPR 却只有 80%，五分之一的校准场景连结局都读不出来。LTX-2.3 的 Coverage 71.7 全场最高，碰撞、智能体、材料三项子机制各列第一，稳定性一栏却被 LingBot-Video-MoE（61.8）压过；Cal SPR 却只剩 24%，Routing 那组场景没有一个过门控：它覆盖得广，却几乎从不按正确频率出牌。反常就在这里：覆盖最广的模型，校准通过率反而是全场最低。Seedance 2 反着来，Cal SPR 100%，每条视频都读得出结局，TVD 却 30.5，读得清和掷得对是两回事。LingBot-Video-MoE 的 Cov SPR 100%，Cal TVD 41.8 却是最差之一。翻完整张 11 行的表还能看到更多花样：HappyHorse 的 Cal TVD 43.1 是最差的一档，Veo3.1 Fast 在旋转类场景的单列 TVD 只有 12.2，Cosmos 3 Super I2V 在这列更是低到 3.6。单项亮点处处有，拼在一起却没有一个模型两头占优。论文原话可以概括一切：没有任何模型同时具备对齐的概率质量、广泛的支撑恢复和可靠的场景通过率。覆盖广和频率对是两条独立的轴，必须分开读。PAWBench

门控的含义在 LTX-2.3 身上尤其要算清楚：它的 Cov Avg 71.7 只统计了通过门控的那 72% 的场景，剩下近三成场景的成绩根本没进入平均。一个好看的均值，可能是挑剩下的。

这是不是评测本身没测准？作者做了三组检查来排除这种可能。把采样预算从 1 提到 100，Cal TVD 几乎不动，Coverage 倒是随预算上升：多采样只能探索出更多合法结局，纠正不了相对频率。把"模型其实是对的、只是样本太少"当原假设做模拟，99% 的模拟里参考采样的平均 TVD 低于 9.22，实测的平均 31.2 远超采样噪声能解释的范围。让 7 个独立人类按同一套规则读 888 条视频，机器判定和人类在 722 条上一致（81.3%）。差距是真的。

表里还能读出机制组的偏好：旋转类场景的 TVD 全线低于抽取类，11 个模型无一例外。模型对"转盘停在哪"这类连续动力学更在行，对"摸出什么签"这类离散抽取更容易错位。哪一种物理机制学得好、哪一种学不好，这套基准第一次给出了能逐格对照的答案。

同月登场的 CaliBench 用完全独立的设置验证了同一结论：6 个模型 × 9 个解析参考场景，BH 校正后仍有 28/44 个格点显著错位。把 9 个场景压成一个 mnTV 数字，6 个模型从最低的 0.39 到最高的 0.65，全部远离完美校准的 0。最极端的例子是 Veo 3.1 掷骰子：32 次生成的结局全部可读（scorability ρ=1.00），TVD 却高达 0.83。意思是：它每条视频都能给你一只清晰的骰子，却总是同一面向你，六面均匀分布被压成了一个点。这正是模式坍缩（mode collapse）的教科书形态：概率质量挤向少数结局，甚至挤向单一结局。CaliBench

图注：CaliBench 6 模型 × 9 场景的散点网格，横轴是可读率（scorability），纵轴是 TVD。右下角高可读率、低 TVD 是校准目标区，几乎没有模型持续抵达；灰色带是完全校准假设下 TVD 的描述性参考范围，不是显著性判定。CaliBench

CaliBench 还顺带揭示了一根旋钮。在它自己的 Cosmos3-Super 实验里，把 classifier-free guidance（CFG）从 1.0 一路扫到 9.0：低档位下骰子六面接近均匀，可读的生成却大幅减少，均匀里有一部分是矮子里拔将军；高档位下画质和可读率回来了，概率质量却集中到面 1 和面 5，面 6 几乎消失。可读性与校准是一对根本张力：调低 guidance 能关掉校准差距，代价是模型产出一堆读不出结局的视频。注意这是 CaliBench 在 Cosmos3-Super 上的实验，不是 PAWBench 的结果。它说明概率坍缩至少有一部分是采样配置造成的，改采样参数能搬动一部分概率质量，却搬不动模型学到的整体分布。

PAWBench 自己的作者把能动的旋钮都试了一遍，从推理时到训练时，三层干预，全部够不到概率对齐。

第一层是说，prompt engineering（提示词工程）。让 VLM 直接当结局采样器，最好的 Cal TVD 也有 34.8，VLM 自己对 outcome 空间的预测就已经错位；把 VLM 选好的结局传给生成器，TVD 每种情况都恶化。给生成器按 Oracle 精确指定结局，直接告诉它这次掷出正面，TVD 能压到 10.8，模型却只实现了 37.6% 到 58.1% 的请求。说得到，做不到。

第二层是采样端，改用 coupled noise（C2C），把每次 rollout 的初始噪声耦合起来，让 50 次生成在已有的可能性空间里探索得更广。效果很具体：Cosmos 的 Cal TVD 从 20.5 降到 19.4，LTX-2.3 从 30.1 降到 19.9，Wan2.2 从 26.3 降到 25.7，Coverage 也普遍上升。但模型学到的分布没有变，SPR 也不保证升。采样预算只能让你在错误的分布里采更多的样，不能把错误分布本身换掉。

第三层动真格，用 LoRA 对 Wan2.2 做 fine-tuning（微调），按五种"左倒比例"（0%、20%、50%、80%、100%）训练，然后在直立铅笔（参考 50/50）和左倾铅笔（参考 100/0）两个场景上测。训练组里左倒样本越多，生成里左倒越多，但关系不线性；没有任何一个 LoRA 能同时在这两个场景上对齐参考。模型学会了调全局频率，没学会"分布应该随初始物理状态变"。PAWBench

还有一个细节值得单独拿出来，论文用成对干预把它钉得很死。把物理条件真改掉，比如改变铅笔的初始倾角，这是因果干预，参考分布确实变了；在装置上加一行无关文字，这是非因果线索，参考分布纹丝不动。模型的反应却颠倒过来：对前者反应不足，分布几乎不动；对后者反应过度，概率质量跟着文字跑。对它该响应的事不响应，对它不该响应的事乱响应。反应取决于输入看起来变没变，不取决于物理是不是真变了。

为什么这关乎自动驾驶的安全，以及 PAWBench 没回答的问题

如果世界模型只是拿来生成好看的视频，概率坍缩充其量是个有趣的缺陷。但它要进规划、强化学习和自动驾驶仿真，当虚拟世界用，问题就变了性质。仿真的分布和真实世界分布错位，意味着小概率的罕见危险会在仿真里系统性不可见。硬币几乎从不落向某一面，仿真就永远练不到那一面的应对；真实世界里一年撞一次的事故形态，仿真里可能一次都不出现。而安全恰恰押在这些罕见场景上。想到这里可以再具体一点：一辆靠生成式世界模型做规划仿真的自动驾驶车，训练阶段仿真里楼宇阴影下的行人几乎从不出现，因为模型把这类形态压缩进了低频甚至直接抹掉。真车第一次在实路上遇到这个形态时，对应的策略从未被训练过。概率坍缩对一条视频是美学瑕疵，对一个安全系统是盲区清单。第二章那张散点图的落差在这里有了第二层含义：两套既有单条评测在物理维度上给出分歧很大的模型排序，单条榜单尚且不稳，概率对齐的差距就更不能假装不存在。WorldModelBench

作者在 Limitations 里把边界交代得很清楚。目前只测终态结局，不捕获中间物理过程；分布估计基于有限 rollout，提高采样预算只能更可靠地揭示偏差，不能纠正偏差本身；50 个场景都是受控、可视、可枚举的类型，更长时程、交互式、embodied 环境都留给了未来。他们还点明了下一步该做的：需要一种训练目标，让模型学会跨场景给出校准过的分布，而不是靠采样参数或口号去凑。PAWBench

评测协议本身也还没统一。PAWBench 的 50 场景和 CaliBench 的 9 场景没有互相 cross-validate，两套场景集合只有部分重叠，抛掷、抽取这类两边都有，但各自用了不同的 judge、不同的门控、不同的聚合口径。这不妨碍结论的稳健，因为两套独立设置指向同一件事，但分布式评测要成为标准范式，还需要一次面对面的 cross-validation，把两套协议钉在同一批模型上比一比。UQ 综述把生成式（LLM）模型的不确定性量化列为最关键的开放前沿；视频生成式世界模型的 UQ 连该综述都尚未系统覆盖，仍是未解决的前沿问题。UQ Survey 而 AGI Maze 提示了另一条战线：把世界模型装进 agent 内部，用网格迷宫这类部分可观测、有状态、需要记忆与隐藏状态假设的决策环境，测它在交互中能不能在线维护一份世界状态。AGI Maze 生成器的分布对齐和 agent 的世界表征，是同一枚硬币的两面，目前只测了生成那一面。

项目页把自己的定位写成三步：先测，再诊断，最后重塑分布。这篇论文扎实完成了前两步，把差距变成了公开的刻度；第三步，让模型真的学会概率对齐，只能等下一代训练目标。

回到开头那枚硬币。PAWBench 的价值不在于宣判谁不行，而在于让"离概率对齐还有多远"第一次变成可测、可追的数字。答案是目前还很远：最佳模型与完美对齐也差着 20 多个 TVD 点，覆盖广与频率对是两回事，三层干预都改不动底层分布。至少现在，差距有了刻度。下一次某个视频模型宣称自己学会了世界，你可以先问一句：同一枚硬币，连拍 50 次，它掷出对半开吗？

想深入可以读原文：PAWBench: How Far Are We from Probabilistically Aligned World Modeling?，arXiv:2608.27345，项目页在 pawbench.github.io。

参考文献

• PAWBench: How Far Are We from Probabilistically Aligned World Modeling?：https://arxiv.org/abs/2608.27345
• CaliBench: Are the Stochastic Dynamics of Video World Models Physically Calibrated?：https://arxiv.org/abs/2608.16829
• Why Does the Future Branch? Identifiable Closure Tests for Stochastic Physical World Models：https://arxiv.org/abs/2608.00591
• PAWBench Project Page：https://pawbench.github.io
• WorldModelBench: Judging Video Generation Models As World Models：https://arxiv.org/abs/2502.20694
• Physics-IQ Verified：https://arxiv.org/abs/2606.18943
• WorldScore: A Unified Evaluation Benchmark for World Generation：https://arxiv.org/abs/2504.00983
• WorldSimBench: Towards Video Generation Models as World Simulators：https://arxiv.org/abs/2410.18072
• AGI Maze as a Benchmark Framework for World-Modeling Agents：https://arxiv.org/abs/2607.00627
• Calibration in Deep Learning: A Survey of the State-of-the-Art：https://arxiv.org/abs/2308.01222
• Uncertainty quantification for trustworthy deep learning: Methods and measures：https://arxiv.org/abs/2607.28248