ChronoReplay：重排训练数据让三套空间题同涨，拼全局地图仍最弱
一、只改后训练数据的组织方式，三套空间基准同时涨
不改模型结构，也不加新标注，只重新组织后训练数据，这篇论文就把 Qwen3-VL-8B 在三套流式空间基准上同时推高。OVO-S 从 48.98 到 53.89，OST 从 50.52 到 63.93，UCS 从 45.33 到 52.77，三套基准分数的均值从 48.28 到 56.86。作者把原因归到答案形式上。空间任务里同一个事实有好几种答法，后训练只压一种答法时，模型就主要在这一种答法上涨分，另外两种不保证跟着涨。
这个现象被命名为 interface lock-in（接口锁定）。论文自己把它限定为一个经验模式，不是已经分离出来的内部机制，术语也由这篇论文自己命名。论文能证明的是「换一种监督组织方式，三套答法的分数会一起动」，还不能证明模型内部真有一个被锁住的开关。ChronoReplay
问题难在空间监督本身就是异质的。来自不同数据集的样本，标签形式、粒度、答案格式都不一样。常规 SFT 把它们打散混在一起，损失按 token 计，样本多、答案长的那一族自然占掉大部分损失质量。可空间任务恰好不适合这么混。问「锅在台面左边还是右边」只需要类别判断，问「这段路走了几米」要求模型保住位移量和朝向，问「这个东西第一次出现是几点」要求时间戳和事件顺序。三种答法依赖的底层量并不相同，练会一种，不保证另外两种跟着会。VSI-Bench 已经把带单位的连续数值答案单列，用相对误差指标 MRA 计分，不与选择题的 Accuracy 混算，原因就在这里。VSI-Bench
图注：左栏标着 Specialized Training，三类单族训练各自只勾选部分能力，旁边写 Fragmented Abilities。右栏中央是 Shared Spatial State，右侧四格分别给出类别判断、路线里程、首次出现时间和前后左右关系四种读出。四格只是示意，不是训练数据或评测结果。ChronoReplay
论文用两组单族训练来诊断这件事。只喂类别答案时，三套基准是 58.03 / 47.48 / 46.72，OVO-S 涨了，OST 反而掉到基线以下。只喂轨迹与度量时是 52.03 / 51.03 / 49.22，OST 几乎不动。完整配方均值 56.86 最高。这组数字支持「能力被锁在答法上」的读法，但论文明确说两臂的数据源与任务覆盖不同，所以它只是诊断，不能把答案接口当成唯一因果因素。
二、三套基准考的是三种答法，分数不能横着比
三套基准不是三张排行榜，而是三种不同的答案接口。这里的接口指题目要求模型读出的空间量，不是选项的字面形式。读懂这一点，后面的 +13.41 才有意义。只用一个基准，只能看到一种答法上的涨跌，看不出能力有没有跨接口迁移。它们各自的口径不同，分数只能各自前后比，不能拿 OVO-S 的 53.89 去减 OST 的 63.93。
OVO-S 用选择题考空间层级。每道题带一个 query timestamp 和一个 evidence interval，证据区间严格早于提问时刻，评测时模型只能看前缀。这条约定在 OVO-Bench 就被形式化成三种 regime，OVO-S 只保留了 Real-Time 与 Backward，排除了 Forward。OVO-Bench 按 OVO-S-Bench 表 2 的家族列核算，Overall 相当于 12 个家族准确率的非加权均值，论文本身没有给出定义式，这与把正确题数汇总的 pooled 口径不同。OVO-S-Bench
四个层级分别是当前视角感知、视野外记忆、空间操作和他中心建图。他中心就是以环境为中心，不是以相机为中心。正文给出的证据跨度中位数是 L1 2.0 秒、L2 36.8 秒、L3 2.0 秒、L4 278.7 秒。L2 和 L4 要回看很长历史，L3 虽然层级高，证据窗口却很短。
图注：左侧是四层同心圆 taxonomy，从 L1 当前视角感知到 L4 地图查询。右侧三块分别是每层题量、来源数据集分布，以及按层统计的证据区间箱线图。可以看出 L2 与 L4 需要回看的历史明显长于 L1。OVO-S-Bench
OST 重点考度量与连续状态。它有 15 个子型和四种答案格式，协议是多轮探索。每轮按时间顺序追加 4 到 5 帧，问题在该轮最后一帧的时间戳提出，之后的信息不可见，轮次本身就是离散时间戳，而且任何问题都不能只靠本轮新观测回答。这套协议让「记住上一轮看到的量，再在这一轮更新它」成为主考项。论文用的是 scene-disjoint 变体，8,351 个 turn 里 7,814 个由官方评测器计分，另 withhold 了 243 个与训练重叠的 ScanNet 场景。这套数字比官方全量小，两套不能相减。OST-Bench
UCS 考用户自己的位姿随时间更新。532 段视频、170 多小时、8,114 道带时间戳的选择题，分 4 大类 8 子类。它测的不是长视频回忆，而是同一句问话在不同时刻答案会变。比如「现在能走到切割机吗」，在 00:43:08 答「能，就在你身后」，在 00:45:01 答「不能，它在下一层楼」。问题一样，答案跟着用户的移动变了。UCS-Bench
三、方法只有三个数据动作，没有新模块
架构上没有新结构。视觉编码器冻着，只训练语言模型和 visual merger，不加地图、不加记忆模块、不加辅助状态损失，也不用 adapter 或 RL。所谓「不改架构」在工程上就是这一句。Qwen3-VL
图注：左栏 Stage I 把 trajectory 族的三个 turn 与三种原生读出串成序列，灰色 Out of scope 标出查询因果边界之外的观测。preservation 族则是单帧的类别关系。右栏 Stage II 用 1−λ 与 λ 两路合流到族平衡目标。图中没有 λ 的具体数值。ChronoReplay
第一个动作是按时序重放。训练集共 39,561 条序列，其中 preservation 33,180 条，trajectory 6,381 个 episode，后者含 45,006 个监督状态、47,096 个 turn。每个目标只绑它自己能看见的历史，图里灰色 Out of scope 就是因果边界之外的观测。episode 内保持原始时间顺序，不随机打散。这一步让每个目标只在自己成立的历史下被监督。
第二个动作是保留源原生答案格式。类别题保留候选结构，度量题保留量级、符号、单位和精度，时间题保留时间戳与事件序号。不把三种答案强行改写成同一个模板。这一步是在保住各源自己的区分信息，而不是统一成一种「更干净」的格式。
第三个动作是按损失质量配权，不是按样本条数。损失质量指这一族在总损失里占多大份额，跟样本条数不是一回事。preservation 有 33,180 条，trajectory 只有 6,381 个 episode，但两族在总损失里的份额是 2/3 与 1/3。公式是 $L=(1-\lambda)L_P+\lambda L_T$，$\lambda=\alpha/(1+\alpha)$，主实验 $\alpha=0.5$，所以 $\lambda=1/3$。配权之前有三层归一化：答案内 token 平均、episode 内 turn 等权、族级显式份额。这更像按菜系分预算，而不是按每个菜系有多少道菜分预算。样本多的族不会因为条数多就自动占掉更多损失。要说明的是，这个份额是损失系数，不等于两族的实测梯度范数相等，论文自己点了这一句。
多任务学习里一族压制另一族是常见现象。那篇讲任务亲和性的论文只提供解释语言，没有族级权重公式，λ 的写法是 ChronoReplay 自己的。Task Affinity 「在过程中监督」在序列任务上也有邻近做法，PAR 用第 k 轮对应前 k 步状态。但它与这篇论文有五位共同作者、早五天提交，属于同一脉络的前序工作，不能当作独立验证。PAR
四、齐涨是真的，但时序对齐只值 2.41 点
三套基准同时上涨，而且不是靠牺牲一套换另一套。但 +13.41 是整套配方的净增益，不能记到时序重放的账上。这张表里的每一个数字都带着自己的口径。
| 基准 | 官方基线 | ChronoReplay | Δ | 计分口径 |
|---|---|---|---|---|
| OVO-S | 48.98 | 53.89 | +4.91 | 按家族列核算的 12 家族准确率非加权均值 |
| OST | 50.52 | 63.93 | +13.41 | scene-disjoint 划分，官方 15 子型打分 |
| UCS | 45.33 | 52.77 | +7.44 | 全量 8,114 题，4 大类 8 子类聚合 |
涨幅的分布比均值更能说明问题。OVO-S 的 12 个家族全涨，但它是三套里涨得最少的一套。OST 的 15 个子型全为正，最大的是 Direction Estimation +26.86 与 Order Judgement +20.57。UCS 的 8 个子类也全为正。这说明配方在三种答法上都有用，不是一个基准的偶然。但三套分数各自都还明显低于各自基准报告的人类基线（口径与版本以各基准论文为准），它缩小的是差距，不是消除了差距。
拆账要从同数据对照开始。固定数据、时序前缀、原生目标和预算，只改目标形式。ordinary token SFT 的三套基准均值是 54.10，natural turn weighting 是 55.57，ChronoReplay 是 56.86。三对配对种子在 OVO-S、OST、UCS 上的差值分别是 +0.92±0.27、+1.43±0.19、+1.17±0.25。这说明「怎么组织监督」本身能承重，而且三套基准上的方向一致。
图注：左栏是同一间浴室的五轮观测与两个问题，右栏给出两组答案：ChronoReplay 答 Round 2 与 Left，起点偏移的对照在完全相同的观测下答 Round 4 与 Right。青色标正确状态，红色标对照的错误。这是论文挑选的单个案例。ChronoReplay
这个案例把「时序错位怎么伤到答案」讲得很清楚。同一个浴室，ChronoReplay 两问全对，起点偏移的对照两问全错。时序一错位，两个不同接口的问题会一起答错。但它是单个挑选案例，不能用来估计收益量级。量级要看配对对照。
| 干预 | 改了什么 | 结果 | 证据等级 |
|---|---|---|---|
| 目标形式比较 | 数据、时序、原生目标、预算全固定，只改目标形式 | ordinary 54.10 / natural 55.57 / ChronoReplay 56.86，配对种子 +0.92 / +1.43 / +1.17 | 可归因 |
| native vs canonical | 只改答案序列化方式 | canonical 在 OST 高 1.48，native 在 UCS 高 2.92 | 交叉结果 |
| cyclic-shift | 保持 turn block 与族权重，只改 episode 起点与前置上下文 | 两个种子 2.42 与 2.41，均值 2.41 | 可归因，作用域有限 |
| 单族诊断 | 只喂类别或只喂轨迹 | categorical 50.74 / trajectory 50.76，完整配方 56.86 | 仅诊断性 |
第二行值得单独说。native 和 canonical 不是谁全面更好，而是一个交叉。canonical 在 OST 上高 1.48，native 在 UCS 上高 2.92。所以论文只能声称格式重新分配了迁移，不能声称原生编码普遍更优。第三行的 2.41 也一样。它度量的是整套时序对齐构造的贡献，同时改了起点和每个目标的前置上下文，不能定位到「时间」这个单因素。第四行的单族诊断，论文自己说两臂的源与任务覆盖不同，只能当诊断看。
五、推理期只改取帧再涨 4.09，拼全局地图仍是短板
空间能力有两条互不替代的杠杆。训练时决定监督保住哪些区分，测试时决定模型能看到哪些帧。第二条不需要改参数。模型固定，只改变取帧方式，OVO-S 再从 53.89 到 57.98，涨 4.09。这是访问效应，不是训练收益。
图注：四栏从左到右：低分辨率预览提供廉价全局覆盖，索引策略在预算下定位证据并规划时间戳，高分辨率证据帧被重新读入，最后连同预览一起作答。图中的索引器能看到问题与候选选项。VEI
这张图来自另一篇论文，是一条通用思路的框架图，不是 ChronoReplay 的组件。VEI 的索引器能看到问题与候选选项，作者也明写它处理已完成视频、不处理因果在线流式。VEI 它说明「推理期改变证据访问」是一条独立于训练的轴，本章数字全部来自 ChronoReplay。
ChronoReplay 的做法比 VEI 简单得多。它准备了三套覆盖。local 用 8 帧、4 fps 密集尾采样，看当前状态。multiscale 用 128 帧，按 60/30/10 覆盖最近 30 秒、30 到 300 秒、更早历史。global 在完整前缀上均匀取 128 帧，看布局与历史引用。路由只看问题文本，不看选项、参考答案、基准类别和模型预测。这是一种在预设策略里做选择的路由，不是自由生成搜索目标。
另一侧是训练效应的分解。固定 Uniform-128 观测，训练带来的增益是 +4.91。固定模型参数、只改取帧方式，访问带来的增益是 +4.09。等成本对照更能说明问题。平均 80.50 帧的自适应取帧得 57.98，均匀采 81 帧只有 52.40。多出来的不是帧数，是帧被放对了地方。
这套方法没有建图，代价也就留在这里。四层里 L4 仍然最低，从 35.16 到 40.17。论文还给了一个固定观测下的布局回归案例。在 OVO-S L4.3 的一道多选题上，官方基线选中标注答案 B，ChronoReplay 选了 D，论文自己说不证明模型建立了又丢掉全局地图。对照另一条路线，SpaceMind++ 用双流特征加体素化他中心地图，约 90 万条语料、64 张 H200 训练约 41 小时。两边的基准协议不同，只能对照改动放在哪，不能比分数。SpaceMind++
它的边界也很明确。它只在室内场景验证，只比较这三套基准，单族诊断不能隔离因果，主结果只用了一个种子，4 GPU 复现不是独立种子方差估计，自适应取帧也只在 OVO-S 上评估。这些限制不影响「重新组织监督有用」这个结论，但决定了它不能直接搬到室外、机器人闭环或真正的在线流式部署。
这篇论文真正证明的是监督组织这一层的性价比。它没有回答显式建图是否必要，也没有回答拼全局地图该怎么做。如果你的任务需要把一路看到的东西拼成整张地图，它留下的正是这个缺口。
想深入可以读原文：ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence，arXiv:2610.34283
参考文献
- ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence. Yihao Hu et al. arXiv:2610.34283. https://arxiv.org/abs/2610.34283
- OVO-S-Bench: A Hierarchical Benchmark for Streaming Spatial Intelligence in Multimodal LLMs. Yifei Li et al. arXiv:2606.03890. https://arxiv.org/abs/2606.03890
- OST-Bench: Evaluating the Capabilities of MLLMs in Online Spatio-temporal Scene Understanding. Jingli Lin et al. arXiv:2507.07984. https://arxiv.org/abs/2507.07984
- Keep It in Mind: User-Centric Continual Spatial Intelligence Reasoning in Egocentric Video Streams. Yun Wang et al. arXiv:2606.15200. https://arxiv.org/abs/2606.15200
- Qwen3-VL Technical Report. Qwen Team. arXiv:2511.21631. https://arxiv.org/abs/2511.21631
- Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces. Jihan Yang et al. arXiv:2412.14171. https://arxiv.org/abs/2412.14171
- OVO-Bench: How Far is Your Video-LLMs from Real-World Online Video Understanding? Yifei Li et al. arXiv:2501.05510. https://arxiv.org/abs/2501.05510
- Which Tasks Should Be Learned Together in Multi-task Learning? Trevor Standley et al. arXiv:1905.07553. https://arxiv.org/abs/1905.07553
- PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking. Yihao Hu et al. arXiv:2610.27628. https://arxiv.org/abs/2610.27628
- Video Evidence Indexing: Learning Where to Look from Video Previews for Token-Budgeted Long-Video Question Answering. Haowen Guan et al. arXiv:2610.00757. https://arxiv.org/abs/2610.00757
- SpaceMind++: Toward Allocentric Cognitive Maps for Spatially Grounded Video MLLMs. Bo Gu et al. arXiv:2605.09449. https://arxiv.org/abs/2605.09449