ATAS：给长视频配一份可查的记忆，能重访旧场景，但每镜要多花 98 秒

一、长视频镜头对不上的根因：没有任何东西被持久地记下来

arXiv:2610.20571 的 ATAS 把长视频的跨镜头一致性，从「把提示词或最近几帧传给下一个镜头」改成了「让所有镜头去查同一份可以反复查阅、并且能被谨慎更新的世界状态」。换来的结果是在四个不同的视频渲染器上，它的综合平均分都排第一，其中 Wan 3.0 上拿到 0.734，第二名 ReCA 是 0.648；两项专门为持久记忆设计的测试也表现突出：按目标图像回到旧空间（spatial revisit）全面领先，在指定相机下重演早先事件（event recapture）则在五项指标中领先三项。代价同样明确，每个故事的生成时间从 51.9 分钟涨到 64.9 分钟，每个镜头约 98 秒花在记忆维护上。ATAS

问题为什么难，论文摘要里有一句话说得很直白。在镜头之间传递提示词或者最近几帧，既给不出一个共享的空间坐标，也留不下一条按时间索引的记录。这两件事对应两种不同的缺口。回到同一地点，需要知道那个地方长什么样、相机应该摆在哪；重演某个时刻，需要知道那一刻发生过什么，而不只是知道上一帧长什么样。前者缺的是几何，后者缺的是时间。

论文用两组故事的 world-state rollout 把这件事摆了出来。镜头序号本身就是跳着排的，Winter Fire in the Cabin 取第 1、3、5、9 个镜头，Saturday Laundry 取第 1、2、4、7 个，每一列上方是生成的成片帧，下方是同一时刻重建出的世界视图。ATAS

图注：两组故事（Winter Fire in the Cabin 与 Saturday Laundry）的 world-state rollout，每组上方是生成的成片帧，下方是同一时刻的已注册世界视图，镜头序号刻意跳号排列。这张图界定问题而非展示成果：跳号之后要接回早先镜头待过的空间，并把当时的布局与物体状态找回来，没有持久状态时各个镜头只会各说各话。ATAS

真正的难题是第 9 个镜头要接回第 1 个镜头待过的房间，同时把当时房间里物体的状态找回来。没有一份持久的状态，这些镜头只能各说各话。同期并不是没有别的工作在解长视频，只是选的状态抽象不同，比如 DramaAgent 维护的是故事文本、角色参考图和一份跨场景摘要，它同样不把几何与事件分开存起来。DramaAgent

二、先把剧本编译成带时空引用的拍摄请求，再用场景与事件两套记忆装下世界状态

ATAS 的解法可以拆成编译与记忆两件事。高层 prompt 先被解析成一串多镜头请求，每个请求都显式写明它要在什么时间、什么地点、用什么相机拍；这些请求再去两套分开的记忆里取证据。整套机制由公式 $\mathcal{W}_t = (\mathcal{S}_t, \mathcal{E}_t)$ 概括：时刻 $t$ 的世界状态由静态几何集合 $\mathcal{S}_t$ 和动态观测集合 $\mathcal{E}_t$ 组成，前者叫 scene memory，后者叫 event memory。ATAS

拍摄请求被写成六个字段的六元组：局部描述、场景标识、场景坐标系里的空间锚点、目标相机、请求的时间区间，以及一个可选的事件标识。关键在「显式」两个字。当一个镜头需要镜头描述之外的上下文时，请求本身就带着可以查的坐标和时间，而不是靠上一段视频的末尾帧去猜。请求链按序处理，每个通过验证的世界状态会反过来条件下一个请求，超出单次生成预算的请求则被递归切分成更短的请求。ATAS

这两套记忆为什么必须分开，取决于它们回答的问题不同。scene memory 存的是注册到共享场景坐标系的静态几何，动态区域在注册时被排除，它只关心这个地方长什么样，可以被重新渲染到任意相机。event memory 存的是按场景、事件、时间索引的动态观测，每条记录带着源观测、源时间区间，以及帧级的 RGB-D、mask 和动态点云，它关心某一时刻发生了什么，查询时必须同时指定场景、事件和时间，缺一个都会匹配到错误的证据。

可以把这套结构理解成数据库里同时存着一份地图和一份事件日志，而不是把它们糊成一份缓存。地图是几何层，它给的是空间，可以随时换一个视角重新出图；事件日志是时间层，它给的是某一时刻的记录，要靠场景、事件、时间三个字段精确命中。如果把两者混在一起，就会出现用「房间的样子」去回答「那一刻发生了什么」，或者反过来。

图注：ATAS 工作流。左半段把高层 prompt 解析成一串多镜头请求，每个请求带描述、场景、空间锚点、相机、时间区间与可选事件；中间由短视频生成器在 shot prompt 与上下文相关 prompt 下产出候选 clip；下半的 scene memory 提供静态点云参考、event memory 提供动态参考，两者经查询反馈回生成；右半段验证后要么再要一个候选，要么把被接受的观测送去更新状态。

早一些的多镜头方法并不这样组织状态。VGoT 把剧本拆成带角色、背景、关系、相机等属性的镜头描述，再靠上一镜头的末尾帧在 latent 队列里过渡，既没有显式携带时空坐标的请求，也没有可以分桶查询的记忆。VGoT

三、成片能留下、观测却能被拒收：交付与记忆准入是三条相互独立的判断

ATAS 真正反直觉的一点，不是它存了记忆，而是记忆并不照单全收。每个候选 clip 和它带来的重建结果要分别通过三项判断：$f_t$ 决定这段 clip 进不进成片，$r_t$ 决定这次重建有没有对齐到场景坐标系，$a_t$ 决定这次观测能不能写进世界状态。只有三项都通过，世界状态才从 $\mathcal{W}t$ 前进到 $\mathcal{W}{t+1}$，否则状态原地不动。ATAS

这里最关键的是成片与记忆是两个独立的出口。一段 clip 可以进成片，同时它的观测被拒绝写进记忆。用大白话说，拍出来能看，但不一定算数。这个区分有实际作用：一段画面可能视觉上没问题，但它的几何并没有对齐到共享坐标系，这样的观测一旦被收下，误差会沿着时间传下去，之后每一个回到此地的镜头都会被它带偏。

同作者圈的更早一步走的是另一条路。ReCA 把状态更新与成片放在同一条管线里，用 Refresh 算子把提取并验证过的观测立即写回一张外部状态表，这张表按视觉、叙事、转场和每个变量的元数据来组织。ATAS 与它的分野有两处：一处是把一张表拆成几何与事件两桶，另一处是把交付与准入拆成两个独立决策。ReCA 在 ATAS 的每个渲染器上都是第二名，说明这条更早的路线本身并不弱。ReCA

图注：ReCA 的四阶段骨架：递归规划把长视频任务切成受上下文预算约束的子问题，只有叶子节点调用冻结的生成器；叶子各生成一段视频，并可并行或按边界帧串联执行；生成片段经提取器与验证器读出观测，再写回持久状态并闭环回到规划。它展示的是一张外部状态表被同步刷新的路径，与 ATAS 把交付和记忆准入拆开的设计形成对照。ReCA

四、四个渲染器上跨镜头一致性的平均分都是最高，重访旧空间、重演旧事件也领先

ATAS 的优势跨渲染器稳定，而且集中在需要回到某个旧状态的指标上；但平均分最高不等于每一列都领先。四个渲染器上它的综合平均分都是第一，第二名都是 ReCA，说明增益不依赖某个特定渲染器。例外同样值得记住：Wan 2.7 上 VBench 那一列被 ReCA 拿走，ATAS 是 0.846，ReCA 是 0.854。

四个评测列各自在测什么，直接决定了这张表怎么读。VBench 那一列只取其中偏局部画质的六个维度做平均，它测的是单段画面好不好看、和提示词对不对得上，本身不直接测跨镜头一致性。VBench ST-Bench 用的是长故事板上的自动评测，评的是美学、提示词跟随与跨镜头一致性，其中的跨镜头一致性由镜头对的相似度给出。ST-Bench ViStory-Self 与 ViStory-Cross 分别测故事内与跨故事的身份、外观、场景一致，这套协议本身是图像域的，ATAS 必须自己重算视频版本。ViStory

真正体现世界状态押注的，是两项为持久化记忆专门设计的测试。空间重访给一个早先场景的目标图像与目标相机，要求系统渲染回那个位置，在共视 mask 下比 PSNR、SSIM、LPIPS。ATAS 拿到 15.968 的 PSNR。最强 agentic 基线 MovieAgent 是 14.543，它靠导演、场景规划与镜头规划三层 CoT 代理协作维持一致，并不维护显式的场景与事件记忆。MovieAgent 只做几何的 3D 引导方法也没超过它：ViewCrafter 15.255、FlexWorld 14.740。这里有一个容易读错的细节，这些数字是 ATAS 在其 source-grounded 协议下重跑的结果，不是那些方法原论文的分数。ATAS 更值得注意的是格局：专门做新视角合成的 3D 引导方法在这个任务上已经接近上界，在这个前提下，带有事件记忆的 ATAS 全系统比最强的 3D 引导方法 ViewCrafter 高约 0.7 dB。这 0.7 dB 是整个系统对上一个只做几何的系统的差距，不能直接算作事件记忆的功劳：论文没有为空间重访单独隔离 event memory 的消融，它的记忆分析反而显示两桶记忆分工不同，静态场景主要负责压低 LPIPS，事件记忆主要负责提升事件重拍，两项不是一个数字。ATAS ViewCrafter FlexWorld

图注：两类持久化查询的画面结果。上半是空间重访，把目标图像与各方法返回的视角并列；下半是以源证据为基准的事件重拍，把源起点帧、源终点帧与各方法重建出的结尾帧并列。方法行包括 I2V Extension、VGoT、Mora、MovieAgent、ReCA 与 ATAS。这里看的是返回视角是否贴近目标、重建结尾是否贴近源，具体数值在论文的表格中给出。ATAS

事件重拍用五个维度打分，由视觉语言模型评判，结论是领先三项、平局一项、落后一项。事件身份 0.750 高于 ReCA 的 0.733，时序 0.688，视角实现 0.650，角色与物体一致性 0.917 与 ReCA 打平，而动作状态这一项是 0.688，输给 ReCA 的 0.700。ATAS 人类评估是同一模式，六项标准里 ATAS 每一项的均值都最高，剧本忠实度 4.40 最高，背景一致性 3.62 最低，作为最强基线的 ReCA 落在 2.62 到 3.67 之间。ATAS

五、这份收益不是免费的：更慢更耗内存、动作状态仍弱

持久记忆把返工压下去了，但把时间花出去了。论文的效率数据显示，每个镜头的重试次数从 1.00 降到 0.54，成片审查的拒绝率从 52.6% 降到 36.8%，系统少做了大量无效尝试；与此同时每个故事的运行时间从 51.9 分钟涨到 64.9 分钟，每个镜头约 98 秒用在记忆的读写与维护上，吞吐从每小时 7.28 个镜头降到 6.21 个。ATAS 收益的性质要说清楚，它是更稳、更少返工，不是更快、更省。

边界同样清楚。动作状态那一项落后于 ReCA，这与其保存逐帧动态证据、未显式建模连续运动的设计相符；现有结果只能显示动作重演仍是弱项，还不足以把单项分数当成机制层面的证明。事件重拍的评测协议衡量的是能不能找回旧状态，不衡量画面好不好看，可重放能力也只在这个协议下被验证过。论文本身是 arXiv 预印本，未声明会议接收。

把视角拉回方法谱系，能看清 ATAS 选了什么、放弃了什么。同期做 agentic 长视频的 DramaAgent 维护故事文本、角色参考图与跨场景摘要，靠反思式修复来兜底，它没有场景与事件双记忆，也没有把交付和记忆准入分开；ATAS 的世界状态是一份结构化的、可查询、可校验、可拒收的共享记录，而不是一份不断滚动的文字摘要。

图注：DramaAgent 的流程概览：把叙事提示拆成场景级目标，构建持久角色参考图，再协调图像、视频与音频生成器完成逐场景生成与反思式修复。图中可见故事分析与情节拆解、角色条件、场景合成、修复与音频生成等模块。它呈现的是同期另一条路线：状态落在故事、角色参考图与摘要上，而不是几何与事件两桶。DramaAgent

ATAS 把长视频的一致性从逐帧交接变成了可查询、可校验、可收存的共享状态，这份状态是用运行时间和内存换来的。值不值，取决于你把「重访旧场景、重演旧事件」看得多重。

想深入可以读原文：Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation — arXiv:2610.20571

参考文献

1. ATAS. Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation. arXiv:2610.20571. https://arxiv.org/abs/2610.20571
2. DramaAgent. DramaAgent: Agentic Storytelling Video Generation. arXiv:2610.00097. https://arxiv.org/abs/2610.00097
3. VGoT. VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention. arXiv:2412.02259. https://arxiv.org/abs/2412.02259
4. FlexWorld. FlexWorld: Progressively Expanding 3D Scenes for Flexible-View Synthesis. arXiv:2503.13265. https://arxiv.org/abs/2503.13265
5. ReCA. ReCA: Multi-Shot Long Video Extrapolation via Recursive Context Allocation. arXiv:2605.26525. https://arxiv.org/abs/2605.26525
6. MovieAgent. Automated Movie Generation via Multi-Agent CoT Planning. arXiv:2503.07314. https://arxiv.org/abs/2503.07314
7. ViewCrafter. ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis. arXiv:2409.02048. https://arxiv.org/abs/2409.02048
8. VBench. VBench: Comprehensive Benchmark Suite for Video Generative Models. arXiv:2311.17982. https://arxiv.org/abs/2311.17982
9. ST-Bench / StoryMem. StoryMem: Multi-shot Long Video Storytelling with Memory. arXiv:2512.19539. https://arxiv.org/abs/2512.19539
10. ViStoryBench. ViStoryBench: Comprehensive Benchmark Suite for Story Visualization. arXiv:2505.24862. https://arxiv.org/abs/2505.24862