BloomBloom
发起研究

Vidu S2：实时数字人、实时视频编辑都做到了，空间视频还只是探索

为什么视频生成要转向实时：离线生成算不过这笔账

想象你正跟屏幕里的数字主播聊天。你说"跳个舞"，它站起来就跳；你说"把外套换成蓝色"，它当场换装、继续聊。两年前这是演示视频里才有的桥段，2026 年它被塞进同一套系统交付了出来。这套系统叫 Vidu S2，出自清华与生数科技团队的 35 人论文。它真正值得读的地方不是"又变快了"，而是把"实时"从一句营销话术，变成了一笔算得清的账。为什么"边生成边交互"会从演示桥段变成必需，Vidu S2 又拿什么接住这个必需？开篇的回答是一笔账，不是新架构。

论文开篇没有先讲模型，而是先算了一笔需求账，这笔账回答的就是"为什么必需"。离线内容的观看总需求写作 β·N，N 是用户数；因为每次生成平均会被回放 m 次，单次生成被摊薄后的需求就是 β·N/m，m 越大摊得越薄。交互式内容没有这种摊薄：每个用户每次互动都是一次新的生成，需求按 α·N 随用户数线性增长，需求池永远填不满。两条线孰大孰小，旋钮就是回放次数 m：当平均回放次数 m 大于 100，α·N 就压过摊薄后的 β·N/m，实时生成在账面上占优。

这道门槛把"为什么必需"推到了第二层：它盯住的是回放。门槛只对"能被反复看的视频"有意义，爆款视频的确能被回放几千次，可数字人直播是另一种东西：每位观众的指令都不一样，系统要实时生成一万次各不相同的互动，回放从头就不存在。当回放从账本里消失，"离线生成一遍、大家反复看"这条路就断了，剩下的唯一出路是边生成边交互。所以这不是体验升级，是需求侧逼出来的范式选择 Vidu S2。

再看"拿什么接住"：这个必需不是纸上谈兵，回应要从一处已有基线讲起。2026 年 7 月，同一团队交付 Vidu S1：540p 分辨率、42 FPS 实时，这个吞吐是在单张 RTX 5090 上实测的；用户语音直接作为控制信号；无限长度生成不糊不漂。S1 证明"实时数字人"不是概念而是可运行的基线，团队甚至在自建的 Vidu-StreamBench 上跟 Kling Avatar 2.0 做过指令跟随的定性对比：红框是 Kling 没做到的动作，绿框是 S1 成功完成的动作。Vidu-StreamBench 由 500 个样本组成，每条样本包含一条动作指令、一张参考首帧和一段音频，专门用来测"听命令"的能力 Vidu S1。

图注：Vidu S1 的能力坐标：语音引导的未来控制、无限长度推理、多样化定制角色，由真实生成样本拼贴而成。它是能力示意，不是算法架构图 Vidu S1。

但 S1 把"实时数字人"跑起来的同时，也把这条线的边界画了出来：分辨率卡死在 540p；参考图只能在首帧定死，生成中途不能换；"跳个舞"这类复杂动作指令跟不动；完全没有编辑能力。S2 论文列出的四个升级目标，恰好一条对应一块短板：720p 实时、任意时刻可更换的动态参考、更强的指令跟随、全新的实时流式编辑。换句话说，S2 对"如何接住实时这个必需"的回答，是站在已有基线上把四块短板一次补齐。要把四个目标同时装进一套系统，S2 得交出什么样的设计？这是后面每一章要回答的问题。

Vidu S2 到底是什么：两个实时模型加一条探索线

先放下"模型"这个词。Vidu S2 不是单个模型，是一套系统，由三块拼成：实时交互式数字人模型 S2-Avatar；实时视频流编辑模型 S2-Editing；再加上一条把两者都包进去的探索线，实时空间视频生成。论文在标题里就把这三样并列交付了，正文里也明确说，这套系统相对 S1 的每一次升级都对应 S1 的一块短板。两个模型还共享同一种输入形态：文本指令加上可选参考图，输出都是可以实时播放的视频流 Vidu S2。

图注：Vidu S2 的系统鸟瞰：右侧是单目与立体两路视频输出，图面上标有 Avatar、Editing 与 Realtime 字样。这是设计好的整体概览图，读不出 FPS、分辨率等定量数字 Vidu S2。

三个名字挂在一张图上，容易让人以为它们是三个独立模型各干各的。实际上两个模型共享同一套底座：DiT（扩散 Transformer），也就是用 Transformer 结构迭代去噪出画面的模型。两路走同一条训练路线，先以双向注意力训练（每一帧都能看到前后帧），再把时间注意力换成 block-wise causal mask（每一帧只能看过去），并按预设概率混用两种训练方式，Teacher Forcing 和 Diffusion Forcing，得到初始的流式能力。Teacher Forcing 是训练时把真实历史帧当上下文喂给模型，Diffusion Forcing 则把加噪后的历史帧喂进去，混用的目的是让模型从训练一开始就习惯不完美的上下文。数字人这边的 DiT 还做了图像与语音联合训练，靠一条共享的参考图在所有片段之间维持同一个身份，条件化去噪会为前 N 个片段联合预测干净的视频与音频潜变量，这是身份与外观不漂的机制基础。

这个"先双向、再因果"的设计有一笔公开的账。报酬是可持续性：配合从 S1 继承的滑动窗口上下文和滚动 KV 缓存，模型的内存占用不随对话长度增长，数字人才能无限聊下去。代价是误差：一个只能看过去的模型，每一步都建立在它上一步自己的输出上，而这些输出是在训练之外产生的。误差一旦出现就被放大、累积，滚成漂移。数字人聊到五分钟时脸还是不是同一个人，就看这一步压不压得住。S2 的答案不是修修补补，而是重写训练范式本身，这正是下一章的主题。

S2-Avatar：720p 实时不是加速出来的，是训练出来的

先说清楚"720p 实时"是怎么凑出来的。S2-Avatar 的骨干在低分辨率上跑，最后交给一个单步 latent 超分模块 Refiner 抬到 720p，吞吐量保持在 25 到 42 FPS 的区间。分辨率不是硬算出来的，但"实时"两个字需要一个更深的理由，问题出在训练与推理的错位上。

传统做法训练视频扩散模型时喂的是"标准答案"：要模型预测第 t 帧，就把前面 t-1 帧的干净真值给它当上下文。推理时没有真值，模型只能用自己上一步生成的帧当上下文。训练时看到的全是满分答案，推理时看到的全是自己的作业，两个分布对不上，这个错位在文献里叫 exposure bias（曝光偏差）。对数字人来说后果立竿见影：训练时的完美上下文让模型学不会纠错，长聊几分钟脸就开始漂移。误差滚雪球，上一步偏一点，下一步在偏的地方继续偏 Self Forcing。

图注：三种训练范式横排对比。顶部公式里 (a)(b) 标不等号、(c) 标等号，直观表示只有 Self Forcing 的训练分布落在推理分布内；(c) 底部多了虚线自反馈箭头。图中的汽车只是示意样本，不是 Vidu 数据 Self Forcing。

三个范式一排开，错位一眼可见。Teacher Forcing 喂干净真值，Diffusion Forcing 喂带噪声的真值，两者训练时都看不见自己生成的画面，只有 Self Forcing 让模型在训练时就用自己的输出当上下文。Vidu S2 的 SRF（Self-Replay Forcing，自回放强制）是这条思路的扩展版，做法分两步：先让学生模型做一段很长的自回归生成，这段只生成、不反传梯度。这是 on-policy 的关键，训练材料来自模型当下自己的输出，而不是外部数据源。再把整条自生成轨迹按 Diffusion Forcing 的方式加噪，重放一遍，这一次走一个可反传的因果 pass，损失里同时有分布匹配项和感知项。梯度在这个重放 pass 里跨块流动，却不会倒回最初的原始 rollout，长轨迹训练因此在显存上可行 Vidu S2。

这里值得停下来想清楚一件事：训练时故意喂"自己的错误输出"，在传统训练里是被尽量避开的。SRF 反着来，恰恰是因为推理时模型天天看着自己的输出往前走，那就把这种状态搬进训练。用开车打比方：Teacher Forcing 像教练车的副刹车，练习时教练替你踩，所以你从没学过踩错以后怎么救；SRF 是先让你自己开一整圈，教练不干预，把你实实在在开出的轨迹（包括压线跑偏）录下来，再对着这条真实轨迹教你每一步该怎么纠。模型不是被教成"永远不出错"，而是被教成"出错了也走得下去"。这也是为什么论文要把这一步讲成"训练出实时"：实时不是把推理引擎调快几倍，而是让模型在训练时就已经生活在自己推理时的环境里。这套范式不是 Vidu 一家独有，2026 年 Wan / 通义团队的 Wan-Animate-2 也在用 chunk-wise 自回归加 Self-Forcing 蒸馏做实时角色动画，方向一致 Wan-Animate-2。

训练数据侧回答另一个问题：怎么让数字人听得懂"跳个舞"。论文在数据准备管线里做了三件事。第一，加入单人舞蹈视频和 2D/3D 动画数据，让模型见过大幅身体动作。第二，处理一个棘手问题：很多舞蹈视频是摄像机动着拍的，直接拿来训练会让模型把镜头运动误当身体动作。S2 用背景稳定化算子把镜头晃动剥掉，在前景掩码上估计背景区域的相机运动，再做几何校正与裁剪，只留跳舞的人。第三，改用时间轴标注：不给每个片段写"主体、场景、相机"这类结构化字段，而是按 2.5 到 3.8 秒的事件窗口逐段描述发生了什么，模型才知道"先拿起杯子、再笑"这样的顺序。数据进来还要先过一道清晰度过滤，标准是压缩质量、码率、色深等多维实测得分，而不是名义分辨率，重压过的 1080p 素材一样会被拒绝 Vidu S2。

动态参考则是另一套接口。S1 的参考图只能定首帧，S2 允许生成中途随时换参考图，能力由一个 VLM agentic system（视觉语言模型代理系统）暴露出来：用户的文字或语音指令连同图像先送进一个 VLM（视觉语言模型），它先判断参考图属于哪一类，手持物、背景还是衣服，再写出一段保持其他细节不变的 prompt。生成中还有一条视觉反馈回路，逐帧检查任务完成度，再修订后续 prompt。比如你说"拿起杯子，然后笑"，prompt 会先描述拿起杯子的动作，再在描述笑容时明确杯子还在手里。模型结构没有为此改动，能力是这套代理接口换来的。分工很清楚：VLM 负责听懂和归类，生成模型只负责按写好的 prompt 执行，参考图因此随时可以加塞。

至于长期流式生成的误差漂移，论文用的是组合拳：SRF 加上流式阶段的 Streaming NFT，加上因果骨干与 Refiner 之间的不对称缓存调度，骨干持高噪声粗时间先验，Refiner 持低噪声高清空间细节。手段不少，也说明漂移没有被封闭式解决，而是被持续管理。到这里，S2-Avatar 的实时才算立住：它不是加速技巧，是一整套训练范式、数据管线与调度配合的结果。

回看这一章的题目：720p 实时不是加速出来的。加速确实在发生，低分辨率骨干、单步 Refiner、整套推理与 serving 栈都在为吞吐出力；但真正难的部分，是让模型把"自己生成的画面"当成合法训练数据。这一步只有训练范式重写才能完成，做完之后 S2-Avatar 才配叫"实时交互"，而不是"跑得快的生成器"。

S2-Editing：把编辑搬进正在播放的视频流

数字人解决了"生成"的实时，"编辑"是另一个故事，一个关于等待的故事。传统视频编辑是"生成完再改"：你改一个参数，整段重新渲染，等出来不满意再改再等，每轮等待都在杀死对话节奏。S2-Editing 的思路是把编辑直接搬进流里：风格渲染、换装、换人、换背景四种能力，共用同一个接口，一条文本指令加一张可选参考图，边生成边改，改动立刻生效。想象一个正在直播换装的主播，观众说一句"换红色"，画面里的衣服当场变色，后面的动作序列完全不受影响 Vidu S2。

机制的核心是一个作用直接、但反直觉的设计：frame-aligned attention（帧对齐注意力）。你可能以为编辑要读整段历史才能保持一致，恰好相反，每个生成帧只读同一时间步的源帧，根本不看更早的历史。

图注：frame-aligned attention 的输入结构。每个生成帧只读同一时间步的源帧，运动与时序原样保留；参考图 token 则从头参与到尾，让新外观在全流中持续。

源帧告诉模型"这一秒的人是什么姿势、镜头在什么位置"，运动与时序因此原样保留；参考图的 token 贯穿全流，负责"新外观长什么样"。两者在注意力里汇合，第 t 帧的输出就是"第 t 帧该有的动作加上新的样子"。举个具体的例子：你想把视频里人物的红色外套换成蓝色，源帧负责"这一秒手臂在什么位置"，参考图负责"蓝色外套的版型和颜色"，合出来就是穿着蓝外套的同一套动作。源帧消费后直接丢弃、不进缓存，走过的历史不驻留显存，这也让编辑能无限跟住实时流。换人、换装、换背景的区别只在于参考图里装的是什么，机制本身没有分支，这正是"统一接口"的含义。作为对照，业界同行 EditStream 走的是"一个 DiT 同时做生成与编辑"的统一路线，只是用两类条件注入实现，证明这条路不是 Vidu 一家的赌注 EditStream。

编辑还有一个生成没有的麻烦：延迟敏感。用户一边做动作一边实时比较编辑结果，慢一百毫秒都感觉得到。所以 S2-Editing 配了专门的 serving 调度：VAE 编码器、骨干、Refiner、VAE 解码器共享一条 GPU 时间线，骨干和 Refiner 用不到的 GPU 组，让编码器解码器插空跑，把闲置算力捡回来。这类服务的工程范式在业界有公开的代表，StreamDiffusionV2 用 SLO-aware batching（服务等级目标感知的批处理调度，让每一帧都在截止时间前算完）加 pipeline orchestration，核心思路一致：实时服务追求的是按时交付每一帧，而不是批处理吞吐 StreamDiffusionV2。

编辑在流上跑起来了。那标题里的第三样东西呢？空间视频能不能也实时？

空间视频：实时生成的第三只脚能站住吗？

回到第 2 章那张鸟瞰图，右侧的立体输出分支就是空间视频。空间视频的意思是左右眼各一路画面，戴 VR 设备看有立体感。S2 给两条模型路径各留了一条立体化路线。数字人这边：S2-Avatar 先出单目流，然后逐帧估计深度，把深度映射成水平视差，再把中心视角 warp 成左右眼两路画面，用轻量处理填补遮挡产生的空洞，深度估计还做了时间维度的稳定化，避免左右眼画面闪烁。编辑那边有两种工作流：先编辑完再立体化，或者把左右眼画面横向拼成一条宽流、用同一组参考图一次编辑完再拆回左右眼。可行性是有的，warp 管线跑通了 Vidu S2。

但请把"探索"两个字读重。论文自己在方法论章节就把这部分标成探索，不是成熟能力。为什么立不住？讨论区摆了两条硬约束：空间视频视野大，VR 视觉舒适度要求比单目高得多的分辨率；而 passthrough（透视）模式下，头部一动画面就必须跟上，延迟要求比普通播放更苛刻。换句话说，立体感实时生成目前是能跑，但既不够清晰也不够快，离产品还差得远。论文同时把未来方向写清楚了：从固定视角的空间视频，走向可以自由转头探索的全景空间视频。头一转、画面跟着换，把"看视频"变成"逛场景"，那才是这条线真正的目的地。

这也不是 Vidu 一家的试水。同期 4DStreamCtrl 用 3D 点轨迹做实时且空间一致的生成，把相机位姿、物体轨迹和深度统一成同一个信号，在单张高端 GPU 上维持 480p 的实时输出。方向相同、手法不同，两者一起证明"实时加空间一致"是 2026 年正在被认真探索的前沿，而不是某团队的一时兴起 4DStreamCtrl。

行，实时数字人有了，实时编辑有了，空间视频还是半成品。那么最后的问题：论文说它"outperforms all baselines"，这句话值多少？

实验、口径与收口：S2 比谁强、强在哪、又没说清什么

先把数字亮出来，再看口径。在公开基准 StreamAV-Bench 上，S2-Avatar 报了九项指标，全部排第一。这个基准分渐进与交互两条轨道，交互轨每 30 秒向系统注入一次运行时更新、最长跑到 180 秒，专测"边生成边改"的稳定性。挑几项看：视频美学 VA 0.687，第二名 Live Avatar 0.661；音画同步 AVSync 0.617，对手 SoulX-FlashTalk 0.648，这个指标越低越好；视觉质量 VQ 3.370 对 3.295。编辑这边：Sparkle-Bench 总体分 3.74，压过 Decart-Lucy2.5 的 3.67；OpenVE 与 RefVIE 联合总体 4.26，超过最强离线基线 Bernini-R 14B 的 3.92；无配对换装基准 ViViD 上 VFID_I 是 9.95，对手 CatV²TON 是 19.51，越低越好。与闭源系统的成对人工盲评里，总体质量偏好率在 85.7% 到 100% 之间；编辑侧的盲评里，S2-Editing 的平均一致性 3.56，Decart-Lucy2.5 是 2.59，XMax-X2.0 只有 1.67。优势也不只在短视频上，10 到 90 秒的分时长对比里，S2-Avatar 在一致性、视频质量、动作质量、情绪表达上都保持最高分 Vidu S2。

图注：论文的定性对比：两栏分别是女性与男性数字人案例，强调 S2-Avatar 在流式生成中保持身份、外观和发丝、眉毛、手指等细粒度几何，而闭源基线出现面部漂移与局部变形。具体基线名称以论文正文为准 Vidu S2。

这些数字要说清"强在哪"。S2-Avatar 的领先不只是分数高，是生成身份在长流中不崩，发丝、眉毛、手指这类细纹几何保持得住。相对自家 S1，从 540p 42 FPS 到 720p 25 到 42 FPS 的区间也是实打实的升级。

但口径必须一起读。第一，"outperforms all baselines"成立的范围是 Vidu 自选的这四组基准，不是所有视频生成任务。第二，闭源对手是通过商用 API 评估的，这类服务的输出本身随时间漂移，今天测的数字明天未必复现得出来。第三，25 到 42 FPS 对应的具体硬件论文没有写死，别替作者断言它跑在任何一张消费级显卡上。除此之外，S2 还有一套内部基准，覆盖流式质量、长时稳定性、运行时更新、中断恢复、音画同步、系统响应与成本，商业系统的对比主要在这套口径上完成。论文自述的局限还包括：空间视频是探索而非生产项；编辑成败依赖"参考图能被清晰归类为手持物、背景或衣服"这一假设，类别一旦重叠就可能翻车；长期流式仍要靠 SRF、Streaming NFT 和不对称缓存压误差漂移，等于承认漂移没有被一劳永逸地解决。

把这些局限和另一批同期工作放在一起，结论会清楚得多。Visko Orbis 1.0 把 Live Model 立成范式：基础模型作为常驻进程持续运行，而不是回答一次有界查询就结束，并拿一小时不漂移的 rollout 证明这个范式撑得住 Visko Orbis。

所以 Vidu S2 的真正分量不在某一项指标，而在把实时性做成整个系统的一层属性：生成是实时的，编辑是实时的，两路共享同一套转向因果流的骨架。2026 年的行业正在把 AIGC 视频从"拍完再生成"推向"边生成边交互"，S2 是这条路上交付得最完整的系统之一。而"全面领先"这种说法，记住它的边界：在 Vidu 自选的基准上、以作者自述的口径、对通过 API 评估的闭源对手领先。这个边界足够让它值得一读，也足够提醒你别多读。真正值得盯的其实是另一件事：当实时成为系统的默认属性，数字人、编辑、空间视频这三条线会在什么产品里合流。论文把在线 demo 放在 vidu.com/vidu-stream，那是这个方向的第一站。

想深入可以读原文：Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation — arXiv:2609.11638（在线 demo：https://vidu.com/vidu-stream）

参考文献

  1. Vidu S2: Real-Time Interactive, Editable, and Spatial Video Generation（清华与生数科技团队，2026-09）：https://arxiv.org/abs/2609.11638
  2. Vidu S1: A Real-Time Interactive Video Generation Model（同团队前代，2026-07）：https://arxiv.org/abs/2607.03118
  3. Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion（Adobe Research 与 UT Austin，NeurIPS 2025 spotlight）：https://arxiv.org/abs/2506.08009
  4. EditStream: A Unified Autoregressive Framework for Interactive Video Generation and Editing（Adobe Research 与 University of Rochester，2026-08）：https://arxiv.org/abs/2608.21424
  5. Wan-Animate-2: Pushing the Application Boundaries of Character Animation（Wan / 通义 humanaigc 团队，2026-08）：https://arxiv.org/abs/2608.06009
  6. Visko Orbis 1.0: A Live Model for Real-Time Interactive Long Video Generation（Team Visko，2026-07）：https://arxiv.org/abs/2607.26694
  7. 4DStreamCtrl: Interactive Video Generation with Online 4D Control（2026-08）：https://arxiv.org/abs/2608.25479
  8. StreamDiffusionV2: A Streaming System for Dynamic and Interactive Video Generation（UT Austin 等，2025-11）：https://arxiv.org/abs/2511.07399