DreamX-Creator：7B 开源模型，视频与声音一同诞生

视频明明能动了，为什么声音反而成了僵局

问任何一个视频生成模型要一段「筷子敲开溏心蛋」的镜头，画面通常漂亮得让人挑不出毛病。真正经不起推敲的是声音：蛋壳裂开的一瞬，配上去的"咔嚓"声总是慢半拍；筷子碰碗沿的脆响，音色听着像从别的素材库里借来的。这个别扭感的根源不在某个模型的失误，而在路线本身。绝大多数视频生成器要么干脆不产声音，要么先出画面、再单独跑一个模型去配乐配音。声音是事后贴上去的，它从来没机会和画面里正在发生的动作互相商量。阿里巴巴 DreamX 团队 2026 年 8 月提交的 DreamX-Creator 1.0 想换一种玩法：让声音和画面在同一个生成过程里一起长出来，天然同步。

这个问题的出现，本身是视频生成成熟的副作用。视觉这条腿早就粗壮了：MM-DiT 在 2024 年把「两套模态权重、共享 attention」确立为扩散 Transformer 的设计公理，高质量视频主干随之变成可下载的开源资产。声音这条腿却一直是补丁，主流路线叫后配音（post-hoc dubbing）：视频先按纯视觉的扩散过程生成，音频再单独用一个模型去对齐。两个阶段各自漂亮，中间却没有互相塑造的通道，嘴型对不上台词、动作对不上拟音，在这条路线下几乎成了宿命。更值得追究的是，声音本该反过来塑造画面：脚步声逼近，画面里角色的反应就该跟着紧张起来；球落地的脆响，会让扬起的尘土瞬间变得更可信。这种双向塑造，后配音永远给不了，所以解法不是把音频模型做得更好，而是让声音和画面在同一个网络里彼此塑造。2025 年 3 月的 JavisDiT 用双流扩散 Transformer 证明了联合去噪走得通，但它仍是奠基版本：两条流各自预训练，联合阶段只对齐耦合层，把问题留给后来者。DreamX 的答案在动手之前就给出直觉：两条流完全可以在同一个注意力枢纽里共存，各用各的权重，又随时交换信息。

图注：Stable Diffusion 3 论文里的单个 MM-DiT 块。左右两条对称的模态流（文本条件 c 与图像 x）各自做完归一化、调制与线性投影后，汇入中间共享的 Attention 块做双向联合注意力；条件向量 y 分别为两条流生成 6 个调制参数，Q/K 路径上还标注了可选的 RMS-Norm。MM-DiT

但双流共存不等于双流耦合。什么时候独立、什么时候牵手、牵手时放行多少信号，这才是 DreamX 真正动手的地方。

DreamX 的答案：一条双流生成器，让声音和画面一起长出来

DreamX-Creator 1.0 由四个模块拼成：数据系统、原生联合生成器、音视频强化学习、2K 精炼器。先给一张全系统的地图：生成器接受一张首帧图片加一段文本 prompt，同时去噪出视频流和音频流；然后用音视频强化学习做后训练；最后用一个专门的精炼器把画面提到 2K。这张图按「生成器—数据与训练—2K 精炼」的顺序，界定本文随后要依次拆开的三个层次：生成器怎么让声音和画面一同诞生，数据与训练怎么喂料、怎么练，2K 精炼凭什么一步到位。DreamX-Creator

图注：DreamX-Creator 1.0 全系统管线。左侧是双流原生生成器，前半段各自去噪、后半段经跨模态注意力耦合；中间是音视频强化学习，反馈按模态路由回对应流；右侧是 2K 精炼器，只把低分辨率视频提到 2K，音频流保持不动。DreamX-Creator

生成器本体是核心。视频流和音频流各自保留自己的 token 频率、位置编码和主干参数，都从同一个文本编码器拿条件。网络的前半段两条流完全独立，各走各的；后半段才通过 Gated Cross-Modal Attention（门控跨模态注意力）牵上手。每个训练样本会被分配三种模式之一：A2V（音频给视频提条件）、V2A（视频给音频提条件）、Joint（双向），方向掩码决定每条跨模态残差是否加入；源头流的隐藏状态在做 K/V 投影前要先过 stop-gradient，防止目标流的损失一路回流、把条件主干的预训练能力带偏。DreamX-Creator

「后半段才牵手」只是原生音视频设计空间里的一种选择。同期的三个开源系统给出了另外三条路，摆在一起才看得出 DreamX 的取舍：

LTX-2 把跨模态注意力铺满每一层，Ovi 同样每层都耦合但不加任何门控，MOVA 干脆走规模路线，用 1024 张 GPU 训了 42 天。DreamX 的主张不是堆参数量，而是用 7B 的小体积加一句清晰的拓扑声明：前半段各干各的，后半段才牵上手。这个「晚牵手」的选择带来两个好处：前一半网络可以完整保留单模态预训练的能力，不会因为过早融合而互相带偏；跨模态耦合被压缩到一小段网络里，参数增量压到最小。它还有个工程上的现实理由：音频和视频的时间分辨率本就不同，前半段各在自己的时钟里跑，代价最小；等要在后半段建立跨模态对应时，才把两条流拉进同一个时间坐标系对齐。门控正是这段耦合里最关键的设计。

后半段那次「牵手」，为什么需要一个会呼吸的门

直接让两条流互相 attend 是最省事的做法，Ovi 的每一层双向 cross-attention 就是这么干的。一个常见的担忧是：双流一起训练时，强模态容易带跑弱模态，模型也可能偷懒地中和两路信号；DreamX 的应对不是不耦合，而是把耦合做成受控的——方向掩码、stop-gradient 与逐头输出门。GCMA 用三层机制防住这一点。

第一层是方向掩码，决定整条跨模态路径开不开。第二层是 stop-gradient 隔断回流。第三层才是真正的创新：一道逐 token、逐头的输出门。每个 attention head（注意力头）的输出在进入最终输出投影之前，会被一个 sigmoid 门按 token 逐个缩放一段，门的位置在 attention 计算之后、输出投影之前。门的开度不是常数，它同时读两样东西：目标流自己当前的隐藏状态，以及跨模态注意力刚吐回来的输出，再叠一个每个头专属的偏置。写成公式就是论文的 Eq. (5)：

$$g_{i,h} = \sigma\bigl([W_x,\mathrm{LN}(x_i)]h + w_c^{\top},\mathrm{LN}(C{i,h}) + b_h\bigr)$$

每个头的门开度 $g_{i,h}$ 落在 0 到 1 之间，直接缩放对应头的输出。DreamX-Creator 注意这道门和方向掩码管的是不同层面的东西：掩码决定整条残差加不加，门决定每个头放行多少。前者是路径选择，后者是输出调制。

把它想成一个调音台，会好懂很多。台上的每一路推子对应一个 attention head，推子位置在 0 和 1 之间，决定另一条模态的信号放大多少倍。关键在推子的位置是动态的：它同时取决于你此刻正在说什么（目标流自己的状态）和对方刚说了什么（跨模态注意力的输出）。Qiu 等人在语言模型里观察到，训练结束后这类门学出来的习惯是大多数时候几乎关着：SDPA 输出处的门控分数均值只有 0.116 左右，只有遇到值得注意的内容才把路放开。对比其他位置的门就明白这个习惯有多鲜明：值投影处的门均值 0.221，所有头共享一个门的 SDPA 门均值 0.271，都比逐头逐 token 的门开得大。越稀疏的门，过滤得越干净。而且这道门在计算上几乎免费，Qiu 等人实测的额外延迟不到 2%。正是这份「大多数时候安静、关键时刻才放行」的脾气，让 DreamX 把门放在 G1 位置：它指望跨模态路径也养成同样的习惯，平时保持安静，只在对方模态传出值得注意的信号时打开。

这道门的位置不是 DreamX 拍脑袋定的，它有明确的设计血缘。Qiu 等人的 Gated Attention 论文系统比较了注意力块内五个候选门位置，在 30 个变体、15B MoE 和 1.7B 稠密模型上做完消融，结论是 G1（SDPA 输出之后）最优。理由有两个：门把非线性插进了值投影到输出投影之间的低秩瓶颈，同时门分数能学出「查询相关」的稀疏性，让每个头形成自己的过滤习惯。这套解释也说明了为什么 G2（值投影之后）只能当亚军、G5（输出投影之后）却几乎没用：门必须夹在两次线性变换之间才有效，放在 W_O 之后，低秩瓶颈还在，门只是给一个已经定型的结果乘了个标尺。顺带一个惊人的副作用：在语言模型上，加门后首 token 吞掉的注意力份额从 46.7% 掉到 4.8%，模型不再依赖「把大量注意力堆向序列开头」的坏习惯来维持训练稳定。DreamX 的 GCMA 就是这个 G1 的直达应用，把验证过的门位置搬到音视频跨模态路径上。

图注：Qiu 等人系统比较的 5 个候选门位置，从 SDPA 输出之后（G1）一直到输出投影之后（G5）。中图显示 G1 在 15B MoE 上取得最好的困惑度与 MMLU，右图显示加了 SDPA 门控的 1.7B 模型训练损失更低、更平稳。Gated Attention

门解决「放行多少」，坐标解决「对不齐」。视频帧和音频 token 的时间刻度天然不同，一个 5 秒片段里，视频潜变量可能只有 31 个时间位置，音频却有 157 个 token。如果两边各按自己的坐标系算位置，画面第 5 帧和声音第 20 个 token 就不知道彼此是同一时刻，同步就无从谈起。DreamX 把两条流放进共享时间坐标，跨模态的 Q/K 使用时间 RoPE。RoPE 提供的是第一层保险：它在注意力层面保证「第 5 帧和第 20 个音频 token 被当成同一时刻」，而真正让模型学会在这个时刻把两者绑定的，还是跨模态注意力与门控本身的训练。Ovi 走的是另一条等价的路，把音频的频率刻度按 31/157 缩放来对齐。共享一个时钟，是这一类系统共同的技术底座。Ovi

好数据与好训练：除了架构，还要喂什么、怎么练

架构再好，喂进来的数据不对也白搭。联合生成对数据的要求比纯视频苛刻得多：一段素材必须画面和声音在时间上真的对得上，而不是画面里一个人在说话、配乐却盖过了台词。DreamX 的数据系统分四步走。DreamX-Creator

图注：数据系统四步管线。异构数据采集来自 Koala-36M、VGGSound、AudioSet 等公开集与内部数据；随后做场景切分和质量过滤，用 Synchformer、SyncNet 专门校验音画对齐；再由 Qwen3-Omni-30B、Qwen3-ASR-1.7B、Qwen3.6-27B 接力生成结构化标注；最后按能力归类成四个数据池。DreamX-Creator

原始素材进来后，先按场景切分、滤掉近静音段，然后用 Q-Align、UniMatch 做画面质量打分，用 Synchformer、SyncNet 专门校验这段画面的音画对齐程度。过滤这一步的守门员就是这些同步校验模型：一段音画错位两百毫秒的街头采访素材，人眼未必抓包，但生成器会把这套错位当正常规律学进去，于是产出的视频也跟着错位。守不住这关，后面的架构和训练都白搭。接下来三个多模态大模型接力做结构化标注：Qwen3-Omni-30B 负责联合视听理解，Qwen3-ASR-1.7B 转写语音，Qwen3.6-27B 把视听两边的描述融合成统一 prompt。最后一步是按能力归类，分出四个池子：对话语音、动作拟音、环境音乐、通用电影感。这个分类不是摆设：四类数据对生成器的要求完全不同，动作拟音考验「视觉事件驱动声学事件」，对话考验嘴型和台词的毫秒级同步，混在一起训会互相稀释。数据怎么归类，直接影响生成器在哪些能力上被专门训练：动作拟音对应时间同步类指标（DeSync），对话语音对应唇音同步（LSE-C），环境音乐则考验语义一致性（IB）。

训练也分三步走。第一阶段用 LoRA（秩 256）只动后半段网络，前半段冻结，跨模态模块从零直接训练；第二阶段合并 LoRA，全参数联合优化；第三阶段做高质量微调，用 OmniShotCut 切镜检测器把包含镜头切换的片段整个扔掉，因为剪接处恰恰是音画最容易穿帮的地方。这个「先冻结前半段、再逐步放开」的课程，是为了不让新训练的跨模态模块冲垮宝贵的单模态预训练能力。

光靠 flow-matching 损失，模型学到的是「去噪去得对」，而不是「听感好、嘴型对、prompt 跟得紧」，这几样都不是单纯的分布匹配能直接优化的。所以压轴的是音视频强化学习，核心叫模态感知的多模态反馈：视频质量、音频质量、音视频同步被拆成三份优势估计，视频那份只回流进视频流，音频那份只回流进音频流，同步这份同时喂给两条流和跨模态模块。用论文的记号，等价于 $\tilde{A}v = A_v + A{av}$、$\tilde{A}a = A_a + A{av}$，各回各家。这条把反馈按模态拆开的设计哲学，论文自己标注为对 OmniNFT 的继承。DreamX-Creator

图注：模态感知的强化学习路由。视频质量奖励只流向视频流，音频质量奖励只流向音频流，音视频同步奖励同时优化两条流与跨模态模块；右侧的策略优化还带着向预训练基座回归的正则项约束。DreamX-Creator

更进一步，反馈不是对整段视频一视同仁。模型拿视频流对音频流的响应当相关性打分，把嘴部、发声物体附近的 token 加权更重，训练早期权重近乎均匀、随着系数升温慢慢聚焦到该同步的地方。音频流还享有一层保护：A2V 通路上浅层块的梯度被衰减，深层交互块才恢复，避免强化学习把辛辛苦苦预训练好的音频先验冲掉。强化学习后训练阶段用的数据不多不少，就是 1000 个「首帧 + prompt」条件对，配上每条件采样一组候选的做法。这个 1000 要限定清楚：它只指后训练这一步的条件对数量，不代表前面数据系统采集的素材规模，也不代表基础联合预训练阶段喂进去的数据量，那几个环节的数据量都比这个数字大得多。这条「模态感知」的路线不是 DreamX 独有，MOVA 那边即便是 32B 的 MoE 规模，走的也是低清多样、质量过滤、高清热身的三阶段课程。分阶段这件事，与模型大小无关。

7B 模型凭什么直出 2K：一次只改画面的 1 步蒸馏

7B 是双刃剑。参数少意味着可复现，也意味着直接在 2K 分辨率上跑几十步去噪几乎不可能。DreamX 的解法是把高分辨率从「生成」里拆出来，变成一个独立的一次性精炼步骤：先让 7B 生成器在低分辨率下把内容、声音和同步都定稿，再由一个专门的 refiner 把画面提到 2K，音频流一根手指都不碰。

这个 refiner 的诞生走三步递进。DreamX-Creator

第一步，把一个双向多步 teacher 用教师强制的方式适配成自回归多步 refiner：当前块去噪时，以低分辨率视频和前面已经生成好的高分辨率块为条件。这一步看似绕路，实则是为部署买单：部署时能拿到的历史信息只有前面已经精炼好的块，双向 teacher 的全局视野在推理时根本用不上，所以先用教师强制把它的因果结构掰正。第二步，退化课程从轻微退化起步、逐步加重模糊、噪声、压缩、重采样和几何畸变，还专门加上时间相关的退化。为什么要有这一步？因为输入是生成视频，自带闪烁纹理和运动抖动，不是相机实拍，refiner 必须学会修掉这些「电子味」，而不是把它们当真实细节保留。第三步，用 DMD2 蒸馏把多步 refiner 压成一个 1 步 student。蒸馏的目标是让 student 产出的成品分布去逼近 teacher 的成品分布：中间走了多少步不重要，最终画面像不像多步精修过的才重要。每个时间块只需一次去噪求值，训练时让 student 自己 rollout 完整视频来对齐训练和推理的分布，缓解曝光偏差。把步数从几十压到 1，工程收益是直接的：2K 画幅下每时间块只做一次去噪求值，精炼的开销才接近普通上采样的量级，单卡才跑得动。

值得强调的是「音频流保持不变」这条纪律。精炼只碰画面，声音在低分辨率阶段已经定稿。这在工程上省掉一大块算力，也避免了 2K 重采样把声音的瑕疵跟着放大一遍。一句话总结这个设计：把「生成 2K」从一道必答题拆成「生成内容」和「画质修复」两道独立小题，前者交给 7B 生成器，后者交给 1 步小模型。用 Verse-Bench 的指标看，refiner 在 MUSIQ 上拿到 0.7073、在 MANIQA 上拿到 0.4382，都是对照组里最高的，压过 FlashVSR、SeedVR 和 LTX-2.5 Refiner；Aesthetic 0.4911 仅次于 FlashVSR 的 0.4940。它的 LSE-C 7.6979 与 IB 0.2675 跟精炼前基线基本持平，DeSync 0.1731 在精炼方法里也排前列。需要如实记一笔的是：DeSync 比精炼前的 0.1351 略升，同步性没有随清晰度一起变好。精炼的收益几乎全部落在画面清晰度上，这是它的定位，也是它的边界。DreamX-Creator

它到底强在哪、又诚实地承认了什么

先看它在整个格局里的位置。论文按「开放权重、原生音视频、本地分辨率」三个属性排开了 8 个系统（截至 2026 年 8 月 27 日的公开信息）：DreamX-Creator

LTX-2.3 三个属性全有，但体量是 DreamX 的三倍多；MOVA 开放且原生，却没有本地 2K 路径；Seedance 2.5、Kling 3.0 干脆只在线上。DreamX-Creator 1.0 是这 8 个系统里唯一同时满足三属性、且只要 7B 的模型。它的代表性不在 SOTA 性能，而在「民主化」：把原生音视频生成从大厂集群的专利，压到学术实验室算力够得着的地方。不过「够得着」目前还只是论文的一个承诺，不是既成事实：只有权重、训练配方和实际预算都公开之后，才能判断小团队是否真的能在本地复现整条 pipeline；先在小模型上做数据与门控实验、再把结论迁移到更大模型的设想，也才谈得上落地。论文摘要承诺发布 7B 生成器与 2K Refiner 两个权重，训练开销只给了一句「比较适中的 GPU 预算」，具体数字留白，这本身也是一种克制。

量化表现如何？在 Verse-Bench 上，DreamX（RL）的 DeSync 0.1351 是整张表里最低的，LSE-C 7.8361 在 Table 3 那一组开源系统里最高，说明「同一时刻的画面和声音绑在一起」这件事它确实做到了。但同一张表的另一列暴露了短板：音频愉悦度与语义一致性这些维度上，CE、CU、PQ、IB 都落后于 LTX-2.3 与 MiniMax-H3。论文自己把这话说透了：favorable 的 VQ 与 DeSync 是取舍，不是全面超越，要追平音频体验，需要更强的音频后训练与跨模态对齐。同一个模型，两种命运：同步性这种结构性能力，7B 就能做到全场最好；听感这类靠训练容量积累出来的维度，就生生被 22B 和 33B 拉开身位。这恰好印证了论文自己的诊断：短板集中在音频美学等体验维度，语义一致性（IB）与唇音同步（LSE-C）也尚未追平更大的模型——论文说补齐需要更强的音频后训练与跨模态对齐。DreamX-Creator

比数字更值得读的是论文的一句自我限定。结论里明确写道：音视频强化学习和 2K 蒸馏这两个阶段是「有明确验证要求的设计，而非已完成的经验性论断」。翻译成大白话：Tables 3/4/5 的数字真实存在，但这两步还没有闭环的、可重复的外部验证，单靠 1000 对训练数据和一张对照表，撑不起「经验性结论」这四个字。同样，论文正文没有给出最终的 GitHub 或 HuggingFace 地址，只说会随公开版发布 7B 生成器与 2K Refiner；音频侧 VAE 的来历，正文也没有交代。这些都不是黑点，而是读论文该有的姿势：把「已经证实的」和「设计妥当但待验证的」分开记账。

它打开的想象空间比它做到的东西大。四条未来线已经被这张战场图摆明：对称大模型的双向跨模态（Ovi）、非对称双流加采样侧引导（LTX-2）、MoE 规模路线（MOVA），以及 DreamX 代表的紧凑路线。哪条能走通，取决于未来半年谁能先把手里的短板补上，同时把验证闭环跑完。对读者来说，接下来值得盯两件事：DreamX 的公开版能不能兑现论文里的承诺，把强化学习和 2K 蒸馏补成闭环验证；以及四个能力化数据池会不会随模型一起放开，让这个 7B 起点真正长成社区的地基。

视频生成的下半场，比的或许不再是谁能把画面做得更真，而是谁能让声音不再迟到。论文报告的 7B 路线显示了这种可能性：让画面和声音在一个模型里一同诞生，未必非要大厂集群不可。而这条路线是否真能被小团队复现，仍然取决于公开版能否兑现论文的承诺、算力预算到底有多少，以及 RL 与 Refiner 的验证闭环能不能跑通。

想深入可以读原文：DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution — arXiv:2608.31106

参考文献

1. DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution（DreamX Team, Alibaba Group）— https://arxiv.org/abs/2608.31106
2. Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free（Qiu et al., NeurIPS 2025 Oral）— https://arxiv.org/abs/2505.06708
3. Scaling Rectified Flow Transformers for High-Resolution Image Synthesis（Stable Diffusion 3 / MM-DiT, Esser et al.）— https://arxiv.org/abs/2403.03206
4. LTX-2: Efficient Joint Audio-Visual Foundation Model（HaCohen et al., Lightricks）— https://arxiv.org/abs/2601.03233
5. Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation（Low et al., Character AI）— https://arxiv.org/abs/2510.01284
6. MOVA: Towards Scalable and Synchronized Video-Audio Generation（SII-OpenMOSS Team）— https://arxiv.org/abs/2602.08794
7. Wan: Open and Advanced Large-Scale Video Generative Models（Wan Team）— https://arxiv.org/abs/2503.20314
8. HunyuanVideo: A Systematic Framework For Large Video Generative Models（Kong et al., Tencent）— https://arxiv.org/abs/2412.03603
9. JavisDiT: Joint Audio-Video Diffusion Transformer with Hierarchical Spatio-Temporal Prior Synchronization（Liu et al., ICLR 2026）— https://arxiv.org/abs/2503.23377
10. HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation（Shan et al.）— https://arxiv.org/abs/2508.16930