Text-Audiobox：Meta 把电影配音和实时语音对话，收进同一套 3B 生成模型

2026 年 9 月，Meta FAIR 悄悄在 arXiv 上挂出一篇论文：用一个 30 亿参数的非自回归扩散 Transformer，同时把电影级跨语言配音（保留原音色、换语言、卡口型）和全双工语音对话（能随时打断、随时接话），收进同一套模型 Text-Audiobox。它的核心赌注很反直觉——砍掉传统 TTS（text-to-speech，文本转语音）流水线里"先做文本-语音时长对齐"这一步。这件事为什么是难题、又凭什么能成，下面展开讲。 Audiobox FAIR TTS

配音要卡口型，实时对话要能打断——对不齐的两件事

想象两个使用场景。把一段西班牙语电影台词用英文重新配音：演员嘴型已经卡在 1.5 秒，你生成的英文语音必须也是 1.5 秒整句时长，多几十毫秒观众就会觉得嘴和声音对不上。再想象一个实时语音助手：用户说到一半开始插话，助手得立刻停下来；用户停下来，助手又得接上去。每个回合的时长都不固定，每段话都可能被打断。

这两件事拧巴的地方在于：配音要求全句时长严格，每个音节都得对齐到固定帧数（forced alignment，强制对齐）；而全双工对话则要求每段时长自由，不能预设任何固定长度。一个系统的输入端硬约束越死，它的输出端就越难流式响应。

传统 TTS 流水线用 forced alignment 把每个音素钉死在固定帧数上，这一步同时得罪了配音和对话：配音场景里，音节边界被定死，遇到需要补停顿的句子就僵住；对话场景里，每段话被强行拉成固定长度，用户一插话模型就接不上。这也解释了为什么 Meta 系内部几条线索都没能两全——纯语音的 dGSLM 路线牺牲了语义，沿用 forced alignment 的 Voicebox/Audiobox 路线把时长锁死（细节见下章）。Text-Audiobox 想做的事，本质上是把前一条线的"通道协同"思路扩展到"文本—语音协同"——文本只负责告诉模型"说什么"，语音潜变量负责告诉模型"怎么说、说多久"，由模型自己学两者之间该停在哪里。 Voicebox

它从哪里来：Voicebox → Audiobox → Text-Audiobox 这一脉

Text-Audiobox 不是凭空冒出来的。它的核心设计是把 Meta FAIR 自己的三步历史打通了：flow-matching（流匹配，把噪声按一条直线路径输运到目标分布）训练范式、双 prompt（双条件提示）解耦控制、跨注意力隐式对齐。下面按时间线展开。

2023 年 6 月，Meta FAIR 的Voicebox把"非自回归 + flow-matching + 文本引导 infilling（用上下文补全中间缺失段）"这条范式系统化地用在了大规模语音生成上。它给模型一段上下文音频和完整文本转录，让它预测被遮蔽的语音段。模型本身只有 330M 参数，干的事却非常通用：零样本 TTS、跨语言风格迁移、瞬态噪声去除、内容编辑全部统一为"按上下文填音"。但 Voicebox 仍然依赖 forced alignment 来生成 frame-level phone transcript（逐帧音素标注）——它用一个外接对齐器先把每个音素对应到固定帧数，再让模型预测这段帧上的谱。

图注：Voicebox 的 audio model 架构图。上半部分是推理时的输入输出流：phone embedding lookup（音素向量查表）→ 三个序列（带噪谱 x_t、上下文谱 x_ctx、音素嵌入 z_emb）在 frame 维度上拼接 → 线性投影 W_p → 与 sinusoidal time embedding（时间步正弦嵌入）拼接 → 24 层 Transformer → 输出向量场 v_t。下半部分显示训练时如何把同一段音频切成 masked 段与 context 段，再把音频替换为 flow 插值。

半年后，同一团队的Audiobox把 Voicebox 扩展到统一音频生成。它做了两个关键改动：第一，把 Voicebox 的 infilling 训练目标从"只对语音"扩展到"语音+音乐+音效"跨模态，预训练用 Encodec dense features（EnCodec 是一种语音编解码器，dense features 是它量化前的连续中间表示）作为建模对象；第二，加入 description prompt（文本描述）和 voice prompt（声音样本）双条件控制——一段文字描述决定"说什么、什么风格"，一段声音样本决定"用什么音色说"。Audiobox 仍然是语音-文本混合的双 prompt 显式输入，transcript 还是要做 frame-level 对齐。 EnCodec

图注：Audiobox 的统一架构图。左半部分是 Audiobox SSL（自监督学习预训练）→ Speech/Sound 三块预训练模块；右半部分是统一 Audiobox 模型，同时接受 caption description（T5 文本嵌入）、voice prompt（3 层 Transformer 编码 Encodec features）、transcript（frame-aligned char embedding）、context prompt（被遮蔽的音频特征）四路条件输入。

到这里为止，三代模型在 Meta FAIR 内部形成了 Voicebox → Audiobox → Text-Audiobox 这条主线 Audiobox。下表把这条跃迁的关键数字摆出来：

读者要带走的判断是：Text-Audiobox 的"新"，是相对于 Audiobox 的"砍掉对齐步骤"这一具体改动，而不是 TTS 全新技术路线。它把 Audiobox 已经验证过的设计——flow-matching + DiT backbone（Diffusion Transformer，扩散变换器主干）+ 双 prompt 解耦——全部保留并放大。

它怎么做到的：DAC-VAE 25 Hz 隐空间 + cross-attention 砍掉对齐

要理解 Text-Audiobox 的核心机制，先把两件事拆开：DAC-VAE 25 Hz 隐空间解决了什么，cross-attention 替代对齐又解决了什么。 DAC-VAE

第一个问题：怎么把 48 kHz 音频压成可建模的连续序列。传统 TTS 用 mel 谱（mel-spectrogram，一种把音频按人耳感知频率压缩后的频谱图）作为建模对象，但 mel 谱帧率太高（一般 80–100 Hz），每秒钟要建模上百帧，对长篇合成来说计算量爆炸。Meta FAIR 早期用 EnCodec 把 24 kHz 音频压成 75 Hz 的离散 token，但 token 是离散的，要用 AR（自回归）语言模型才能建模——这又带来了 AR 误差传播的旧问题。

Text-Audiobox 改用 DAC-VAE——这是 Meta 在 2024 年 Movie Gen Audio 里推出的一种连续隐空间 codec（编解码器，一种把音频压缩成紧凑表示再还原的神经网络）。DAC-VAE 把 48 kHz 音频下采样 1920 倍，得到每秒 25 帧、128 维的连续潜变量序列 DAC。相比 Audiobox 的 EnCodec（压缩比 160×–320×），DAC-VAE 把压缩比推到 1920×——整整高出一个数量级。这意味着同样时长的音频，需要建模的帧数少一个量级，长篇合成的可行性就打开了。

第二个问题，也是更关键的：怎么替代 forced alignment。传统 TTS 流水线的标准做法是，先用一个外接的 forced aligner（强制对齐器，通常基于 CTC 或动态规划）把每个音素对应到固定帧数，再让模型预测这段帧上的内容。这个步骤有两个老毛病：第一，回归式的时长预测器容易欠拟合，限制表达力；第二，对齐器的误差会传播到生成端，在对话这种含噪声和犹豫的实际语音上尤其明显 NaturalSpeech 2。 NaturalSpeech 2

Text-Audiobox 的做法是：把这一步整个砍掉，让模型自己学对齐。具体怎么实现——用一个 off-the-shelf（开箱即用的）mT5 文本编码器把文本转成 key/value 序列（即注意力机制中的"被查询的键"和"被用来加权求和的值"），送进 DiT 块（Diffusion Transformer 块）内部的 cross-attention。文本不预先决定对应多少语音帧，而是由模型在生成每个语音帧时，自己去 attend（关注）文本中相关的部分。

下面这张图是 Text-Audiobox 自己的架构图，把上面这些模块全画在一起了 Text-Audiobox。

图注：Text-Audiobox 的两个变体架构。上半部分是 Text-AB-Mono（单通道，做配音）；下半部分是 Text-AB-Stereo（双通道，做全双工对话）。两版共享同一套 DiT backbone，接收四路输入：noised DAC-VAE latent（带噪的潜变量目标区域）、DAC-VAE audio context（声音样本条件，可置空）、frame-level language-ID embedding（帧级语言 ID 嵌入）、mT5 cross-attention（文本条件）。Stereo 版本在 Mono 基础上把输入输出投影层复制一遍（输入权重除以 2 以保持激活分布一致），实现双通道。

把 Text-Audiobox 的架构和同期最具代表性的"alignment-based"路线对照看，差异就具体落到"砍掉了什么模块"上 NaturalSpeech 2。

图注：NaturalSpeech 2 的系统总览图。左边是 Text → Phoneme Encoder → Duration/Pitch Predictor（显式预测每个音素对应的时长和音高）→ Condition c → Diffusion Model（基于 WaveNet 一维卷积架构的扩散模型）→ Latent z；右边是 Speech → Codec Encoder → Latent z；Latent z → Codec Decoder → Speech。和 Text-Audiobox 并排放，差别一目了然：NaturalSpeech 2 把 duration predictor + pitch predictor 单独画出来作为 prior model（先验模型，给扩散过程提供条件的辅助模块），Text-Audiobox 则在 DiT 块内部用 cross-attention，由生成中的语音帧查询文本编码得到的 key/value。

具体说，Text-Audiobox 的两条路径都做了哪些事：Mono 路径只跑一个通道，输出单声道语音，用来做跨语言配音；Stereo 路径在 Mono 基础上把输入输出投影层复制一份，每个文本 token 携带说话人 ID 标记，用来做双通道全双工对话——一个通道放用户语音，一个通道放助手回复。两通道共享同一个 DiT，但各自独立的 DAC-VAE 潜变量序列允许它们时长不一致。

这里需要把"卡时长"和"自由时长"是怎么由不同条件分别兑现的讲清楚。配音任务的目标总时长不是由音素对齐给定的，而是由模型外部的另一路条件——参考音频（reference audio）的长度——决定：给定一段已知时长的西语原片语音作为 prompt，模型生成与其帧数对齐的英文 DAC-VAE 潜变量序列，输出的英文语音时长就被参考音频的帧数锁死。这与被砍掉的逐音素强制对齐是两回事——后者是让每个音素各自钉死在预定帧上，前者只是让整句的总帧数等于参考音频的总帧数，音素边界、停顿位置完全由 cross-attention 自己决定；对话场景则完全不给定参考音频长度，每个通道各自生成多少帧由模型流式决定，因此时长自由。两通道共享同一个 DiT，但各自独立的 DAC-VAE 潜变量序列允许它们时长不一致。这就解释了为什么同一个模型能同时处理配音（卡时长）和对话（自由时长）。

数字兑现了什么：配音、人感、情感三张主表

Text-Audiobox 的实验设计很值得拆解：它没有和任何公开外部系统做头对头（head-to-head，直接同基准对比），所有主表数字都是和 Meta 内部最强基线比。这意味着"全面碾压公开 SOTA"不能写，但"在 Meta 内部栈里跨了一大步"可以成立。

配音主表（论文 Table 1）是这么打的：100 句 Es→En（西班牙语到英语）+ 100 句 En→Es（英语到西班牙语）样本，请人类评估员在 [-3, +3] 区间内对 Text-Audiobox 与 Meta 内部最强配音模型做 A/B 对比。

Shareability 是最值得看的一项——它综合衡量"这段配音像不像、能听、愿不愿意分享给朋友"。双向都拿到 +0.4 左右的大幅领先，意味着 Text-Audiobox 不是只在一两个指标上小胜，而是在用户体感层面整体超越。

全双工对话主表（论文 Table 4）的设计思路是分长度：短对话和真实录音比，长对话和 Meta 内部模型比。

• 短对话 vs. 真实录音：human-likeness 4.53 vs. 4.62，差距 -0.09。换句话说，Text-Audiobox 在短对话上已经接近人类录音水平，差距不到 0.1 MOS 分（MOS 即平均意见分，5 分制主观评分）。
• 长对话 vs. 内部基线：human-likeness 3.86 vs. 3.00，领先 +0.86。这意味着在更长、更复杂的对话里，Text-Audiobox 相对上一代内部模型整整拉开了近一档评分。

下面是推理阶段的视觉锚——同一个 DiT 通过三种 prompt 模式（empty / mono / stereo）覆盖三种使用场景 Text-Audiobox。

图注：Text-Audiobox 的 one-shot 推理三种模式。三栏并排：左栏是 empty prompt（两通道都用随机声音，生成全新对话样本）；中栏是 mono prompt（一边固定声音，另一边自动补全）；右栏是 stereo prompt（两边都用 prompt 声音条件，生成固定说话人的双通道对话）。三栏都通过同一个 DiT，32 步 ODE（常微分方程，此处指扩散模型的迭代求解过程）求解。

模型规模消融（论文 Table 2）则揭示了规模曲线：把参数从 300M 涨到 1B 再到 3B，WER（词错误率，越低代表语音越清晰可懂）从 44.45% 降到 22.97% 再到 13.98%，SpkSim（说话人相似度）从 0.64 涨到 0.76。论文把 69%/19%/4% 的相对改进归到三档规模跃迁上——意味着 1B → 3B 这一步仍然有显著收益，"再大点还能更好"这件事在 2026 年还成立。

但也有反直觉的发现。长对话的 NSVs/fillers（non-sentence verbalizations，非句法语气词，如"嗯""呃"等自然停顿词）指标上，Text-Audiobox 是 4.12，Meta 内部基线是 4.57——Text-Audiobox 反向落后了。论文自己把这点归到训练对话语料和评估脚本的内容域错配：模型学到的自然停顿分布和评估集的对话脚本不匹配。这是一个值得读者记住的"模型越大不一定处处越好"的具体例子。

多阶段重排序（multi-stage reranking）是另一个工程亮点：生成 N 个候选样本，用 WER（Whisper-Large-V3 ASR 识别）和 SpkSim（WavLM-based speaker verification）打分，过滤掉 SpkSim 低于最高分 75% 的候选，再挑 WER 最低的那个。32 个候选的情况下，WER 从 4.05% 降到 2.20%，SpkSim 从 0.66 涨到 0.74 Text-Audiobox。

长对话流式生成则用了 multi-diffusion（多重扩散）方案——把目标序列切成 30 秒一段、相邻重叠 20 秒的小段，每段独立去噪后在重叠区按加权平均合并。

图注：Multi-diffusion 长形式生成示意图。一段 13 帧的目标被切成 6/7/5 帧三段，相邻重叠 2–3 帧。黄色高亮区是重叠区域，三段分别去噪后在重叠帧上做加权平均。如果不做这一步，直接拼接会在 chunk 边界产生咔嗒声。

最后是情感对话。Text-Audiobox 的情感 SFT（supervised fine-tuning，有监督微调）模型在三类情绪（angry/happy/sad）的 emotion alignment MOS 上分别拿到 3.576/3.333/3.421，对照只做对话 SFT 的版本是 2.397/1.966/2.943——三类情绪全面超过未做情感微调的基线 Text-Audiobox。

免对齐这条路还差什么：长对话回退、只懂两门语言、没开源

数字之外，更值得读者带走的是这条路仍然没解决的几件事。

第一件：长对话的 NSVs/fillers 反向回退。短对话 4.76，长对话 4.12，内部基线 4.57。论文自己归因到训练对话语料和评估脚本的内容域错配——这是一个明确的、作者承认的"模型越大不一定处处越好"的具体例子 Text-Audiobox。

第二件：语言覆盖窄。预训练是 38 万小时英文 + 10 万小时西文，跨语言 SFT 也只到 En↔Es 双向。论文结论章节明确把"扩展到更多语言和模态"列为未来工作。

第三件：可复现性差。v1 没有公开代码、权重、数据集。论文 TeX 源里 Code 和 Blogpost 元数据都被注释掉了，匿名 demo URL 也被注释掉了。内部基线都未具名——"Meta 内部最强配音模型"具体是哪一代，没说。"跨语言配音 benchmark"也是内部真实业务数据集，没有公开。这意味着 +0.40 shareability / +0.86 long-form human-likeness 这些数字，目前都只能用来理解"在 Meta 内部栈里跨了一大步"，不能用来声称"全面超越公开 SOTA"。

第四件：与同期 AR 路线的并存。2026 年 9 月 arXiv listing 里同期出现一篇GEPARD，走的完全是另一条路——AR decoder-only LLM（纯解码器单向注意力的大语言模型）+ GroupFSQ codec（分组有限标量量化，把连续向量量化为一组离散码的轻量化方法）+ vLLM-native（基于 vLLM 高吞吐推理引擎直接部署）。它的推理数字是单流 RTF ≈ 0.067（RTF 即实时因子，0.067 表示生成 1 秒音频只需 0.067 秒计算时间，约 15 倍实时）、TTFA ≈ 0.046s（TTFA 即首音频到达时间）。

图注：GEPARD 架构图。三路输入——可选的 Q-Former 声音克隆前缀（Q-Former 是一种把可变长度输入压缩为固定长度向量的桥接模块）、文本嵌入、32 通道 FSQ（有限标量量化）音频接口——拼接成一个序列，送入 Qwen3.5 backbone（一个约 5.5 亿参数的中等规模语言模型主干），再通过 32 个 codebook 头（码本预测头，每个负责预测一种离散声音单元）和 stop head（停止预测头）输出。Prefix 部分在送入 codebook 头之前被丢弃。

GEPARD 的存在让读者看清一件事：实时对话 TTS 在 2026 年 9 月还远未定型。Text-Audiobox 押的是"NAR DiT + cross-attention 隐式对齐 + DAC-VAE 25 Hz"这条路，GEPARD 押的是"AR LLM + GroupFSQ 离散 codec + vLLM serving"这条路。前者主打高质量长篇合成，后者主打高并发低延迟服务部署。两条路谁会先跑通工业级场景，目前没有答案。

回到 Meta FAIR 的研究血脉看这件事的长期意义。从 2022 年的 dGSLM 用 cross-attention 让两个语音通道协同，到 2026 年用 cross-attention 让文本与语音协同，同一个思路在不同模态组合上重演，是"免对齐"这条技术血脉最清晰的注脚。Wei-Ning Hsu 是这条脉络上 dGSLM、Audiobox、Text-Audiobox 三篇论文的共同作者——这不是巧合，是 Meta FAIR 把"dual-channel cross-attention"这条路坚持了四年的结果。

读者如果要带走一句话：Text-Audiobox 用 3B 参数 + 480k 小时预训练 + DAC-VAE 25 Hz 连续隐空间 + cross-attention 隐式对齐，把"电影配音"和"实时语音对话"这两种时间控制需求拧巴的任务，收进了一个模型。它在 Meta 内部栈里跑出了大幅领先，但外部可复现性差、语言覆盖窄、长对话自然停顿仍反向回退——"免对齐"这条路走到 2026 年 9 月是兑现了，但远远没有走完。

想深入可以读原文：Alignment-Free Text-Audiobox for Voice Dubbing and Full-Duplex Dialogue Synthesis — arXiv:2609.03992

参考文献

• Text-Audiobox — Sanyuan Chen, Min-Jae Hwang, Sho Inoue et al. (FAIR at Meta, 2026-09-03). 锚论文。
• Audiobox — Apoorv Vyas, Bowen Shi, Matthew Le et al. (Meta FAIR, 2023-12-25). Text-Audiobox 直接前身。
• Voicebox — Matthew Le, Apoorv Vyas, Bowen Shi et al. (Meta, 2023-06). NeurIPS 2023. 方法论祖父。
• DAC (Improved RVQGAN) — Rithesh Kumar, Prem Seetharaman et al. (Descript, 2023-06). NeurIPS 2023. DAC-VAE codec 来源。
• NaturalSpeech 2 — Kai Shen, Zeqian Ju, Xu Tan et al. (Microsoft Research Asia, 2023-04). Alignment-based 路线对照。
• CosyVoice 2 — Zhihao Du et al. (FunAudioLLM / Alibaba, 2024-12-13). AR LLM-codec 流式路线代表。
• VALL-E X — Ziqiang Zhang, Long Zhou et al. (Microsoft, 2023-03-07). AR codec-LM 跨语言路线代表。
• dGSLM — Tu Anh Nguyen, Eugene Kharitonov et al. (Meta AI / EHESS / Inria, 2022-03-30). TACL 2023. Meta FAIR 全双工对话路线鼻祖。
• GEPARD — Denis Pavlov, Ulanbek Abdurazakov, Nursultan Bakashov (Nineninesix, Inc., 2026-07-04). 同期 AR decoder-LLM 路线代表。