AuK：1.5B 开源模型，一句话同时搞定语音生成与编辑

能生成、难编辑：语音 AI 的缺口到底在哪？

你录了一句"明天下午三点开会"，想把"三点"改成"十点"。只动两个字，声音、语气、录音里那点环境底噪都得原样保留。AuK 从头到尾只回答一个问题：要怎样把难以可靠编辑的既有语音，收进一个统一的系统。先把这件事有多难度量一下。2026 年发布的大规模音频编辑基准 MMAE 用 2000 条真实样本、17741 条可验证细则，测了当时最强的几个编辑系统。结果把整条指令所有细节全部做对才算成功的比例，全量集上没有一个模型超过 5%，最强的系统也只有 3.05%；就算只看相对好做的纯语音子集，最高也只有 7.04%，而在混合模态子集上，好几个系统直接归零。基准论文还点出一个更扎心的事实："平均做得像样"与"每条指令都做对"是两码事，现在的系统连前者都谈不上，EMR 长期卡在个位数。MMAE

这一行数字之所以扎眼，是因为反差就摆在同一个时代里：语音生成早已相当成熟，给段文本、给个参考音色，自然流畅的语音早就产品化了；可一旦要求从"产出新的"变成"修改已有的"，天花板立刻断崖下落。对 AuK 这个要收拢既有语音的系统来说，这组反差正是问题真实存在、且专属"现有声音"这一侧的证据：难的从来不是让模型开口，而是让模型接手一段已经存在的声音，而这条路至今几乎没人走通过。

为什么"修改已有的"会难成这样？AuK 论文把现有体系的病根归纳成三条"异构"，这三条就是病因。输出约束异构：生成任务只要整体自然，编辑任务却要求逐字对齐、无关部分原样保留。条件接口异构：有的系统只吃文本，有的只吃音频，有的两种都要，接口五花八门。监督与评测异构：每个任务用自己的数据和自己的评价口径。三条异构叠加的结果是行业高度碎片化，每个任务各占一个模型、一套接口，各自为政，谁都无力把既有语音收拢成一个系统。AuK

AuK 开出的答案，就是把病因逐条拆掉的统一接口。它的目标形态极其简洁：一条自然语言指令，加一段可选音频上下文，比如要克隆的音色、要修改的原录音，输出目标波形。五个任务家族共用这一个接口：语音生成、内容编辑、副语言编辑，涵盖情感、口音、耳语这一类；声学编辑，控制语速、响度、音高；以及增强与分离。下图就是论文给出的能力总览。

图注：AuK 能力总览：五个任务家族全部从"自然语言指令 + 可选语音输入"映射到输出语音，统一接口覆盖生成、内容编辑、副语言编辑、声学编辑与增强分离。AuK

换句话说，AuK 想做的是语音版的"全能剪辑师"。你不需要为改语速装一个软件、为去噪装另一个，而是像跟一个听得懂人话的音频工程师说话：一句话交代任务，它全部接得住。这张靶立起来之后，下一个问题立刻浮现：一个这样的系统，靠什么数据喂饱？

统一接口不是口号：30 亿条指令-音频样本是怎么喂出来的？

统一接口的代价是监督信号也要统一。模型需要海量"指令 + 输入音频 + 目标音频"的三元组，而且任务种类五花八门。AuK 的做法是在预训练语料里构建约 30.3 亿条指令-音频样本，折合约 195 万小时的有效监督，覆盖五大任务族。AuK

数据的配比本身就透露野心。论文给出的五族采样占比是：

生成只占不到三成，四类编辑与增强任务合计超过七成。这和"编辑比生成难得多"的现状是吻合的：难啃的骨头，配了最多的训练预算。

更值得看的是这些配对数据怎么造出来的。AuK 没有全靠人工标注，而是让一批更强的开源模型来"蒸馏"训练信号，用成熟现成模型批量生产指令-音频对。这个策略按任务族拆开看很有意思。声学编辑的配对根本不需要模型：语速 0.5 倍到 2 倍、响度 ±5 到 ±15 dB、音高 ±1 到 ±3 半音，全是确定性信号处理，一次算出"原音频 → 改后音频"的完美配对。情感编辑则用 IndexTTS2 的双条件机制：以原句音色为说话人条件、以一段合成的情感参考为风格条件，生成"同一句话、八类情感"的编辑样本。IndexTTS2

内容编辑（改词、改歌词）走的是 F5-TTS 的掩码重生成路线：模型只看指定区间两侧的上下文和新的文本，把目标区间重生成一遍，天然只改该改的地方。F5-TTS 非语言发声（笑声、咳嗽这类）被归一成 39 类，同样用掩码重建，而且支持删除和插入两个方向。指令式 TTS 的自由文体描述则交给 Qwen3-Omni 批量生成，再配上结构化属性。

最妙的一处是 zero-shot TTS（克隆音色念新文本）的数据构造。AuK 用无转录的跨语句上下文学习：对同一说话人的 n 条语句枚举 C(n,2) 个配对，双向生成 n×(n−1) 条样本，提示语句的转录文本从不给出。模型只能靠"同一说话人的另一句话"学会保持音色一致，这让它不依赖转写也能做零样本克隆，也为后面一条重要发现埋下伏笔。

数据喂饱了，问题推进到下一层：这些形态各异的指令-音频对，要喂进什么样的模型结构，才能让一个主干同时理解"说什么"和"怎么出声"？

一个模型怎么同时听懂"说什么"和"怎么发声"？

结构上的答案是两条条件流、一个生成主干。AuK 特意把"说什么、怎么编辑着说"和"什么音色、什么风格"拆成两条独立的条件通道，再让一个整流流 Transformer 把两条通道合流成波形。整流流是扩散训练的一种范式：模型不再像经典扩散模型那样预测噪声，而是直接预测从噪声滑向数据的"速度场"，训练时偏向更噪的状态。这样设计的好处是，语义与声学两个世界各管各的，互不干扰，也随时可以整体替换。

第一路是语义条件。AuK 冻结了一个现成的多模态大语言模型 Qwen2.5-Omni 当语义编码器。用户指令连同参考音频一起喂进去，取其各层 hidden states 的可学习加权和，作为语义条件。Qwen2.5-Omni 为什么每一层都取一点，而不是只用最后一层？因为深层 LLM 的不同层携带不同层次的线索：靠前的层偏语言结构，靠后的层偏语义意图，各层加权相当于让模型自己决定"听哪一层的话"。而且这条路在源模型身上已经被验证过：Qwen2.5-Omni 自己内部就是"Thinker 出高层表示、Talker 直接消费这些表示来生成语音"的结构。

第二路是声学条件。AuK 训练了一个专门的音频 VAE（AuK-VAE），把 24 kHz 的波形压成 64 维、50 Hz 的 latent 表示，在语音、音乐和通用音频上联合训练。训练目标继承 DAC 的多尺度 log-mel 重建损失与对抗判别，解码器则是因果化的 BigVGAN 声码器。DAC BigVGAN 有参考音频时，这段 latent 不做任何投影，直接作为声学条件喂给主干。

两条条件流汇入主干，一个 FLUX 风格的混合整流流 Transformer：先用 10 层双流 MMDiT 让两路条件并行交换信息，再把融合序列交给 20 层单流 DiT 精修，最后由 VAE 解码出波形。整个骨架约 1.5B 参数。任务按"有没有参考音频"分成两路进入主干：有参考时，指令和参考音频一起进 MLLM、参考波形进 VAE；没有参考时，模型只依赖指令文本。

图注：AuK 架构。(a) 指令与可选音频分别经 MLLM 语义编码和 VAE 声学编码形成两条条件流，经多个双流 MMDiT 块交换信息后拼接，交给单流 DiT 块精修，最后由 VAE 解码出波形；(b)(c) 分别是单个 MMDiT 块与 DiT 块的结构；雪花标记冻结模块。AuK

这里有一个读者最容易混淆的地方：AuK 的双流 MMDiT 不是 Stable Diffusion 3 那种单流 MMDiT。两条路线的差别值得一张表说清。

整个结构可以想成两支队伍各自操练、中间碰头交换情报：每支队伍有自己的作战方案（独立权重）和自己回家的路（独立残差），但在中央注意力层，两边的战况必须共享。

为什么双流更合适？FLUX 论文给出的理由是：文本与图像的嵌入"概念上差别很大"，值得各用一套权重，只在注意力层碰头。FLUX AuK 的语义条件与声学条件，差别只比文本和图像更大：一个是语言符号世界，一个是声学物理世界。而 F5-TTS 的消融实验从反面印证了这一点：纯 MMDiT 在 TTS 上"学得快、崩得快"，产生严重重复和音色失控，因为单一权重流对必须忠实跟随指令的语音任务过于灵活。

结构就位了，接下来是更隐蔽的问题：架构再好，训练配方不对也白搭。AuK 的训练分两阶段预训练加两路后训练，每一步都有明确分工。

先会生成、再学编辑：统一能力靠什么配方调出来？

为什么不一步到位直接联合训练生成与编辑？AuK 的答案是分阶段课程。阶段一只让学生生成任务，跑 5 万步预热，先把主干和两条条件流之间的配合稳定下来。阶段二才加上编辑任务联合训练，再跑 60 万步：任务按五族配比混合，动态长度分桶组织 batch，全局批大小控制在 6144 条以内，约合每步 14 小时音频；时间采样经过偏置，让模型更多见到更"脏"的噪声状态。整个过程中，MLLM 编码器和 VAE 始终冻结，只更新主干与融合参数。

但预训练只是地基。编辑质量主要不是预训练"长"出来的，而是两路后训练"调"出来的。

编辑这一路走的是人类反馈偏好优化。做法很直观：对每条编辑指令采样 10 到 20 个候选输出，让标注员按 0、1、2 三级打分，过滤后得到 818 个信息组、9080 个评分候选。评分怎么变成训练信号？两个互补的目标叠加。Flow-DPO 给出一个隐式偏好分：把扩散模型的 DPO 思路搬到整流流上，用"当前模型与参考模型在同一带噪样本上的预测误差差"充当奖励，不需要显式训练奖励模型。Diffusion-DPO LiPO 则在 listwise 层面处理排序：0/1/2 三级反馈之间的相对顺序（2 优于 0、1 优于 0、2 优于 1）都要尊重，补上了成对比较忽略整体排序的盲点，104 步后编辑能力基本定形。LiPO

生成这一路则交给在线强化学习。整流流采样是确定性 ODE（常微分方程），天生没有随机性，跑不了需要探索的策略梯度。Flow-GRPO 的解法是把它重参数化成等价的 SDE（随机微分方程），重新引入随机性，再套上 clipped GRPO 更新规则。Flow-GRPO

图注：Flow-GRPO 框架闭环：prompt 经 ODE-to-SDE 随机采样得到轨迹，奖励喂给 GRPO loss 在线更新策略。AuK 沿用该框架，并把奖励换成了面向语音的自定义奖励组。Flow-GRPO

AuK 在这个框架上做了两处定制。一是训练窗口：只在采样轨迹前段连续 6 步用 SDE，其余步数保持确定性 ODE，省下大量探索开销。二是奖励设计：zero-shot TTS 用 ASR 识别错误率加目标文本的 NLL 合成内容分，用说话人嵌入的余弦相似度衡量音色保持，还特意做了组内标准化来防 reward hacking，也就是防止模型靠投机取巧刷分而不是真正提升质量；instruct TTS 则用一个基于 Qwen2.5-Omni-7B 训练的风格一致性奖励模型。这一步跑 500 步。

到这里，一个 1.5B 的统一模型训练完毕。但问题来了：完整模型推理一次要跑 32 步去噪，还依赖 classifier-free guidance（分类器无关引导），一种同时查询条件与无条件输出来增强指令跟随度的采样技巧。对产品部署来说，这太慢了。怎么把它压到 4 步？这就轮到蒸馏出场。

从 32 步到 4 步：AuK-Flash 的快是靠什么蒸馏出来的？

直接少跑几步行不行？不行，整流流模型在少步数下质量会明显下滑。AuK-Flash 的解决方法是两阶段蒸馏，每一步都解决前一步留下的坑。

阶段一叫一致性初始化，500 步。它源自一致性模型的思想：训练一个一致性函数，把教师 ODE 轨迹上的任意噪声点直接映射到这条轨迹的数据端点，而不是像普通扩散那样一步一步沿着轨迹走。Consistency Models AuK 先用这 500 步把学生放到教师轨迹的"一致点"上：任意中间状态 z_t 都能一步跳到干净端点 z_1，教师只用单步指引推进。这一阶段的意义不是直接产出可用的快速模型，而是给后续蒸馏铺一块稳定的地基，学生连轨迹都对不齐，后面的分布匹配必然发散。

阶段二才是真正的提速主力：Task-Routed Decoupled DMD，2500 步。这里的思路跟阶段一完全不同。阶段一是贴着老师的每一步走，DMD 则是不贴轨迹、贴分布：不再要求学生输出的每一条轨迹都像老师的某条轨迹，而是让学生输出分布整体逼近老师的输出分布。实现上，KL 梯度的方向由两个扩散模型的 score 之差给出。一个在真实数据上预训练，另一个持续在学生的输出上训练，两者之差就是"往更真实的方向推一把"的梯度；再配一个 LPIPS 感知回归损失防止模式坍缩。DMD

图注：DMD 的分布匹配机制：单步生成器产出伪造样本，加噪后分别经真实数据与伪造数据上训练的两个扩散模型去噪，两者 score 之差给出了"更真实"的方向并回传，上方 LPIPS 回归防坍缩。该图来自图像域的 DMD 论文，是 AuK-Flash 第二阶段机制的来源，并非 AuK 自身流程图。DMD

AuK 在这套机制上又加了两层工程扩展。第一层：CFG 增强（CA）分支用 APG 引导（guidance 4.0）替代 CFG，避免高引导强度下常见的过饱和失真。这一步属于 DMD 之后另一条改进线的贡献，不能记到 DMD 头上。第二层最见功力：分离类任务被路由到 clean-latent 回归，并从 DMD 更新两侧同时排除。原因很微妙：分离类任务如果把带噪输出重新加噪去噪，会落出教师的训练分布，模型会偷懒回归成"未分离的混合物"；路由出去之后，这类任务走逐样本的干净回归，避免了分布漂移。

最终结果：AuK-Flash 只用 4 步去噪、完全不需要 CFG，相对 32 步加 CFG 的完整版教师模型，实现约 4.5 倍墙钟加速。AuK 快是快了，效果到底怎么样？

领先在哪、又卡在哪：AuK 的能力边界与开源交付

论文的实验分三块看：生成、编辑、信号级修复。下面的全景对比图把三块放在一起。

图注：AuK 与 SOTA 模型的跨任务对比：生成（Seed-TTS-Eval 的 WER 与 SIM、InstructTTSEval 的 DSD）、编辑（MMAE-Speech、SpeechEditBench、Ming-Freeform-Audio-Edit）与增强分离（DNSMOS/UTMOS、DNS Challenge、CHiME-4、Libri2Mix）。除 WER 外所有指标越高越好，具体数字以论文表格为准。AuK

先看生成。在 Seed-TTS-Eval 上，AuK 平均 WER（字错误率）2.65%、说话人相似度 SIM 0.795，都排在最优档，相对开源基线 F5-TTS 的 4.10% 错误率低了一截；蒸馏后的 Flash 版 2.85% 依然有竞争力。指令式 TTS 的自由形式音色指令忠实度（DSD）中文 83.37%，超过此前最好的 Qwen3-TTS-VD 2.27 个百分点。这是"领先"的直接证据。

再看编辑，这里是反差最大的地方。在 MMAE-Speech 子集上，整条指令全对的 EMR 12.44，蒸馏后的 Flash 版反而冲到 13.85，是目前报告的最好成绩。回看第一章那个全线不足 5% 的起点，"动嘴改录音"的精确完成率从个位数提升到约一成多，仍远非多数指令能完整做对。真正领先的是局部维度：指令遵循率 IFR 48.23、一致性保持率 CR 88.11 都排到最优，前者记"该改的部分有没有按指令落实"，后者记"与编辑无关的声学内容是否原样保留"，这是编辑任务最容易翻车的地方；局部接近一半、乃至近九成能对，整条全对却只有一成出头，同一个模型在几十种编辑操作上同时做到了这一步。在 Ming-Freeform-Audio-Edit 基准上，AuK 的中文全量语义编辑 WER 3.09%，对手 Ming-UniAudio 是 10.46%，英文 3.96% 对 14.28%，大约是对手的三分之一。AuK

信号级修复（去噪、去混响这一类）则是"有竞争力"而非"领先"：DNS Challenge 上 dWER 2.66% 是目前最优，CHiME-4 上 Flash 版 WER 7.84%，Libri2Mix 分离 9.12%，都站得住，但论文没有把话说满。这类任务常有专攻的单任务模型，通用模型能到这个水平已经超出预期。最难得的是泛化面：VCTK-SR 评测里有一档 2 kHz 带宽退化在训练范围之外，属于真正的分布外外推，Flash 版在 7 项指标里拿下 6 项最优。AuK

数字之外，论文报告了三条值得玩味的发现。第一条，跨语句上下文学习真的起作用了：zero-shot TTS 不靠任何转写，靠"同一说话人的另一句话"就学会了保持音色一致。第二条，涌现的跨任务迁移：模型只学过 normal 和 whisper 之间的编辑配对，却可以直接按指令合成耳语，编辑学到的变换迁移到了生成一侧；去口音的监督只覆盖中文方言，模型却能在带印度、日本口音的英文上把口音去掉且大致保留说话人。第三条是诚实的局限：模型的原生自由形式指令遵循仍然不稳，达到能力上限依赖一个名为 Prompt Enhancer 的辅助模块做任务识别和指令改写。用论文的话说，这是"拥有能力"与"通过不受限语言可靠调用能力"之间的差距，也是他们列出的未来方向。

这里值得对照一下对手的路线。Ming-UniAudio 走的是"统一连续 tokenizer + 语音 LLM"路线，把音频压成连续表示再让 LLM 直接处理，理解与生成共用一套表示；AuK 走的是"语义条件 + 声学条件双通道 + 整流流扩散"路线。两条路线殊途同归，都是对同一个问题的正面回答。Ming-UniAudio

最后是交付面，这也是 AuK 作为"开源基础模型"最实在的部分：仓库以 MIT 协议发布，同时提供 AuK Base 与 AuK-Flash 两个权重，配套 Qwen2.5-Omni 编码器；auk-infer 命令行用同一套消息式接口覆盖所有任务，指令必填、音频按需，与论文的统一接口完全同构；Cookbook 给出五个任务家族的完整指令模板，还有 Gradio 交互界面和 ComfyUI 节点可以直接搭工作流。AuK Repo

边界也要说清楚：这是 2026 年 9 月的 v1 preprint，尚未经过同行评审；训练总算力没有披露；评测集中在中文和英文。更本质的开放问题是第三条发现，通用指令遵循的稳健性，以及信号级修复的精度，都还有专门的提升空间。

但把这些边界放回起点看，AuK 真正改变的是坐标系。AuK 把"用一句话改语音"这件事，从每个任务一个模型、一套接口的碎片化状态，收拢到一个 1.5B 的开源模型里，并且生成与编辑都做到了行业前列。编辑的整条精确完成率从个位数做到约一成多，距离"多数都能做对"还有明显路程，但方向已经走通；缺的不是某个更聪明的模块，而是一个统一接口和一套系统性的训练配方；而这两样，论文都给出了完整答案。对想动手的读者来说，这是这个方向上目前最可复现的起点。

想深入可以读原文：AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing — arXiv:2609.08936

参考文献

1. AuK Technical Report（论文锚点，AuK 团队）— https://arxiv.org/abs/2609.08936
2. Qwen2.5-Omni Technical Report（Qwen Team）— https://arxiv.org/abs/2503.20215
3. Scaling Rectified Flow Transformers for High-Resolution Image Synthesis（FLUX / MM-DiT，Esser et al.）— https://arxiv.org/abs/2403.03206
4. MMAE: A Massive Multitask Audio Editing Benchmark — https://arxiv.org/abs/2606.07229
5. F5-TTS（Chen et al.）— https://arxiv.org/abs/2410.06885
6. Ming-UniAudio（Inclusion AI / Ant Group）— https://arxiv.org/abs/2511.05516
7. IndexTTS2（bilibili AI Platform）— https://arxiv.org/abs/2506.21619
8. DAC（Kumar et al.）— https://arxiv.org/abs/2306.06546
9. BigVGAN（Lee et al.）— https://arxiv.org/abs/2206.04658
10. Diffusion-DPO（Wallace et al.）— https://arxiv.org/abs/2311.12908
11. LiPO（Liu et al., Google）— https://arxiv.org/abs/2402.01878
12. Flow-GRPO（Liu et al.）— https://arxiv.org/abs/2505.05470
13. Consistency Models（Song et al., OpenAI）— https://arxiv.org/abs/2303.01469
14. One-step Diffusion with Distribution Matching Distillation（DMD，Yin et al.）— https://arxiv.org/abs/2311.18828
15. AuK 官方开源仓库（Tencent-Hunyuan/AuK）— https://github.com/Tencent-Hunyuan/AuK