Decaf:0.5 kbps 语音压缩,声纹接近消失,内容几乎不损

Decaf 是一台把"谁在说话"从压缩链路里抹掉的语音 codec(编解码器)。它的码流只有 0.5 kbps,大约每秒 500 比特。对照一下:未压缩的原始语音是 256 kbps,Meta 的神经压缩器 EnCodec 最低档也要 1.5 kbps,Decaf 比它们分别低 512 倍和 3 倍。

更反直觉的是它抹得有多干净。用专门的说话人识别系统去认人,认错的概率叫 EER(等错误率)。这里的门道要先说清:识别系统有两个错误方向,把陌生人误认成你、把你误认成陌生人,EER 就是两个方向的错误率恰好相等时的那个值。对匿名化研究来说,EER 越低说明攻击者越容易认人,越高说明越认不出你,50% 就是完全靠猜。原音频上这个值只有 1.59%,攻击者几乎一认一个准;把同样的声音压成 EnCodec 最低档码流,EER 也只升到 23.43%。而 Decaf 的 0.5 kbps 码流把 EER 推到了 43.48%,逼近 50% 的抛硬币水平,攻击者基本只能靠猜。与此同时"说了什么"几乎没丢:用微调过的听写模型测,词错误率 WER 只有 5.49%,和原音频的 5.54% 基本持平。

压缩保得住内容,为什么保不住身份

这个结果之所以反常,要先看清语音压缩这件事的本质。codec 存在的全部意义,是把声音压小、传出去、再还原,它只对"内容"负责:重建出来的声音要能听懂。至于声音里那个"这是谁在说话"的信号,对压缩模型来说不是需要清除的噪声,而是和内容纠缠在一起、必须一并编码的信号。所以普通压缩不保护身份,不是疏忽,是它压根没有立场去管这件事。

问题在数字上更直观。Decaf 论文在自己的评估里给 EnCodec 的五个码率档位逐一测了 EER:1.5 kbps 是 23.43%,3 档 20.48%,6 档 18.39%,12 档 17.04%,一路到 24 kbps 还有 16.40%。压得越狠,身份确实越弱,但始终停在"几乎认得出"的量级上,离"认不出"差了十万八千里 Decaf。

为什么身份这么难甩掉?看一眼现代神经 codec 的标准骨架就明白了。

图注:EnCodec 的架构图。输入波形经 1D 卷积编码器,中间是堆叠的残差向量量化器(RVQ),右侧镜像解码器重建波形。图中可见重建损失、对抗损失、量化承诺损失以及可选语言模型路径的标注,整张图没有任何一条与身份处理有关的支路。EnCodec

这张图值得停下来多看两眼。它训练时只有三类损失:重建损失、对抗损失、量化损失,全部指向同一个目标"重建得像"。没有一条支路负责"藏身份",身份信息就这么原样躺进码流 EnCodec。顺带说清它压缩的方式:残差向量量化(residual vector quantization,RVQ)让编码器输出依次穿过一串码本,每一级只量化上一级剩下的误差,码本越多、量化越精细、比特率越高。量化对所有维度一视同仁,它不区分"这是内容、那是身份",也更不会优先删掉身份。一个 codec 的压缩能力再强,也换不来它没有摆在训练目标里的隐私。

把这句话翻译成处境:今天几乎所有通话、语音助手、会议记录的音频,都以接近"谁在说"无损的方式被压缩、上传、留存。人脸可以戴口罩,声音没有口罩。语音大概是最难藏的生物特征,而压缩恰恰把它完整地送上了网。Decaf 要解决的,就是这个"压缩即泄露"的结构性问题。

还要分清两个层面:波形和码流。听的人拿到的是解码后的波形,攻击者拿到的是截获的码流。匿名化要防的从来不是"听",而是"拿到数据的人":服务商、黑客、任何能触达存储的人。普通压缩优化的只是波形重建,身份就原样躺进了码流;要在传输链路上真正保护隐私,就得让码流本身不带身份。这个"码流层隐私"的立场,是理解后面所有设计的钥匙。

为什么这个问题偏偏现在重要?语音数据正以史无前例的规模上云:通话被记录、助手被唤醒、会议被逐字转写。指纹和虹膜至少还长在身体上,声纹却是可以脱离你而存在的,一段录音就能复制一份。监管的钟摆也在收紧,生物特征数据在很多司法辖区被划为特殊类别,留存与跨境传输都触发合规义务,而匿名化数据是少有的"还能继续用"的安全港。技术、监管、攻击成本三条线同时收紧,才让"压缩即泄露"从学术话题变成了产品问题。

先改声、再压缩:三条老路为什么都要付两遍带宽

既然压缩救不了隐私,自然的想法是:那先别压缩,先把声音改掉,再压缩传输。过去十多年所有说话人匿名化方法,几乎都走这个"先匿名化、后编码"的两步结构。Decaf 论文把旧方法归成三类,其中信号处理和语音转换是两条典型老路;近年最强的一档则以语言模型架在神经 codec 上(NAC-LM),但仍沿用同样的"先匿名化、后编码"两步结构——每一类的结局都差不多。

第一类是纯信号处理。代表是 McAdams 系数法:对每个语音帧做 LPC 分析,把声道建模成一组滤波器,再把滤波器复数极点的角度按系数缩放,等于把共振峰整体平移,人耳听起来就是另一个人的声音。它的优点是极端轻量,不需要任何训练数据,一个系数搞定;代价是匿名化强度一拉高,内容立刻崩掉。论文里随机化版本把 EER 推到 37.5%,但 WER 直接飙到 45% 附近,完全没法听 McAdams。作为 VoicePrivacy 挑战赛的官方基线之一,它在匿名化史上有一个明确坐标:它证明了不依赖任何训练数据,单靠信号变换也能把 EER 推高十倍量级,但它的强度上限和内容损伤也同时标定了这类方法的天花板。

第二类是语音转换(voice conversion)。Decaf 的直接思想前辈是一条叫 canonical voice conversion 的路线:事先选定一个真实说话人作为"注册声纹",把所有人的声音都转换到这个固定声纹上。Sharma 2023 论证过这种设计的好处:固定声纹合成稳定,也不会像挑战赛里"从池中随机抽伪说话人"那样,偶尔撞上一个真实说话人 Canonical-VC。

近年最强的一档:把语言模型架在神经 codec 上(NAC-LM)。Panariello 2024 的系统是代表:先用 HuBERT 把语音提成语义 token(保住"说了什么"),再从 130 条说话人 prompt 里挑一条伪说话人,用两个 transformer 生成带伪说话人音色的声学 token,最后经独立的 EnCodec 解码成波形 Panariello24。

图注:NAC-LM 匿名化系统的结构。左上波形进入语义编码器,语义 token 被原样保留;右侧粗、细两个 transformer 在说话人 prompt 池的条件下重写声学 token;底部神经 codec 解码器输出波形。注意这套系统产出的是"被匿名化的音频文件",要传出去还得再过一次压缩。Panariello24

问题就出在这两步结构里。匿名化这步输出的不是码流,是一份波形文件;要传出去,必须再过一个 codec 压一遍。匿名化付一遍带宽,压缩再付一遍,这就是"bandwidth paid twice"。更糟的是两步各自优化:匿名化这一步根本不关心后面压缩会不会把内容弄坏。Decaf 在自己的实验里复测了这条路线,效果很说明问题:canonical 模式下 EER 高达 45.47%,隐私确实强,但 WER 从原音频的 5.54% 涨到 12.47%,翻了一倍还多。匿名化越狠、内容损伤越大,这条路的天花板写死在结构里。

把三类老路的结局放在一起看,规律很一致:想要更强的隐私,就要接受更重的内容损伤,或者更多的字节。McAdams 把缩放系数拉大去换 EER,WER 直接崩到没法听;Panariello 的 canonical 模式拿到了漂亮的 EER,可内容栏同步翻倍;而且它们全都只在波形层做文章,之后传到网上还要再被压缩一次。Decaf 实验里 Spk Anon canonical 复测的 WER-FT 是 8.22%,同样经过 ASR 微调,仍然比 Decaf 的 5.49% 高出一截。两步结构的问题不在某个方法不够好,而在于"改声"和"压缩"这对搭档从来不是一起设计的。

Decaf 的回答:把匿名化做进压缩链路,一次编码只付一次带宽

Decaf 的问题问得很直接:反正两步都要同时发生,为什么不让它们在同一个 codec 里一次完成,让隐私成为码流自身的属性,而不是事后的工序?

图注:Decaf 系统总图。发送端:线性频谱与 WavLM 的 SSL 特征汇入 WaveNet 瓶颈提取器,输出 192 维内容表征 z,经 NAC 编码器与 RVQ 量化成低比特率码流。接收端:NAC 解码器还原 z,与标着 shared a priori 的 canonical 声纹一起过 normalizing flow 和 HiFi-GAN,输出波形。图中 speaker encoder 标着 training only,推理时整个关掉。Decaf

读这张图,要点是圈出两个"不传",但它们首先是架构事实,不是结论。第一个不传:原说话人的 embedding 不进码流。speaker encoder 只在训练时存在,推理时整个关掉,发送端没有任何一步把"这是谁"的向量写进码流。第二个不传:声纹也不需要传。接收端自己有一根事先共享的 canonical 声纹(图里标注为 shared a priori,取自 LibriSpeech 训练集),每个说话人的内容都用这根公共声纹重建。也就是说,接收端只有一把固定的"公共嗓子",所有人的内容都由它读出来 Decaf。

这里要分清架构意图与可验证现象。"不显式传原说话人 embedding"是设计事实,支撑它的可验证现象是评估结果:同一套 ECAPA-TDNN 去认解码语音,EER 高达 43.48%,攻击者基本只能靠猜。但这份评估反过来不等于证明:它单独不足以断言 z 或码流里不存在可利用的身份信息,那一步需要专门的隐私分析。

这两个"不传"合起来,就是"带宽只付一次"的物理实现。放到真实场景里换算一下:旧路线要传一份 256 kbps 量级的匿名化波形,Decaf 只传 0.5 kbps 码流,单是传输成本就差了两个数量级。

canonical 声纹这层设计不是 Decaf 凭空发明的,它的思想直接来自第 2 章说的 Sharma 2023。作者团队里就有那一篇的第一作者,这是白纸黑字的师承:canonical-VC 把声纹当预处理的工具、输出波形文件,Decaf 把声纹搬进解码器,变成 codec 的固有组件。而 Decaf 的压缩骨架继承自 EnCodec 的 encoder-RVQ-decoder 主干,codebook 1024 项,不同码率档用不同数量的量化器;唯一但关键的区别是,它只编那 192 维内容流,不编整段波形。就架构意图而言,这是"身份不进码流"的第一步:从输入端起,这条管线就没有为原说话人保留编码路径。

"一次编码"还有一层工程含义。量化器面对的是 192 维内容流,在架构上拿不到原说话人的 embedding,也无从知道原说话人是谁:整条发送链路没有一处把身份向量交给它。接收端那根 canonical 声纹的作用,是把 z 在"这一把公共嗓子"的条件下映射成语音:normalizing flow 把内容表征变成自然的声学分布,HiFi-GAN 把特征合成波形。回看整条链路,既没有"擦除"身份的工序,也没有"恢复"身份的入口,这是设计上的闭环,它与前文那份 EER 高达 43.48% 的评估互为表里。但边界也要说清:无论是架构本身还是这份评估,都不足以断言 z 或码流里不存在可利用的身份信息,那一步要留给更严格的隐私分析去回答。

有人会追问:RVQ 量化不也是压缩吗,它为什么不顺便把身份压掉?答案是量化的均匀性。量化按误差大小逐级削,不区分"这是内容、那是身份";更何况在旧 codec 里,身份和内容早已混在同一批表征里,量化器根本无从下手。Decaf 的顺序是先解耦、后量化:解耦在前,把身份这一维在结构上删掉;量化在后,把剩下的内容仔细打包。一个做减法,一个做压缩,各司其职。这正是"把信息瓶颈前置在量化之前"这句话的分量所在。

192 维信息瓶颈:身份是怎么被结构性抹掉的

现在拆开看机制。发送端的核心模块叫 SDM(说话人解耦模块),它的骨架子是一套三段式骨架:WavLM 特征、瓶颈提取器、内容表征 z。这套骨架来自 FreeVC(ICASSP 2023 的语音转换工作):WavLM 是一个自监督语音模型,用掩码预测加去噪联合训练,它的表征里同时混着"说了什么"和"谁在说"。Decaf 照搬了骨架,然后做了一件 FreeVC 没做的事:在 z 上加 CTC 监督 FreeVC。

关键在"维度悬崖"。WavLM-Large 输出 1024 维表征,WavLM-Base+ 输出 768 维,瓶颈提取器把它们全部压到 192 维 WavLM。可以想象成攒了一屋子行李要搬家,皮卡只能装 192 件,你只能挑最重要的带走。对语音来说,设计者认定的"最重要"是"说了什么",于是整个方案被建成两头夹击的形状:强瓶颈把容量从 768 或 1024 维猛砍到 192 维,让身份和内容在有限空间里正面竞争;内容监督随即规定竞争的赢家,把容量往语音学信息上引,身份没有监督信号要求它留下,在梯度竞争里自然被挤出。注意措辞:设计上以强瓶颈和内容监督压低身份保留的机会,不是事后把身份"擦掉",更不是数学上装不下声纹。前文那份 43.48% 的 EER,正确读法是这套设计压低身份保留机会的行为证据:它说明拿公开的说话人识别系统去认解码语音,基本只能靠猜。但行为证据不等于内部证明,它单独不足以断言 z 或码流里不存在可利用的身份信息,那一步需要专门的隐私分析。

但"装不下"是双刃剑,它也会误伤内容。怎么保证这个剧烈压缩优先保住"说了什么"?答案是 CTC(连接时序分类)监督:192 维 z 上面叠一个 6 层 transformer encoder(8 头、前馈网络 2048 维),输出直接跟文本转录做对齐损失,逼着 z 保留语音学判别力。CTC 有个实用上的好处,它不需要逐帧对齐的标注,只要整段转录对得上就行,这让监督信号可以廉价地铺满大规模数据集。z 这个共享变量被两条支路同时消费:CTC 支路兜住内容,waveform 支路负责把声音重建得自然。

图注:SDM 训练过程。线性频谱与 SSL 特征汇入瓶颈提取器,输出 z;z 同时被上方 transformer 加 CTC 头的转录支路和下方 normalizing flow 加 HiFi-GAN 的重建支路消费。图中可见 L_rec、L_KL、L_adv、L_fm、L_CTC 五项损失标注。Decaf

总损失用一个式子就能看清各方的分工:

$$L_{Gen} = L_{rec} + L_{KL} + L_{adv} + L_{fm} + L_{CTC}$$

重建项 L_rec 管 mel 频谱像不像,它的偏好是重建保真,并不区分内容与身份,身份细节只要有助于重建,它一样会保留。KL 项约束两个分布对齐:先验分布由 SSL 特征生成,后验分布由线性频谱特征生成,它提供的偏好是让 z 落在两边共有的信息上,但"两边共有"并不等同于"内容",它不能单独把身份清除。对抗和特征匹配两项是 GAN 那套,负责让声音听起来自然。最后一项 L_CTC 是 Decaf 新加的,也是唯一直接偏袒内容的项,为可懂度兜底。这五项各自只提供不同方向的训练偏好,谁也不能单独保证身份从 z 里消失;身份保留机会被压低,靠的是这些偏好与 192 维瓶颈叠加后的整体效果。训练分两阶段,SDM 在 VCTK 上训 45 万步,NAC 在 LibriSpeech 960 小时上训 20 个 epoch,训练时 SDM 冻结当内容生产者 Decaf。

这里还有一个反直觉的现象值得点出来:用更小的 WavLM-Base+(768 维压到 192 维)的 DECAF-small,在 EER 上反而优于用 WavLM-Large(1024 维压到 192 维)的 DECAF-large,且 WavLM 前端推理在 V100 上快约 3 倍。论文只报告了这一现象,未在文中解释其原因,读者知道现象即可。

同样值得停下来对照的是 canonical 声纹和"伪说话人池"两种设计哲学。挑战赛里常见的做法是每条 utterance 从池中随机抽一根声纹,换来声音的多样性,代价是偶尔撞上真实说话人、合成不稳定;Decaf 继承 canonical 路线的单一注册声纹,稳定且可复现,代价是所有人共用一个声音。这是一场有意的交换,它的代价留在最后一章再算账。

0.5 kbps 的码流:身份没了,内容还剩多少

机制讲完,看结果。Decaf 论文的 Table 1 把几组对照放在同一张表里,是全文最值得反复读的一张表。先把口径说清:EER 由同一个 ECAPA-TDNN 说话人识别系统测出,WER 由 Whisper-medium 听写模型测出,所有记录共用同一把尺子。

系统码率EER(越高越隐私)WER(越低越好用)
原音频256 kbps1.59%5.54%
EnCodec(无匿名化)1.5 kbps23.43%13.93%
Spk Anon canonical(两步路线)256 kbps45.47%12.47%
DECAF-small0.5 kbps43.48%9.02%
DECAF-small + ASR 微调0.5 kbps43.48%5.49%

读这张表的正确姿势,是同时盯住码率、EER、WER 三列 Decaf。要拿到接近 45% 的隐私档,两步路线花 256 kbps 码率,还搭进去翻倍的 WER;Decaf 用 0.5 kbps 拿到同级隐私,内容还更好。论文口径说,相对这个最强基线,它的 WER 相对降低了 33.2%。"同级隐私、更好的内容、低得多的码率"三者同时成立,这就是 Decaf 的卖点。

代价也写在表里,不能只看光鲜的一半。0.5 kbps 下感知质量 PESQ 1.58、可懂度 STOI 0.89。这两个指标的意思要先说清:PESQ 是 0 到 5 分的感知质量评分,2 分以下属于明显能听出的失真;STOI 是 0 到 1 的可懂度指数,0.89 表示大半内容还听得清。把码率压到 500 比特每秒,这是该付的账。作为参照,传统电话线路的标准编码 G.711 要 64 kbps,Decaf 的码率还不到它的百分之一。内容那一栏也要分开看:开箱即用的 Whisper 模型直接听 Decaf 码流,WER 是 9.02%;用 Decaf 输出微调过的 Whisper 再听,降到 5.49%,才与原音频的 5.54% 基本持平。论文把它表述为"微调后 WER 与原音频的差距在 1.8 个百分点以内",注意这不是"无损",是"够用"。

论文还提供了两个补充视角,让这张表的读法更立体。其一是"不加压缩"的对照组 DECAF-small*:只做解耦、不接量化(153 kbps),EER 已经到 36.48%,是原音频 1.59% 的二十多倍,而 WER 只比原音频高 0.44 个百分点。这说明隐私的主力来自 SDM 的结构约束,压缩环节再把 EER 往上推一截,同时付出内容代价。其二是分测试集看:0.5 kbps 下干净的 test-clean 上 WER 只有 5.46%,带噪的 test-other 上 WER 涨到 12.57%,内容栏最吃紧的地方在噪声环境,极限压缩对声音条件很敏感。另外还有一个常被忽略的细节:背景声学相似度 XANE 只有 0.95,低于 EnCodec 各档位的 0.96 到 0.97,意味着 Decaf 连环境背景声都顺带抹掉了一部分,这是身份之外额外的隐私红利 Decaf。

"微调"这一行还藏着一个落地的伏笔:接收端拿到码流后,听写模型只需要适配"这一把公共嗓子"。canonical 设计在这里兑现了它的工程红利,全世界说话人听上去是同一种声音,ASR 调一次就能服务所有人;如果换成伪说话人池,每种声音都得各调一遍。

43.48% 这个数放在领域坐标系里是什么档次?说话人匿名化有它自己的"度量衡",VoicePrivacy 挑战赛按 EER ≥ 10%、20%、30%、40% 分四档,40% 以上是最强隐私档。这个档位在真实协议下并不好摸:VPC 2024 的参赛系统里,能把 EER 推到 40% 以上的只有 6 个,其中两个还不合规。

图注:VoicePrivacy 2024 的示例系统排名。四个面板分别对应 EER ≥ 10%、20%、30%、40% 的最低隐私门槛,横轴是 WER、纵轴是情绪保留率 UAR;灰圈是 B1-B6 基线,黑圈是原始未处理数据。VPC2024

一句重要的澄清:这是标尺,不是实测。Decaf 没有跑 VoicePrivacy 的多攻击者协议,43.48% 是它自己协议下、用同一个 ECAPA-TDNN 攻击者测出的数字。所以"Decaf 达到最强隐私档"这种说法不成立,只能说按同一把尺子量,它落在第四档附近 VPC2024。这一区分不是抠字眼,它直接通向下一章要说的局限。

在哪儿用、哪儿还没解决:落地场景与诚实的局限

先说服利。0.5 kbps 不是一个炫技数字,它意味着一条话音信道的容量,够同时塞下几百路"已脱敏"的语音。Decaf 的落地想象空间,其实就藏在这个数里。这些场景有个共同点:音频必须离开设备,却不想暴露说话人。

场景Decaf 带来的东西
实时通话与会议语音加隐私一次完成,传输即脱敏,无需事后清洗
语音助手 / IoT 边缘设备设备端只上传匿名码流,原始声纹不出设备
ASR 服务提供方服务方从结构上拿不到原始说话人,合规压力大减
医疗与合规语音存档存档本身就是脱敏格式,泄露即失效

当然,落地还有一层账没算清。0.5 kbps 只是码流代价,不包含模型本身的开销:发送端要跑 WavLM 加瓶颈提取器,接收端要跑 normalizing flow 加 HiFi-GAN,这套神经网络的算力、延迟和流式支持,论文一个字都没提。接收端可以共享,适合放在云端或专用芯片;编码侧的算力要求则决定了它更适合"设备端一次编码、远端解码"的非对称场景,直接塞进实时双工通话还早。

但局限必须摆上台面,论文自己也没有回避。最大的一条是评估的诚实性:Decaf 全程只用了 ECAPA-TDNN 一个说话人识别系统当攻击者。这不是小事,VoicePrivacy 2024 自己披露过一个令人不安的结果:baseline 攻击下达到第四档的顶级系统,在更强的攻击者面前普遍跌回第二档 ECAPA-TDNN。单攻击者测出的 43.48%,很可能是乐观数字 VPC2024。

第二条是 canonical 声纹的副作用。所有人都是同一个声音,听久了会疲劳,情绪、韵律这些副语言信息也被统一抹平。VoicePrivacy 2024 已经把"情绪保留率"纳入主评估指标,而 Decaf 完全没有报告这一项。第三条是概念上的克制:192 维装不下完整声纹,不等于攻击者拿到码流和公共声纹后无法推断更多信息,如果未来有人把两者放在一起建模,能不能反推出与原说话人的相似度,需要更严格的隐私分析,论文没有给出。结构性上限与可证明不可逆是两回事。第四条是工程现实:v1 没有公开代码、没有音频 demo,连论文自己的 Fig.3 感知质量对比图都在源码里被注释掉了,主观听感评测整个缺失;实验只覆盖 LibriSpeech 英语,低于 0.5 kbps 的极限档位没有探索。复现只能靠读论文手搓 Decaf。

为什么值得关注,往大了说,这是一次范式的移动。说话人匿名化在这门学科里长期是"独立产品":先造一个脱敏工具,再接到各种管道上,用完了还得操心脱敏后的文件会不会二次泄露。Decaf 尝试的是把匿名化变成 codec 的属性,就像端到端加密曾经从"可选功能"变成通信协议的默认配置。如果这条路线成熟,语音隐私的承诺方式会整个换掉:不再是你信某家公司会好好保管你的声纹,而是系统试图从传输链路中移除原说话人 embedding,并在当前攻击者评估下显著降低可识别性。

Decaf 的价值不在"完美",而在两件事:它尝试把隐私变成 codec 的默认属性,让"藏身份"不再是一次事后补救的工序,而是系统试图从压缩链路中移除原说话人 embedding,并在当前攻击者评估下显著降低可识别性;它同时把评估的诚实性摆上了台面,局限清单写得和白皮书一样清楚。下一代的功课就写在这些局限里:更强的攻击者、情绪的保留、多说话人的会议场景、开源与可复现。但方向已经立住了:语音是这个时代最难藏的生物特征,与其在泄露之后想办法擦除,不如在压缩这一环就尝试移除原说话人 embedding,再让一份诚实的评估告诉你它做到了哪一步。

想深入可以读原文:Decaf: A Privacy Preserving Speech Codec Using Speaker Disentanglement and Canonical Voice Conversion — arXiv:2609.19304

参考文献

  • Siam, M.S.I., Sharma, D., Kruchinin, S.Y., Skala, P. Decaf: A Privacy Preserving Speech Codec Using Speaker Disentanglement and Canonical Voice Conversion. IWAENC 2026. https://arxiv.org/abs/2609.19304
  • Li, J., Tu, W., Xiao, L. FreeVC: Towards High-Quality Text-Free One-Shot Voice Conversion. ICASSP 2023. https://arxiv.org/abs/2210.15418
  • Panariello, M., Nespoli, F., Todisco, M., Evans, N. Speaker Anonymization Using Neural Audio Codec Language Models. ICASSP 2024. https://arxiv.org/abs/2309.14129
  • Sharma, D., Nespoli, F., Gong, R., Naylor, P.A. Canonical Voice Conversion and Dual-Channel Processing for Improved Voice Privacy of Speech Recognition Data. EUSIPCO 2023. https://doi.org/10.23919/eusipco58844.2023.10289777
  • Défossez, A., Copet, J., Synnaeve, G., Adi, Y. High Fidelity Neural Audio Compression (EnCodec). Meta AI, 2022. https://arxiv.org/abs/2210.13438
  • Chen, S., Wang, C., et al. WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing. IEEE JSTSP 2022. https://arxiv.org/abs/2110.13900
  • Patino, J., Tomashenko, N., Todisco, M., Nautsch, A., Evans, N. Speaker Anonymisation Using the McAdams Coefficient. Interspeech 2021. https://arxiv.org/abs/2011.01130
  • Tomashenko, N., et al. The Third VoicePrivacy Challenge: Preserving Emotional Expressiveness and Linguistic Content in Voice Anonymization. 2024. https://arxiv.org/abs/2601.11846
  • Desplanques, B., Thienpondt, J., Demuynck, K. ECAPA-TDNN: Emphasized Channel Attention, Propagation and Aggregation in TDNN Based Speaker Verification. Interspeech 2020. https://arxiv.org/abs/2005.07143
Decaf:0.5 kbps 语音压缩,声纹接近消失,内容几乎不损