BloomBloom
发起研究

SEER：人工耳蜗语音听不出情绪，检索式增强能补回来吗？

一、人工耳蜗听语音，为什么情绪会先被压平？

同一段带着怒气的录音放给正常听力的人听，几乎人人都能听出说话人在生气。放给一位植入人工耳蜗（cochlear implant，CI）的听者，答对的比例却掉到一半以下。2006 年一项 6 人对 6 人的闭集听辨实验记录了这条落差：正常听力组平均识别率约 90%，CI 组只有约 45% Luo 2006。

这中间差的不是"听不听得见"，而是情绪线索在设备里就已经被磨掉了一层。CI 不像助听器那样只是把声音放大，它把语音按频率切成有限的若干通道，每个通道只保留能量随时间起伏的包络，再用电极脉冲把这些包络重新"播放"给听神经。通道数少、动态范围窄，很多精细结构就落不进这条通路里。对 CI 用户来说，这也不只是一个识别率数字：电话、视频会议这类只靠声音的场合里，听不出对方的情绪，就接不住玩笑、读不懂不满，社交参与上的损耗是真实发生的。要把这件事看出几何直觉，得先看 CI 仿真对一段语音到底做了什么。

图注：一段 4 通道人工耳蜗仿真信号处理框图。输入先过预加重，随后扇出为 4 条平行支路，每条支路上依次是带通滤波、半波整流、低通滤波，并与一段正弦波调制相乘，四路最后在一个求和节点汇总后输出。通道之间的分工一目了然，精细的频谱细节也正是在这一步被抹平。

看图可以注意到，每条支路只带走自己那一段频率上的能量起伏，支路之间没有信息交换，通道压缩因此是"逐条抽干"而不是"整体降质"。这也解释了为什么通道一稀疏，最先告急的是细节最多的那类线索。更关键的是，这套"把语音切开再重组"的仿真不只是实验室玩具，元分析表明只要参数选得仔细，vocoder 仿真和真实 CI 用户在韵律识别上的表现相当，用它来近似 CI 听者的体验是站得住脚的。

哪条线索最先告急？答案是音高起伏，也就是 F0。它是"这句话是什么情绪"里权重最大的信号，而一项整合了 28 篇记录、64 项研究的元分析给出结论：电刺激对韵律识别的负面影响是稳健的，情感韵律受的冲击比语言的语调更重，主因正是 F0 通过电刺激通道时传输质量太低；时长和强度这类线索反而保留得更好 Everhardt 2020。Luo 的实验也给了同一方向的旁证：在通道数少于 8 时，携带基频与周期的时域线索对情感识别的贡献甚至强于频谱线索。既然如此，问题就不是"多开几个通道"能解决的，而必须把被压平的音高与韵律当成一个增强问题来对待。既然最关键的那条线索丢了，一个很自然的念头就是：能不能把它补回来？

二、把情绪"调强"的努力，为什么反而把话听不清了？

在 SEER 之前，这条路上只站着一个认真的尝试。Brueggeman 与 Hansen 在 2022 年用一个叫 JD-NMF 的方法处理 CI 语音，思路非常直白：先用语音情感识别判断这段语音是什么情绪，再把它的声学谱朝着"强情感"的方向推过去，让听者更容易听出差别 Brueggeman 2022。这条流水线的形状是单向的，一头进去普通表达，另一头出来加强表达。而且哪怕在原作者自己组织的听辨实验里，收益也参差不齐：转换后的语音在高兴与难过两类上只比原声小幅提升，在生气上反而倒退。方向对了一半，剩下的问题出在成本和代价上。

先说成本。这个方案背着两条很硬的约束。第一，它要求同一说话人、同一句话既有"普通强度"的录音，也有"强强度"的录音，两者必须成对出现，模型才知道该往哪个方向搬。第二，它需要一个显式的强度标签，告诉它"这条更强烈"。这两条加起来，等于把可用的数据锁死在极少数同时录了两种强度版本的语料上，像 ESD 这种只有单一强度标注的更大语料就用不了。SEER 评测时又把 JD-NMF 原样搬到了 ESD 上，这类跨库迁移充满不确定性，因为模型从没见过这种只有单一强度标注的数据。

再说代价。SEER 把这条基线放到自己的评测框架里重新打分，结果很难看：在 RAVDESS 的 N4 设定下，JD-NMF 把词错率（WER）顶到了 64.58%，在 ESD 的 N4 下是 53.10% SEER。这里先交代一句 N4 是什么：CI 仿真常用 N-of-M 策略，也就是把语音切成 22 个频带通道后，每个时刻只保留能量最大的 N 个通道来重建，N 越小，被抹掉的信息越多，N4 就是最吃力的那档。情绪是拉上去了，可话也快听不清了。这暴露了一个根本问题：把声音整体"调强"是在拿可懂度换情感，两者在你按下增强键的那一刻就开始互相撕扯。那能不能干脆不造强情感，只改"用哪段参考"？

三、做不出强情感录音，能不能改成"给每一句挑一个参考"？

转机来自另一条技术脉络的成熟。情感语音转换（emotional voice conversion，EVC）这几年已经能做到非平行：给它一段源语音和一段参考语音，它就能把源语音的情绪拉向参考，同时保住源语音说的内容和说话人是谁。这件事一旦成立，问题就悄悄换了形状。你不再需要自己"造"出一段强情感录音，你需要的只是，在参考库里有一段合适的样本，让后端照着它把情绪搬过来。

这个换法还暗含一个前提：EVC 已经成熟到可以当黑箱用了。SEER 不做转换本身，只做选择。于是剩下唯一真正值得回答的科学问题，就是从源语音的角度看，哪一段情感模板该配哪一句。SEER 的名字里"source-conditioned retrieval"（源条件化检索）说的就是这个换法。它不再问"怎么得到一段强表达录音"，而是问"对每一句源语音，选哪个参考，能让它过完 CI 仿真之后情绪识别率最高"。这个问法把对数据的要求从"必须有配对录音"降成了"库里只要有一段合适的参考"。

SEER 的骨架由两块组成：一个参考库（bank），和一个负责挑参考的检索器（retriever）。参考库不是什么都能进，SEER 设了一道门：一段参考语音只有在 Emotion2Vec+ 既能正确识别它本身、又能正确识别它过完 CI 仿真之后的版本时，才有资格入库 SEER。这条门槛筛掉的是那些"本身就听不出情绪"或"过了 CI 就变味"的样本，保证库里的每一段都是可靠的模板。

图注：SEER 的框架被画成四块横向排布的阶段：(a) 检索一段参考来改善 CI 之后的情绪可识别度，(b) 估计源语音与参考之间的效用，(c) 由此导出面向 CI 的目标，(d) 用采集分数挑选样本对来更新检索器。四块构成一个闭环的抽象骨架。

这张图先给出的是流程形状，具体每一块里用什么算子，留到下一章再拆。有了它，读者至少能记住 SEER 干的是"检索、估计、导出、采样"这四件事，而不是一个从头生成语音的大模型。还需要提前点破一层：能进库不代表能成功转换。一条参考的"情绪够清晰"和"它恰好能把这一句源语音的情绪搬过去"是两回事，这正是 SEER 需要一个专门的评分器、而不是直接在库里顺序摸索的原因。剩下的疑问也都集中在这里："合适"到底怎么定义、挑完又怎么改语音？

四、把管线拆开看：后端怎么换情绪、检索器怎么打分、奖励怎么对齐 CI

先说后端。SEER 把转换这一步整个外包出去，写成一个接口 $G(x, r)$，具体实现用的是 Maestro-EVC Maestro-EVC。给定源语音 $x$ 和参考 $r$，它输出一段把源的情绪拉向参考、内容与说话人却不变的语音。要理解 SEER 在"搬什么"，得看清这个后端内部怎么分工。

图注：Maestro-EVC 的整体架构，三路参考各走各的编码器：内容经 HuBERT 加聚类离散化，情感经 WavLM 得到逐帧表示，说话人经 ECAPA-TDNN 编码；中间交叉注意力把情感贴到内容的时间结构上，右侧预测器产出基频、能量与时长，最后由声码器合成波形。红色虚线标出训练时三路参考取同一条语音。

这个后端的聪明之处在于把"内容"和"情绪"拆成了两条独立的通道。内容走一条路，说话人走另一条路，只有情感这一路被参考改写，所以"保住内容与说话人、只换情绪"不是一句口号，而是接口本身的设计。它还把韵律拎出来显式处理，明确地对基频、能量、时长做迁移，这正是 CI 里被压平最狠的那几条线索。

那 SEER 怎么判断一段参考"合适"？它没有直接拿人耳去听，而是训练了一个效用评分器。评分器的输入也不是原始波形：源语音一端经时序编码器抽成 128 维表示，参考一端则在另一个表示上再接一段 2064 维的统计描述子，记录能量分布、基频均值、浊音占比这类粗粒度韵律，也压到 128 维，两端合在一起打分 SEER。源语音端还挂着一个辅助分类器，用真实的情绪标签监督，确保这段表示里装的确实是情绪信息。分数越高，代表"拿这段参考去增强这句源语音，预期收益越大"。

真正有分量的一步在奖励怎么算。SEER 用 Emotion2Vec+ 分别在"转换前"和"过完 CI 仿真后"给同一条语音判一次情绪，然后组合成一个 CI 感知的奖励：

$$u(x,r) = c(\tilde{x}_r) - c(x) + \tau,[q(\tilde{x}_r) - q(x)],\quad \tau = 0.1$$

这里的 $c$ 是一个方向信号，只有仿真前后都被判对才记 +1，所以它告诉检索器"这一段到底是修好了、变差了还是没动"。$q$ 则给更细的置信度：当方向是对的，它用仿真后正确情绪的得分再补一点信息 SEER。这一步是 SEER 与"把声音调强"路线最根本的分歧：它的优化目标直接就是最终用途，即"戴完助听设备之后还认不认得出情绪"，而不是"生成一段更像强情感的语音"。

这把尺子也有软肋，要提前说清楚：它是 Emotion2Vec+，不是真实 CI 听者。后端确实把韵律搬了过去，这有直接的视觉证据。它输出的基频轮廓比基线更贴参考，而且换一段参考，就会换出一条新的基频曲线，说明被搬动的是韵律本身，不是合成器的随机起伏。

图注：两组基频轮廓曲线。(a) 在同一内容与情感参考下，画出目标与三种方法的基频随时间变化的曲线对照；(b) 在同一内容参考下，改用两段不同情感参考语音，得到两条明显不同的基频曲线。它展示的是韵律确实被搬动，而非随机的起伏。

值得注意的是，这套三路解耦并非凭空出现，它和 SEER 作者团队 2025 年的前序工作 ZSDEVC 一脉相承 ZSDEVC。但选参考这件事有个隐藏的坑：你不能只看当前打分。挑参考要反复试，试错了又贵，那它凭什么还能找对？

五、挑参考要反复试，试错又贵，凭什么还能找对？

假设你手里有一个已经练过的评分器，最省事的做法是每次只挑它当前打分最高的那段参考。问题是，评分器本身是在训练里长出来的，一开始它可能就把某段参考看得很顺眼，于是每次都挑它，其他参考永远得不到验证，错误就此固化。这就是经典的探索与利用矛盾：想吃得稳，就得偶尔冒险。

打个比方，这很像你在一座新城市找餐馆。光看门口的评价，你大概会一直去同一家；可如果那家的评分本身是错的，你就永远发现不了隔壁更好的一家。合理的做法是，对没去过太多次的店留一点额外的期待。SEER 借用的 Neural-LinUCB 正是把这个"额外期待"做成了一项可计算的分 Neural-LinUCB.

它的设计精髓是"表示交给深度网络，探索只在最后一层线性里做"。SEER 把评分器的 64 维中间表示归一化、再补一个单位偏置，得到 65 维的 $\psi_\theta$；然后维护一个累加矩阵 $V = I_{65} + \sum \psi_\theta \psi_\theta^\top$，用

$$\hat{u}\theta + \sqrt{\psi\theta^\top V^{-1} \psi_\theta}$$

作为采集分数，取最大者去评估，系数取 1 SEER。根号那项就是"没怎么试过的参考"的额外加分。只探最后一层的最大好处是，矩阵求逆的规模只跟最后那 65 维有关，跟网络本身有多宽无关，回传很便宜。这类需要在全参数空间做后验采样的方案，代价往往随网络规模上涨；只探最后一层正好绕开这一点。它要的是一条能真跑起来的管线，而不是一个漂亮的公式。

具体到训练循环，每个源语音会挑 4 个高分参考去做评估，跟一条不做增强的原声基线对齐；如果最高分不是正的，就保留源语音原样。采集分数只用于挑选评估样本，最后真正上线用的还是纯效用分数。还有一个工程细节值得点出：因为评分器的中间表示在训练中一直在变，之前累加的 $V$ 会慢慢失准，SEER 就每 16 步把 $V$ 重建一次 SEER。算法能探索得动，不代表它量情绪的那把尺子就是对的。那我们到底赢了多少，又还在哪儿卡着？

六、SEER 赢在哪、哪里还没赢？

先看赢面。客观评测里，SEER 在 RAVDESS 的 N8 档把情绪识别 macro-F1 从 78.26 提到 85.56，在 ESD 的 N8 档从 57.09 提到 68.75；其中 ESD N8 的提升在论文中标注为统计显著（*p<.05），RAVDESS N8 提升明显，但论文并未把它标注为显著 SEER。更关键的对照是"可懂度没塌"。SEER 在 RAVDESS N8 的词错率是 1.39，甚至低于固定用同一段参考的 2.43，这意味着它是靠"为每一句单独挑参考"换来了收益，而不是靠一刀切地把声音整体推强。用一句话概括，SEER 省掉了平行录音与强度标签，还把优化目标对齐到了"过完 CI 之后还认不认得出情绪"，这是它相对旧路线真正立住的地方。

主观评测的细节也值得单独说。16 位听众在 N4、N8、N16 三档给 SEER 的 macro-F1 分别是 68.37、70.14、67.39，都显著高于原声的三档 46.42、52.66、58.71，也高于 JD-NMF；而未经增强的自然强情感录音依然更高，三档分别是 79.90、83.11、77.91 SEER. 这提醒我们别把数字读过头：SEER 不是要替代一段本就足够强烈的表达，它在做的，是给那些"只有普通强度录音可用"的场景补一条数据高效的路。

另一个值得注意的结果来自对成功配对的解剖。把全部 48 条测试源语音与 281 条参考穷举配对后按三个因素分组，强度只在最稀疏的 N4 档有显著差异；说话人性别异同、内容异同造成的差别全都不显著 SEER。在这组 48×281 的穷举配对与该评测设定中，未观察到同说话人或同内容参考带来的显著优势。

但赢面并不完整，而这一点写在它自己的图里。

图注：N8 设定下的一组主观混淆矩阵，四个 4×4 矩阵分别对应源语音、强情感语音、JD-NMF 与 SEER；矩阵的行是说话人本意的情感，列是听者实际感知到的情感，四个字母代表生气、高兴、难过、中性。四张矩阵并排放在一起，可以看出 SEER 把哪一格的混乱理清了，又有哪几格的混乱被推向了另一个方向。

对着矩阵看会更清楚。SEER 对"生气"的修复最明显，识别率从 31.3% 提到 82.0%；但被误判成"生气"的"高兴"反而变多了，"难过"被误判成"中性"的比例也上升了 SEER. 作者自己也承认，参考检索改善了某些情感边界，但仍不足以在 CI 处理后把"高兴与生气"或"难过与中性"彻底分开。至于这背后的原因是什么，论文并没有给出定论，只能说在这套 CI 仿真与评测下，仍未能把这两对情感稳定分开。

所以这条管线值得认真看待，但也不该被当成终点。它证明的是"用检索式参考条件化 EVC，加上对齐 CI 的奖励，可以省掉平行录音与强度标签，把门槛降下来"，而不是"CI 情感感知已经被解决"。对照作者自己列出的下一步，缺口是明摆着的：当前只覆盖生气、高兴、难过三类情绪，中性与惊讶还没有进来；只测了一种 CI 仿真框架，换一个声码器是否还成立是未知数；奖励里的识别器没有为 CI 用户专门优化过，它的判分可能偏离真实听者的感受，作者也把"用真实 CI 听者的标注来当奖励"写进了未来计划 SEER。真正的下一步，是把这把尺子换成真实 CI 听者的判断，再去看那些增强出来的情绪线索能否落到实际的交流共鸣与社交参与上。它是一扇被推开的门，不是一间盖好的房。

想深入可以读原文：SEER: Source-Conditioned Emotion Enhancement via Retrieval for Cochlear-Implant Speech：arXiv:2610.11131

参考文献

SEER：人工耳蜗语音听不出情绪，检索式增强能补回来吗？