唇腭裂语音识别装进本地设备：整体词错率大降，重度患者仍有过半数的词出错

同样的语音助手，为什么唯独对唇腭裂孩子几乎失灵？

9 到 13 岁的孩子，对着平板说一句"给我放首歌"，屏幕上的语音助手回了一句"没听懂"。他不是嘴快，而是患有唇腭裂（Cleft Lip and Palate，CLP），一种先天性的唇部与上颚裂隙。这类孩子想用语音交互，几乎每一步都在碰壁。开箱即用的 Whisper-small，一个在 68 万小时多语数据上训练过的开源语音识别模型，用在这批评测语音上，每说 100 个词大约认错 62 个，等于基本不可用。但论文真正要追的问题不在"能不能救回来"，而在更拧巴的一层：等整体识别率真的被救回来，会不会把最严重的那一档孩子丢在后面？总体改善，能不能不丢下重度孩子？CLP-Edge

这个问法不是顺带的良心问题，而是必须先想清楚的技术问题。总错误率是一本总账：总账好看，只说明多数的句子被救回来了，说明不了"谁"被救回来了。而最重的那一档孩子，恰恰是最容易被总账盖住的人，他们错得最多，也最可能被平均数遮掉。所以论文给这个问题的检验搭了三件套：一把把患者分档的尺子，让"谁被丢下"看得见；一段前人的研究史，解释为什么这个问题至今悬而未决；一组按档记账的基线数字，把起点钉死。下面依次展开，每一件都只服务于同一个问题：总体改善，会不会丢下重度孩子。

第一件是分档的尺子。要回答总体改善会不会丢下重度孩子，前提是先能认出重度孩子是谁。言语病理学专家把这类语音按严重度分成三档：轻度、中度、重度。下面的图把正常说话人和三档患者的发音放在一起对比，肉眼就能看出问题有多大。

图注：正常、轻度、中度、重度四档说话人发同一个词 kage 的波形（a–d）与谱图（e–h），谱图中决定音色的共振带随严重度越来越失真；最下方（i）是正常语音与三档 CLP 语音在谱图层面的 DTW 距离分布，重度组与正常的距离最大、散布最宽。严重度来自言语病理学专家标注，DTW 距离验证了从正常到重度依次递增的顺序。CLP-Fair

这个分级不是随便拍的。前作用动态时间规整（DTW）把每段语音的谱图"形状"折算成一个距离数字：正常语音互相之间很近，越严重的 CLP 语音离正常语音越远，而且重度组互相之间差异也最大。换句话说，对重度孩子，模型不仅要对付"歪"，还要对付"歪得每个人都不一样"。这正是"不丢下重度孩子"最难的地方：它是误差最大的那一组，也是模型最摸不准的那一组。

这把尺子为什么对重度孩子最苛刻？因为他们的声音偏离得最远，而偏离的根源在发音器官的结构。唇腭裂孩子的口腔与鼻腔之间，有一条不该有的通道，让气流从鼻子里漏出去，最典型的表现是鼻音过重（hypernasality），同时元音的核心音色被带偏。语音学里决定元音音色的共振峰（formant），因为鼻腔的耦合效应而整体偏移；塞音、擦音这类需要口腔高压的辅音，爆破与摩擦的能量被削弱，常常发不清楚。用正常语音训练出来的模型，听到这种"结构性地不一样"的声音，只能按自己熟悉的方式去猜，于是系统性认错。CLP-Fair 这类孩子不是说话马虎，而是声学上结构性地偏离了模型熟悉的分布，越重的孩子偏离越远，错得也越离谱。

第二件是前人的研究史。这个问题为什么悬而未决？据论文引述的统计，2019 年全球约有 19 万多人带着唇腭裂生活，而语音助手、智能音箱、平板早已成为孩子接触数字世界的日常入口。可"把识别率救回来"这件事，前人也做了很多年：早在 2021 年，就有工作尝试用数据增强缓解 CLP 语音识别，比如用 CycleGAN 把正常语音"翻译"成病态口音，把音素错误率从 50.68% 压到 41.09%，依然高得离谱；此后一条研究线沿着"数据"做文章，一路做到 2026 年，问题始终没有根本解决。CLP-Augment 原因藏在它们的共同点里：全都盯着同一个目标，也就是 pooled 指标，把所有说话人的话语合并在一起算出来的总错误率。总账恰恰看不出"谁在被丢下"，所以这个问题一直没有被正面回答。

第三件是按档记账的基线数字，它把检验的起点钉死。论文用了 24 名普通孩子加 41 名唇腭裂孩子共 264 句评测话语，其中四分之三出自唇腭裂孩子，错误也绝大部分集中在他们身上；未微调的 Whisper-small 把所有结果合并起来看，每说 100 个词错 62.46 个。按档拆开却是另一幅画面：轻度组错 33.20%，中度组 108.27%，重度组 92.98%。错误率可以超过 100%，是因为模型会在话里凭空塞进错误的词，错误总数超过了词总数，意味着这一组几乎等于乱猜。总账把"只错三分之一的档"和"几乎全错的档"揉成了同一个数，这正是不分档就看不见"谁被丢下"的直接证据。整体能不能救回来是一回事，救回来的同时不丢下重度孩子，是另一回事。这也是接下来每一章都在回答的唯一问题。

把识别率刷高，就能算公平吗？

先看底子。论文选 Whisper-small 做底座。Whisper 是 OpenAI 在 2022 年发布的开源语音识别模型族，用 68 万小时"音频加上转录文本"的配对数据弱监督训练而成，其中 11.7 万小时覆盖 96 种非英语语言。它最特别的地方在于把多语识别、语音翻译、语种识别等任务全部统一成"预测一段文本 token 序列"的问题：解码器从 startoftranscript 这个特殊 token 开始，依次预测语种、任务类型（transcribe 或 translate）、时间戳选项，直到 endoftranscript。一个模型就这样取代了传统流水线里多个独立组件。

图注：Whisper 的多任务训练格式总览：所有语音任务都被编码成解码器要预测的特殊 token 序列，从 startoftranscript 开始，接语种 token、任务 token（transcribe/translate）、时间戳选项，到 endoftranscript 结束，一个模型由此统一处理识别、翻译、语种识别等任务。图中不含任何性能数字。Whisper

Whisper 家族按规模分五档，论文选的 small 档约 2.44 亿参数，既比 tiny/base 更能打，又比 large 更容易装进小设备。但它有一个明确的边界：OpenAI 自己在论文里承认，很多语言的训练数据不足 1000 小时，整个语料还严重偏向英语；所谓开箱即用的鲁棒性，并不覆盖低资源、非典型的口音和病理语音。所以论文必须自己做 fine-tune（微调），在预训练模型上用 CLP 数据继续训练，让它重新认识这类声音。Whisper

微调是常规操作，问题是怎么调。过去几年，同一条研究线给出过三种答案：从信号级数据增强，到按严重度混合训练数据（把词错率从 37.58% 压到 25.47%），再到元学习路线。它们有一个共同点：都在追逐同一个目标，也就是所谓的 pooled 指标，把所有说话人的话语合并在一起算出来的总错误率。CLP-Fair

这恰恰是问题所在。想象一个班级的成绩单：全班平均分 85，很漂亮。但把每个孩子单独拿出来，最差的一组平均只有 45。只报平均分，一个尖子生就能遮住九个掉队的孩子。语音识别的总错误率就是这个平均分。语音公平性领域有一句被反复验证的结论：聚合指标会系统性地掩盖组间差距，平均数可以很好看，同时一群人持续被亏待。SpeechFair

现实也印证了这点。论文的前作拿商用云端语音服务做过测试：同一套语料，普通孩子语音的词错率 30.21%，唇腭裂语音 74.27%。商用产品同样在区别对待这类用户。

所以"识别得准"和"对每个人都准"是两个目标。总错误率再低，也不代表对每个人都公平。要把公平当真问题解决，需要给它一个单独的靶子。这篇论文的做法是：训练端调控数据配比，评估端引入一个把"平均表现"和"组间差距"压进同一个数字的分数。下一章看它具体怎么摆弄这两个靶子。

怎么把"公平"变成可以调控、可以打分的东西？

论文的整套系统，一张图就能看全：

图注：论文的完整流水线：离线用五种数据配比 fine-tune severity-aware Whisper-small，五折交叉验证后取平均，部署到 NVIDIA Jetson 上做 FP16 推理；预处理语音先转成 log-Mel 谱图再解码成文本，输出侧同时报告 WER/PER、公平性、延迟、RTF、吞吐与 GPU 内存指标。CLP-Edge

训练端那一步"五种数据配比"，是全文最核心的设计。数据集是 NMCPC，41 名唇腭裂儿童加 24 名普通儿童，CLP 语音已按轻、中、重分好档。论文的操纵简单到近乎朴素：训练预算固定为 280 条话语，只改变其中正常语音和各严重度组的配比。最朴素的 NO 配置全部用正常语音；NOMI 匀出 140 条给轻度组；NOMIMO 变成正常、轻度、中度三分（93+93+94）；NOMIMOSE 四组各 70 条，谁也不落下；最后的 CLP-only 反过来完全不含正常语音（93+93+94）。模型架构一个字没改，唯一动过的旋钮就是"模型在谁的声音上花多少训练预算"。数据配比不是锦上添花的调参，它本身就是公平性手段。CLP-Edge

这个旋钮为什么关乎公平？还是那个班级。只让老师辅导尖子生（只喂正常语音），掉队的孩子永远不会被看见；反过来让老师专门给最差的孩子开小灶（CLP-only），正常组又没人管了。数据配比就是老师的时间分配，它决定了模型是否见过、见过多少各类患者的声音。

评估端同样成对设计。一方面照常报 pooled 总错误率；另一方面，把 264 条评测话语按正常、轻度、中度、重度四组分开报数，评测说话人与训练完全不重叠，训练还做了五折交叉验证。只看总账不看分组，就退回了那个平均分陷阱。

更关键的是那把尺子：Fairness Score，公平性分数。FS 把两件事记进同一个分数：平均误差，也就是正常组与 CLP 组的平均词错率；以及组间差距，两组词错率之差的绝对值。因为各严重度组的文件数不均，论文用 pooled 词错率充当平均误差。两者各占一半权重，公式写成 FS = −0.5×平均误差 − 0.5×组间差距，越接近 0 越公平。这个公式直白得像成绩单新规则：平均分差要扣分，最好组和最差组的差距大也要扣分，两个都差，分数就难看。一组配置把 280 条话语怎么分，最终都会还原成这一个可以排名的数字。CLP-Edge

给这个设计一个坐标系。语音公平性领域 2026 年 5 月的一篇综述，把"公平"梳理成七类定义、三种范式、六类指标族；论文的"按严重度分组报数加上 FS 打分"站在其中 Robustness 范式的位置上，用性能奇偶作为公平的操作化定义，也就是各组的表现差距应当被测量、被缩小。要注意这篇综述只收录到 2026 年 5 月，本文是它视野之外的最新一步。SpeechFair

图注：语音公平性综述的总览图，从上往下读：上半部分是框架区，列出七类公平性定义、三种范式与六类指标族；下半部分沿语音处理管线排列偏差来源与对应的缓解手段，并列出开放问题。论文"分组报数加 FS 打分"的操作化方式落在性能奇偶（Robustness 范式）的位置。SpeechFair

旋钮有了，计分表有了。现在看数字：这些设计真的起作用了吗？

微调之后：整体好看了，差距缩小了吗？

数字说明两件事。

第一件，微调把整体错误砍掉一大半。合并后总体词错率从 62.46% 降到 22.72%，每说 100 个词，从错 62 个降到错 22.7 个，错误数少了近三分之二。音素层面同样改善：音素错误率（PER）按最小语音单位计差错，从 52.72% 降到 18.44%。CLP-Edge

第二件，也是更耐看的：整体好看，不代表每个人都好。打开分组看，最重的 severe 组在最佳配置下依然错掉 54.96%，一半以上的词是错的。差距缩小了，但没有消失。表格里那一格超 100% 的数字也值得再看一眼：Direct 的中度组 108.27%，说明未微调的模型面对这一档几乎等于乱猜，一边猜错一边多加词。CLP-Edge

还有一个细节只够做注脚：最佳 WER 配置（NOMIMOSE）和最佳 PER 配置（NOMIMO）不是同一个，说明词级与音素级两种计错方式对配置的排序未必同向。而"总体准确"与"组间一致性"是不是同一件事，更硬的答案在分组数字里：总体 WER 最低的 NOMIMOSE（22.72%），在公平分排行上并没有拿到第一。

FS 从高到低：CLP-only −22.85、NOMIMOSE −23.50、NOMIMO −23.65、NOMI −30.26、NO −38.52、Direct −62.30。论文把 CLP-only 当作 CLP 场景的参照基线，理由是公开预训练模型本来就以正常语音为主，而 NOMIMOSE 是离它最近的配置。CLP-only 拿下最高 FS，赢法是把全部预算押在患者声音上，代价是正常组的词错率从 4.80 升到 6.00；均衡配比 NOMIMOSE 则几乎是"总误差"与"组间差距"的最优折中。总账最好的配置和公平分最好的配置不是同一个，这恰好证明"识别得准"与"对每个人都准"是相关但不同的目标，必须分开度量。CLP-Edge

对照组的结论值得并排看。同组作者在 2026 年 7 月用元学习（meta-learning）走了另一条优化路径：NA-FOMAML 在内层循环先用正常语音做一轮临时适配，外层循环再在加入 CLP 严重度组的 query 集上做元更新，本质是一个两层循环的训练方式，与这篇论文的直接微调构成最小对比。

图注：NA-FOMAML 的 bilevel 结构示意：内层用正常语音做临时适配，外层在包含 CLP 严重度组的 query 集上做元更新，是"两层循环"的训练方式，与论文的直接微调是两条不同的优化路径。图中不含任何 WER 数字。NA-FOMAML

它在同一份 NMCPC 数据上的最好结果为 4.40/5.53/16.14/52.07（正常/轻度/中度/重度），重度组 52.07%，和本文的 54.96% 几乎钉在同一水平。需要注意，两篇论文的训练与评测配置不同，NA-FOMAML 用了五折集成解码、全解冻编码器，不适合直接判高低；但结论互相印证：severe 组是所有人共同的短板。NA-FOMAML

所以答案清晰了：数据配比确实能同时改善"总体"与"一致性"，但公平性的天花板就卡在 severe 组，这一档至今仍错一半，是留给后来者的入口。还剩最后一关：这套模型不只是在实验台上算出来的数字，它能装进真实的小设备，离线跑起来吗？

离开云端、装进小设备，这套模型还能实时跑吗？

先交代平台。Jetson 是 NVIDIA 的嵌入式 AI 计算平台，官方定位是边缘 AI 与机器人计算：体积小、本地 GPU 推理、低功耗，不依赖云端，软件栈由 JetPack 提供，里面是 CUDA、cuDNN、TensorRT 一整套加速库。Jetson 它和手机、平板的共同点是资源有上限：算力、内存带宽、功耗都有限，装得下的模型才能用。论文没有指明具体用了哪个型号，只说 NVIDIA Jetson 平台。

部署实验把 451.45 秒的评测语音全部切句处理，用 FP16 半精度推理搭配贪心解码跑完。关键指标是实时因子（RTF）：处理一段语音的耗时除以这段语音本身的时长，小于 1 就意味着转写比说话还快。

两点值得细看。第一，精度更高的微调模型在设备上反而更快：RTF 0.167 到 0.171，比未微调基线的 0.212 还低。平摊到每句话上，评测语音平均每句约 1.7 秒，而模型平均 0.286 秒就出结果：在该离线逐句测试中，平均每句处理耗时远短于句长。要注意这是把语音先切好句、再逐句处理的离线测试，论文没有做流式在线交互测试，因此不能据此宣称边说边出字幕的流式体验。第二，识别性能的提升没有带来任何额外内存开销：所有配置、包括微调前后的模型，峰值 GPU 内存恒定在 566.32 MB。回到第三章那张流水线图的后半段，部署、FP16 推理、逐句解码、输出指标，这一整段在真实设备上是走得通的。CLP-Edge

"离线可用"对唇腭裂孩子不是锦上添花。语音留在本地设备上，音频不需要上传任何云端，隐私顾虑少一层；诊室、学校、偏远地区网络不稳甚至没有，设备依然能工作；交互延迟低，孩子对着平板说话，反馈几乎即时。边缘部署把"识别得准"从实验室数字变成了诊所和家里能用的东西。

至此一条完整路径走通了：量化差距、调控差距、在真实设备上验证。那么回到开头的初衷，这套方案真的"公平"了吗？还差什么？

这篇论文真正值得带走的是什么？

先给一个恰如其分的评价。这篇论文没有刷出一个惊艳的单一数字，它示范了一条路径：把"公平"从口号变成三个可操作的东西。量化层面，用分组 WER、PER 和 FS 一眼看出差距在哪、有多大；调控层面，用数据配比这个不花钱、不改架构的旋钮去缩小差距；验证层面，用 Jetson 上的 RTF 和内存数字证明它不是纸面模型。数据配比尤其值得记一笔：它没有引入任何新数据或新架构，只是重新分配了 280 条训练话语的预算，成本几乎为零，效果却同时惠及总体指标和组间一致性。CLP-Edge

代价和边界也要如实说。论文只在 NMCPC 一个语料上验证，它是英语、9 到 13 岁儿童、由同一中心的病理学家标注的样本，结论尚不能直接外推到其他语言、成人或不同标注体系。严重度分级依赖专家人工标注，论文没有给出客观的声学阈值，换一批标注者结果是否稳定是未知数。分组 WER 和 FS 都没有报告显著性检验：公平性评估的方法学建议对组间差异做统计检验（示例规模是每个说话人组约 35 人），而这篇论文没有走到这一步。方法学上，如实报告"统计不显著"本身是严谨的做法，但缺了检验，这组差距就还不能被断言为统计上稳健的规律。FairBench 此外，发表 venue 只标注了 Conference，具体会议名未指明；Jetson 的具体型号也未交代，跨平台复现需要读者自己补课。

公平起见，这些局限多数是"留了口子"而不是"做错了"。最实的口子是 severe 组 54.96% 的残差：一半以上的词还是错的，这个群体依然没有被真正服务到。同组作者在元学习论文里自己指出的后续方向，severity-aware sampling（按严重度加权抽样）和 phoneme-aware loss（对音素级错误单独施罚），都是冲着这一档去的；领域综述则把可控数据合成列为开放问题，用合成语音补足重度患者的稀缺数据。NA-FOMAML 换一句话说，方向都有了，入口就是那个最难的 severe 组。

回到开头的那个孩子。论文能给出的回答，边界必须画在样本与群体之内：在这批测试中，分组平均的识别显著改善，识别系统对这种声音的系统性亏待，被量化成可以排名的数字、被一个配比旋钮缩小、被一台峰值内存 566 MB 的设备验证可行。但这份结果还到不了"像普通孩子一样"那一档，最重的 severe 组仍然错一半。需要强调，上述改善都是分组平均，不是个体保证：重度这一档内部差异最大，每个孩子的声学偏差各不相同，组均值好看，不代表每个孩子都会同样受益。公平性工程最难的诚实，就是把填不平的坑留在报表上，让后来的人知道从哪里挖起。这份报表里，坑已经标出来了。

想深入读原文：Fairness Evaluation of Edge-AI Implementation for Cleft Lip and Palate Speech ASR，arXiv:2609.03982

参考文献

1. Bhattacharjee 等，《Fairness Evaluation of Edge-AI Implementation for Cleft Lip and Palate Speech ASR》，arXiv:2609.03982（2026-09-03），https://arxiv.org/abs/2609.03982
2. Radford 等（OpenAI），《Robust Speech Recognition via Large-Scale Weak Supervision》，arXiv:2212.04356（2022-12-06），https://arxiv.org/abs/2212.04356
3. Bhattacharjee 等，《Improving ASR Fairness for Cleft Lip and Palate Speech: A Study on Severity-Aware Data Mixing》，arXiv:2505.03697（v1 2025-05-06 / v2 2026-08-02），https://arxiv.org/abs/2505.03697
4. Bhattacharjee 等，《Normal-Anchored First-Order Model-Agnostic Meta-Learning based Whisper Fine-Tuning for Enhancing Fairness of Cleft Lip and Palate Speech Recognition》，arXiv:2608.00186（2026-07-31），https://arxiv.org/abs/2608.00186
5. Lin 等，《Toward Fair Speech Technologies: A Comprehensive Survey of Bias and Fairness in Speech AI》，arXiv:2605.01597（v1 2026-05-02 / v2 2026-08-11），https://arxiv.org/abs/2605.01597
6. Sudro、Das、Sinha、Prasanna，《Significance of Data Augmentation for Improving Cleft Lip and Palate Speech Recognition》，arXiv:2110.00797（2021-10-02），https://arxiv.org/abs/2110.00797
7. Herron 等，《Responsible Benchmarking of Fairness for Automatic Speech Recognition》，arXiv:2605.10615（2026-05-11），https://arxiv.org/abs/2605.10615
8. NVIDIA，《NVIDIA JetPack / Jetson 官方平台页》，https://developer.nvidia.com/EMBEDDED/jetpack