七个音频大模型：疼到 8 分答“No pain”，念出分数就答对

七个音频大模型在疼痛语音上的准确率，几乎完全由文本里有没有写出答案决定。同一批说话人、同一句哈佛教句、同一支麦克风，文本中性时七个模型全部落回随机水平，二分类 48.1–50.7；一旦受试把“疼 8 分”说出口，同一批模型立刻升到 89.1–99.7。两种条件之间隔着的不是信号质量，只是一句话。

这篇 2026 年 10 月 28 日提交的 arXiv 预印本叫《Do Audio LLMs HEAR Pain?》，作者来自微软，用 TAME-Pain 冷压痛语料把“模型听见疼痛了吗”拆成四道可以分别检验的问题：行为、编码、感知、使用。本文顺着这条链的每一环各检验一次。HEAR

文本一中性，七个音频大模型的判断就掉回抛硬币

这约 40 个点的落差不是耳朵好坏的问题，是答案写在字里、还是只在声音里的问题。先看一条示例就明白反差在哪。

图注：上栏同一句哈佛教句，疼 1 分与疼 8 分两条波形下模型都答 “No pain”，8 分那条标红叉；下栏把同一段疼痛说成 “the pain I feel right now is 8”，模型答 “Pain”，标绿勾。声音变了它没听见，把话说出来它立刻答对。这是单条示意，不是准确率证据。HEAR

这个反差成立的前提是实验场本身干净。TAME-Pain 的采集协议是冷压痛任务：同一只手分别在 0–4 °C 冷水（诱发疼痛）与 34–37 °C 温水（对照）下各测一轮，除水温外其余条件完全一致，录音为 16 kHz 单声道，共 51 人、7,044 条 utterance。发言分两类，正是这个数据集最有价值的地方。一类是固定的哈佛教句，句子与疼痛无关，疼痛只能从嗓音推断；另一类是口述评分句，答数被说出口，疼痛同时写在词里和声音里。TAME-Pain

锚论文在这批录音上跑七个 LALM，结果分成两半。中性句臂二分类平衡准确率 48.1–50.7，三分类 32.8–34.1，随机水平分别是 50.0 与 33.3；口述评分臂二分类 89.1–99.7，三分类 87.5–99.5。两个常见借口被当场排除：每个条件下的回复解析成功率不低于 95.7%，所以不是格式失败；同说话人参考与 20-shot 设置最多只抬高 6 个点，所以不是示例给少了。失败形态更具体：除 gpt-realtime 系外，多数模型对中性句一律答 “No pain”，成对比较里多数模型一律选 Clip 2，gpt-realtime 在全部 208 次查询中都选了 Clip 2。这是固定响应偏好，不是听错。HEAR

这些数字踩在什么标签上，必须在读第一张表之前交代清楚。TAME-Pain 的疼痛值不是临床评定，而是受试自己念出来的分数，每 5 条 utterance 出现一次评分句，其余条目靠外推补标签。

锚论文又做了一次自己的清洗：合并冷、温条件并剔除标记为噪声的样本，保留 51 名说话人的 4,658 条。7,044 是原始发布量，4,658 是评测集，两个分母不能混。4,658 恰好等于质量最好一档 ACTION LABEL=0 的条数，两个口径是否同一件事，论文没写清。TAME-Pain

有了实验场，四道问题就有了一张地图。

图注：RQ1 并列两种输入，中性哈佛教句与口述评分句；RQ2 是编码器 32 个 block 接投影层再接 28 层语言模型，上挂随层深的探针曲线；RQ3 是二选一的线索辨别；RQ4 把响度、音高数值以文本贴回提示。图里的百分比是示意标注，实测值以正文表格为准。HEAR

同一条录音，纯转录 AUC 0.489、声学 0.622：高分来自字面

中性句上的随机水平不是模型能力的指控，而是这条通道本来就没有答案。这个判断来自另一组作者在同一批录音上做的对照实验。

做法是：7,044 条录音先用 Whisper 转录，按词面分成无信号臂 5,750 条哈佛教句与有信号臂 1,294 条疼痛陈述句；同一批录音抽 15 个可解释声学描述量，同时用转录做词袋表示，两组特征走同一个 L2 逻辑回归、同一套按说话人分组的 5 折交叉验证。声学特征 AUC 0.622，置信区间 0.553–0.662；纯转录 AUC 0.489，置信区间 0.418–0.504。两个区间不相交。转录也没拖后腿：以句级共识为参照的平均词错率 0.078，中位数 0.000，所以低分不是转写错了，是转录里没有那个变量。RefusalAudit

图注：7,044 条 WAV 经 Whisper 转写后分成无信号臂与有信号臂，声学与纯转录走同一个分类器。图中的 7 个 LLM 是纯文本模型，与锚论文那 7 个音频大模型不是同一批。RefusalAudit

结论因此要改写：中性句上贴随机，不是“音频大模型听不出来”，而是“文本里没有答案，模型也没有走通文本之外的另一条路”。情感任务上有更系统的版本。LISTEN 基准把词义与声学的关系切成四个条件，再按只给文本、只给音频、文本加音频切成三种模态，并为每种模态单独指定 ground truth。关键在中性文本条件：文本臂的正确答案被统一覆写为 neutral，那一臂的“接近满分”是标注约定的产物，多数类基线本来就是 100。有信息的是纯副语言条件，六个模型只有 15.7–22.7%，均匀猜测 12.5%，答案强烈堆在 neutral 一列。LISTEN

图注：四条件乘三模态的样例网格。冲突列可见文本臂与音频臂拿到的正确答案不同：只给文本那格高亮 happiness，音频两格高亮 disgust。看的是切分逻辑，不是分数。LISTEN

把“跟着文本走”变成可跨模型比较的数字，是另一项工作完成的。它用受控语音合成制造矛盾，让转录断言一个属性、让声音表达另一个属性，再读两个指标：命中声学真值的 Acc_GT，与跟随对抗标签的 ALA。12 个模型上 ALA 平均 64.34%，Acc_GT 平均 15.33%。最干净的演示是倒放音频：去掉可懂语言、保留音高音量音色后，AF3 的 Acc_GT 从 17.40% 升到 38.80%，ALA 从 68.50% 降到 28.90%。两个数不互补，一部分预测两个标签都不落，不能写成相加等于 100%。VoxParadox

信息在编码器后段最强，流到输出前就被丢掉

疼痛信息确实被编码了，问题出在它之后。锚论文的层间探针是最直接的证据：在 Qwen2.5-Omni-7B 的冻结隐状态上挂轻量头，中性句臂的二分类探针在音频编码器第一个 block 就到 74.1±1.6，三分类 45.0±0.9，随后随层深单调衰减；Kimi-Audio 用另一套三路结构复现了同一形态。HEAR

图注：Kimi-Audio 的层间疼痛解码。横轴左半是 Whisper 编码器 0–32 层，右半是语言模型 0–28 层，绿色点线标出 MIMO 音频分支的分叉位置。上排中性句臂编码器首段最高、随深度下降，下排口述评分臂在编码器内就升到接近上限。曲线只读趋势，数值以论文表格为准。HEAR

这不是疼痛语料的特例，需要一份独立于疼痛的机制证据。另一项工作用四个开源模型在 Expresso 的七种说话风格上做端到端追踪，并把编码器、投影层、解码器分别定位。两边的峰值位置并不一致，这点必须先点破：疼痛语料上的探针峰值出现在编码器首段，说话风格任务上出现在编码器后段。共同点不在第几层，而在峰值之后信息一路走低。

图注：四个开源模型的逐层线性探针，横轴是归一化层深，虚线是 7 分类随机水平 14.3%。四条曲线都在编码器后段达峰，约 82–85%，之后分歧明显：Qwen2-Audio 持平，Qwen2.5-Omni 缓降，Chroma 在骨干边界骤降后回升，Whisper 单调上升。它测的是说话风格，不是疼痛。HeardNotHeeded

峰值不是重点，落差才是。同一批模型的输出级任务，让它们用自然语言描述语调，准确率只有 19.68%、53.70%、22.57%，随机水平 14.29%。作者把这 82–85% 与 19.7–53.7% 之间的落差称作核心发现：编码器比输出丰富得多。这三个数只能跨任务类比，不能移植到疼痛语料。

接下来要打掉一个很自然的解释：是不是投影层把信息删了。答案是并没有。

图注：逐层 CKA 曲线，从左到右是 Whisper、Qwen2-Audio、Qwen2.5-Omni、Chroma，每条线对应 21 个风格对中的一对，红色虚线是投影层边界。三个音频大模型在投影层边界出现几何断崖；Whisper 全层几何相似度都很高，探针却升到约 83%。几何相似度不等于信息量。HeardNotHeeded

CKA 在投影层边界断崖，同一位置的线性探针仍有 78.51% 与 81.34%，接近编码器峰值。所以投影层是几何重塑，不是信息删除。这也解释了为什么一条看似对症的修法会失效：只训投影层的梯度反转实验，训完风格头在投影表示上的验证准确率能到 93.3%，生成侧的泄漏比却几乎不动，0.977 变成 0.979。

两个瓶颈因此必须分开命名。探针高而输出低，是信息还在但没被用，叫利用缺口；探针在接口处本身下折，是信息在层间丢了，叫表征退化。前者对应 Qwen2-Audio 那条平坦解码曲线与 19.68% 的输出，后者对应 Qwen2.5-Omni 从 81% 单调降到 74% 的那一段。VoxParadox

给线索能让分数涨，但那涨的是文本通路

能分辨线索和能据此判断是两件事，锚论文的感知测试把这条缝撑得很开。研究者从 100 条中性录音出发，对同一条录音向相反方向偏移生成高低两个版本，每个线索各构成 100 对，覆盖五个线索：音高 ±8 半音、响度 ±20 dB、频谱倾斜 ±15 dB 等，偏移量远超自然说话人内变异。三名听者合并准确率 98.7%，Fleiss κ 为 0.95。模型一侧，Gemini 系与 Qwen3-Omni 在多数线索上达到 72–100%，它们能听出哪个更响、哪个更高，却仍推不出疼痛；gpt-realtime 系、Qwen2.5-Omni、Kimi-Audio 在几乎所有线索上停在随机附近，尽管 Qwen2.5-Omni 末层还能解码音高水平。HEAR

能感知却不会用，那么把线索直接写给它。RQ4 把 8 组线索以结构化文本塞回提示，含原始数值与一句解释，不调提示也不做特征工程。同说话人成对设置里增益最大：gemini-3.1-pro 从 49.5 涨到 81.7，提升 32.2 个点；gemini-3.5-flash 从 40.9 涨到 71.6。三个结果把这层增益的性质钉住了：零样本单条录音最多只涨 2.7 个点；只给线索、完全不给音频时，成对设置里分数反而更高（gemini-3.5-flash 84.6%、gemini-3.1-pro 89.4%），只有零样本单条录音与口述评分臂上的同一条件才回落到随机；口述评分臂上加线索反而让两个模型的三分类准确率下降最多 5.3 个点。增益最大的是需要比较两条录音的同说话人成对设置，而比较所需的判断依据恰好被写成了文字。

这条路线在现实研究里还有更朴素的形态。

图注：左边是常规做法，音频与任务描述直接进模型；右边多加一路，音频进声学特征提取器，算出基频、响度、谐噪比、语速，再由提示构造器写成文本送进模型。声学证据被搬进 token 序列，这就是“模型可能改去读数字”的结构来源。AcousticAugment

这个形态的收益与代价都能量化。在构音障碍检测上，Qwen2-Audio 加上四个低层声学量后达到 85.0±0.8%，标准微调 84.0±2.5%，零样本 51.0%，作者自陈提升主要来自微调本身。更要紧的是它没回答的问题：全文没有层级探针，也没有“保留提示里的数字、破坏或替换音频”的对照，因此无法判断模型训练后是否还在用音频通路。提示里还额外加了一句构音障碍特征描述且未单独消融，所以那部分差额也不能全归因于数值特征。AcousticAugment

这件事有多难，可以用一个外部量尺量。ParA-Bench 把副语言与声学属性做成 22 类、6,000 道多选题，全部来自声学模拟后的留出测试集。GPT-4o-Audio 总体只有 36.03%，专门训练过的 ParA-LLM 43.53%，人类在 100 题对照里是 78%。该基准完全不覆盖疼痛或临床场景，全文检索 pain 与 clinical 零命中，所以 36% 不能读作疼痛任务的水平，它否定的是“音频模型已经会听声学了”这个乐观判断。ParA-LLM

三条路线必须分开写，否则读者会以为它们是同一件事。

三者的共同点是声学证据最终都以文本形式进入决策，所以检验它们算不算修复，与检验文本捷径是同一套方法。

“听见”要三种证据：读得出、改得动判断、分得清线索

“听见”不是一种证据，而是三种。第一种是线性可解码，靠层间探针，问信息在不在；第二种是因果影响输出，靠输入空间或表征空间干预，问改动它会不会改变判断；第三种是感知可用，靠成对感知测试，问模型能不能分辨线索。锚论文交出了第一种和第三种，第二种缺席。

第二种长什么样，有项工作把可证伪程度做得很硬。它在阿尔茨海默病语音评估上冻结一个自监督编码器加线性分类头，把同一段录音的干净版与降质版配对送进去，数预测翻转。最反直觉的一条结果是：信噪比在原始数据上组间根本没有显著差异，训练集 p=.489，测试集 p=.073，却是干预效应最强的因素，完整录音在第一层上信噪比干预造成 51% 的预测翻转，而语音混响比只造成 8%。所以“统计上看起来平衡”不能当作稳健性的证据。BeyondDecodable

图注：左侧小多图按行分成混响比与信噪比两种干预，按列分成仅参与者语音、完整录音、非语音三臂，横轴是编码器层、纵轴是预测翻转率，四条深浅不同的线对应四档降质强度。改一下输入，判断真的会变，而且信噪比的效应强于混响比。这是预测翻转统计，不是噪声导致疾病判定。BeyondDecodable

这条论证还补了两道锁。它用 100 条幅值匹配的随机方向做零假设，48 个条件里 44 个落在随机方向的 95% 区间之外，比例 91.7%；把干预系数从 +1 换成 −1，logit 效应随之反号，相关系数 −0.98。对象边界要写死：这是冻结自监督编码器加线性分类头，不是端到端音频大模型，“影响预测”指的是这个分类器的决策边界被改变。

第三种证据要另一种切法：把声学线索逐个拿掉，看单条判断会不会变。

图注：移除单个概念后哪些类被改判，纵轴是该类全部预测中发生改变的比例，不是 Macro-F1 变化量。三格分别是移除语速后 Neutral 变 Disgust、移除强度后 Sad 变 Neutral、移除强度后 Happy 变 Neutral，横轴是被移除概念的档位。CREMA-D 只在最快的两档有柱。ConceptBottleneck

两个数字最说明问题。CREMA-D 上移除语速，48% 的 Neutral 预测改判成 Disgust，全部来自最快的两档；MELD 上移除强度，Macro-F1 变化不超过 0.3，却仍有 7% 的 Happy 预测变成 Neutral。同一个动作，一个在聚合指标上留下大坑，另一个几乎看不见。所以“准确率没变”不等于“模型没在用这条线索”。ConceptBottleneck

聚合指标掩盖异质失败的另一个版本来自行为层。一套反事实审计把评审模型拆成感知、给定文字后的映射、原生音频判断三个探针，结论是对比成功会高估原生可靠性：同一模型同时给出两个音频上下文时能到 91.0%，只给一个上下文时只有 65.3%，协议差 25.7 个点。它评的是情感与韵律评审，不是疼痛，给出的是方法学警示。CounterfactualAudit

三把尺子并排，各自能证明什么就清楚了。

按这三条标准回审：这篇论文缺因果一环，指标还落在格式盲区

锚论文的数字站得住，但它量的是“多选题里选得对不对”，而这个格式本身可能对一类效应系统性失明。把质疑落到实处的是一项回路层工作。

图注：左栏多选题里 claim 早期被抄进 question 与 options，answer 从那里读，所以把 claim 到 answer 的直边在 32 层全剪断也没用；右栏自由生成，在中层 10–21 切断生成 token 对 claim 的注意力，需每个解码步重新施加。图里没有数值，中继边位置是示意性的。TextDominance

具体数字是这样：直接切 claim 到 answer 那条边，32 层全切，文本主导率仍是 0.98 变 0.98；改在自由生成的中层 10–21 切断生成 token 对 claim 的注意力，生成侧文本主导率从 1.00 降到 0.38。作者的解释是选项 token 会成倍增加承载 claim 的冗余位置，敲掉一处别的还在传，所以评测格式决定了机制手里有多少冗余可用。这项工作测的是情绪韵律、说话人身份、讽刺语速而不是疼痛，它既不是复现也不是反驳，而是一条可检验的格式质疑。TextDominance

标签一侧同样要回审。TAME-Pain 的标注由单一标注者完成，未对疼痛等级与实验条件盲法，房间也不是声学受控环境；质量分级本身与标签相关，最差一档 ACTION LABEL=4 的记录里，Pain 类 68 条对 No pain 类 32 条，Cold 类 75 条对 Warm 类 25 条。录音质量与类别系统性绑定，这是模型可以利用的采集侧线索。TAME-Pain

锚论文自己也把边界写清楚了：只有 51 名说话人的实验诱发急性疼痛，结论未必适用于慢性疼痛、临床场景与自然求助语音；层间分析只覆盖两个开源模型；声学扰动与文本化线索属于诊断性分析。它提交于基准日前两天，没有同行评审，也没有已知的复现或反驳。HEAR

把缺口列成待办，比再补一张总结图有用。

这篇论文拿得出“读得出”和“分得清”，拿不出“改得动”；而它最响的那个落差——中性句上停在 48–51%，同一批模型在口述评分臂升到 89–100%——说的是答案写在字里的那一半。

参考文献

1. Do Audio LLMs HEAR Pain? Tracing Acoustic Evidence from Speech to Language Reasoning — arXiv:2610.38570
2. TAME Pain data release: using audio signals to characterize pain（Scientific Data 12:595） — https://www.nature.com/articles/s41597-025-04733-2
3. Refusal Is Not Robustness: Auditing Confident Fabrication in LLMs on a Provably Uninformative Clinical Pain Speech Transcript — arXiv:2608.26167
4. Text Dominance in Paralinguistic Conflict: Tracing Suppression Through Audio LLM Circuits — arXiv:2610.25599
5. Do Audio LLMs Really LISTEN, or Just Transcribe? Measuring Lexical vs. Acoustic Emotion Cues Reliance — arXiv:2510.10444
6. Do Audio LLMs Listen or Read? Analyzing and Mitigating Paralinguistic Failures with VoxParadox — arXiv:2605.27772
7. Heard but Not Heeded: Paralinguistic Information Encoding and Loss in Audio-Language Models — arXiv:2609.00727
8. Do Audio Language Models Use Paralinguistic Evidence? Counterfactual Audits for Response Evaluation — arXiv:2608.06718
9. From Speech to Editable Concepts: Probing Emotion Recognition with Concept Bottleneck Models — arXiv:2609.39453
10. Beyond Decodability: Do Acoustic Factors Drive Predictions in Speech-Based Alzheimer's Assessment? — arXiv:2610.01846
11. Augmenting Large Audio Language Models with Low-Level Acoustic Features for Dysarthric Speech Detection — arXiv:2610.03352
12. ParA-LLM: A Unified Approach to Paralinguistic and Acoustic Speech Understanding — arXiv:2609.22771