SURE-Challenge：没听见也敢答？生成前关卡拦下九成六乱答

一段没有答案的音频，模型为什么还答得底气十足？

这篇论文讲的是 SURE-Challenge（Speech-Unsupported Rejection Evaluation Challenge，无依据语音拒绝评测挑战）。它只回答一个问题：一段音频连同问题送进语音大模型之前，该不该让模型开口？该答的放行，不该答的拦下。下面所有内容，都是在回答这一个问题。

问题先从一幅画面说起。一段会议录音被剪辑得只剩键盘敲击和安静。你把这段音频连同问题一起丢给语音大模型：刚才发言人说了什么？它照样给出一个流畅、笃定、有头有尾的段落，可音频里根本没有人说话。作者把 204 段没有可供回答的语音证据的音频喂给 Qwen2-Audio。这个当时相当能打的语音大模型只主动拒答了 15 段，剩下 189 段全部煞有介事地作答 SURE-Challenge。

病根在于模型分不清这段音频里到底有没有话。它被训练成"你问我就答"，也学会了用语言惯性把句子编得滴水不漏，于是没话也能硬答。论文管这类输入叫 unsupported（无依据）：音频里没有可供回答的语音证据。语音证据（speech evidence）指的是音频里能被检测到、对回答有用的内容，也就是谁说了什么、怎么说的。它不等于音频本身，一段只有噪声的录音再长，也是零证据。

所以论文要问的不是"这题答得对不对"，而是更靠前的一个问题：这段输入在送进模型之前，该不该被送进去？放行的决策叫 admit（放行），拦下的决策叫 abstain（拒绝作答）。abstain 不是让模型说"我不知道"，而是干脆不让它开口。模型答得再顺，也回答不了"这次根本不该答"。别以为这只是 Qwen2-Audio 一家的问题，后面会看到，六种主流语音大模型的原始拦截率几乎全是 0，没听见也敢答是通病，不是个案。

这件事为什么现在才有人较真？因为语音大模型真的上了生产线：会议纪要、语音助手、医疗口述转写都在用它们。一段既没有语音依据、又答得煞有介事的输出，轻则浪费一次昂贵的模型调用，重则把一段不存在的"会议内容"写进正式记录。而文本大模型时代积累的评测习惯是"给一段有意义的输入，看输出质量"，音频世界的常态却恰恰相反，静音、噪声、混响、多人交叠都是真实输入的一部分。评测框架沿着文本时代的老路走，入口这一刀就一直是漏的。

下面这张图把两条链路画在一起。左边是现有做法，模型答完之后再打分。右边是论文主张的位置，生成之前先过一道闸门：

分岔点就在生成之前。现有一切做法都从"答案"开始评，而这篇论文说：第一道闸门应该更靠前，先回答"该不该答"。

链路讲清之后，再把名字也澄清一下，免得检索时被带偏。2026 年 5 月 arXiv 上另有一篇也自称 SURE 的论文，展开是 Speech UndeRstanding Evaluation，一个统一语音理解评测框架，关心的是"怎么公平、可复现地横向比较模型" 同名 SURE。两篇除了缩写字面相同，研究对象几乎不重叠。

答得对，不等于该答：现有语音大模型评测缺了哪一环？

先把被闸门保护的模型看清楚。主流语音大模型是两段式结构：一段音频编码器把声音变成向量，一段大语言模型（LLM）在这个向量的引导下逐 token 生成文本答案。token 是模型生成的最小文本单位，一个词或半个词。Qwen2-Audio 是这套形态的教科书代表：8.2B 参数，音频编码器由 Whisper-large-v3 初始化，LLM 主干是 Qwen-7B Qwen2-Audio。

图注：Qwen2-Audio 训练总览。左侧音频编码器由 Whisper-large-v3 初始化，中间 Pre-Training、SFT、DPO 三阶段把音频表征与右上角 Qwen-7B 主干对齐，最终输出文本 token，构成"音频编码器 + LLM"的两段式形态 Qwen2-Audio。

论文的闸门挂在编码器之前，也就是音频连编码器都还没进的位置。这一点很关键：规则不依赖 backbone（骨干模型）的任何内部结构，同一道闸门能推到任何语音大模型前面，这正是后面六个模型一起被接管的前提。想启用就启用、想关掉就关掉，不需要对模型做任何改动，这是它敢说"跨模型复用"的底气。

选 Qwen2-Audio 做主实验对象也不是随手抓的。它在当时的 AIR-Bench chat 评测上四个子集拿到 7.18 / 6.99 / 6.79 / 6.77，在报告分数上领先 Gemini-1.5-pro 的 6.97 / 5.49 / 5.06 / 5.27，属于同期第一梯队（注：Gemini-1.5-pro 因 SAFETY 拒答被扣约 1/5 样本，差距部分源于测试环境差异） Qwen2-Audio。这个模型还支持 Audio Analysis 和 Voice Chat 两种交互模式，一起训练、不靠 system prompt 切换，听和答共用同一套参数。也就是说，它把"听懂"和"会答"都做得很强，瓶颈恰恰落回了入场那一步。

那现有评测都在评什么？三条主线的共同点是：全部等模型答完再动手。HalluAudio 用三域多任务、5720 条人工核验 QA 对，系统性地诊断幻觉行为 HalluAudio。AHa-Bench 把音频幻觉按源头分成 14 类，从"为什么答错"切入 AHa-Bench。WildSpeech-Bench 评端到端语音对话的整体质量，用 1100 条真实 query 加手工检查清单打分 WildSpeech-Bench。这些 benchmark 都很有价值，但它们问的是同一类问题：答得怎么样。没有一个人问：这段输入根本不该答，怎么办。

缺的就是入场这一环。论文把两件事叫正交：前置的 admission 决策管"该不该答"，后置的 answer-only 评分管"答得对不对"。一个管入场，一个管改卷。改卷改得再细，漏掉的也是整场考试。模型答得再漂亮，也回答不了"这次根本不该答"。

为什么这么明显的空一直没人填？因为语音大模型的评测基本是从文本大模型那一套直接搬过来的：给一段输入，让模型答，再拿参考答案比。文本世界里，输入总是成形的文字，很少出现"这段输入其实没有内容"的情况，于是"该不该答"从没被当成一个需要评测的能力。可音频世界不一样，堵住话筒的静音、环境里的噪声、会议上的交叠人声，都是每天会真实发生的输入。问题一直在，只是没有人给它建考卷。

证据不足时模型心里没数，但这个数在生成之前就能读出来

闸门要拦人，总得先有个判断依据。论文的核心洞察是：模型"心里有没有数"，其实是一个可以读出来的实数，而且生成之前就拿得到。

先看信号源 Whisper。它是一个端到端的 encoder-decoder（编码器-解码器）转写模型，decoder 每一步都在做同一件事：给定音频和已经生成的词，预测下一个词的概率分布 Whisper。

图注：Whisper 总览。左侧 encoder 把 log-mel 谱转成隐表征，右侧 decoder 每一步在一个 token 概率分布上挑下一个词。下方多任务 prompt 序列规定了语言、任务与时间戳，这些概率的含义由它决定 Whisper。

Whisper 的解码器本质是一个 audio-conditional language model（音频条件语言模型）。把它想成一位现场口译员：真的听清了，下一句几乎笃定。完全没听清时，这位口译员不会冷场，他会顺着语言惯性把句子补全，说出来照样流畅，但每个词都只是编得比较合理，笃定程度明显下降。Whisper 的每步最大 token 概率，就是把这种笃定程度量成的一个数。听清了，模型对每一步该出哪个词很有把握，最大概率高。没听清时，模型回退到语言惯性硬编，句子流畅，但每步"没那么确定"。

把整段转写里所有步的最大概率取平均，就得到论文的核心信号：

$$s(x) = T^{-1}\sum_t p_t$$

$T$ 是转写里的 token 总数，$p_t$ 是第 $t$ 步模型挑出的最有可能的 token 的概率。$s(x)$ 高，说明语音证据充足，模型步步有据。$s(x)$ 低，说明模型基本在猜。证据不足时模型心里没数，这个"没数"是可以读成一个实数的。信号源选在 Whisper-small 上，而不是更大的 Medium 或 Large。它不是最大的那档——244M 参数在五档里属轻量级；论文没写明为什么选 small，但从逐条打分的前端部署成本看，这是合理解释 Whisper。这个信号也不只对英语有效，转写成别的语言一样逐词出概率。真正的变数在解码器先选语种那一步，选错了整条闸门就跟着错，这一点第五章再讲。

这里有个容易混的点：Whisper 解码时其实有两类概率信号。一类是 <|nospeech|> 这个特殊 token 的概率，它只在转写开始前出现一次，表示"这段没有语音"。另一类是贯穿整个转写过程的每步最大概率。论文用的是后者，理由是前者天然不够用：unsupported 的输入里有大量"有人声但不是该答的人声"的情况，比如好几路人混在一起，只看开头的判断早就放行了，真正需要的是贯穿生成全程的逐词把握度。这个区别后来在控制实验里得到印证：把 no-speech 概率单独当闸门，拦截率和原始模型几乎一样，等于没用。把解码概率当置信度用并非论文首创，Whisper 自己的长音频处理就用"no-speech 概率阈值 0.6 + 平均 log-prob 阈值 -1"做过语音活动检测 Whisper。

顺带一提，把转写置信度当信号看不只这一条路。SHALLOW 用四维分解给 ASR 幻觉分类，发现语义错误与 WER 的相关性只有 0.15。WER 是词错误率，转写错一个词记一笔。相关性这么低，说明转写看着很准，语义照样能错得离谱，低 WER 不等于忠实，这类置信度信号值得盯着 SHALLOW。

整条闸门的流水线长这样：

最后一步是拿 $s(x)$ 和阈值 $\tau$ 比。阈值取 0.70，选择逻辑是在干净的开发集上找折中点：对 supported 样本零误伤，这是有证据、本该回答的一类。对 unsupported 样本拦截最多，这是没有可用证据、不该回答的一类。$\tau$ 定在 0.70 是什么意思？把线稍微抬高一点，就会开始误伤正常的 supported 样本。稍微放低一点，就会漏掉更多无依据输入。0.70 是两害相权之后挑出来的那条线，不是数值魔法。论文还加了一道能量地板，太短、近乎静音的片段在解码之前先淘汰。整道前端的计算代价是每条音频大约 0.09 秒，而 Qwen2-Audio 自己跑一次要 0.949 秒，差了约一个数量级 SURE-Challenge。花 1/10 的钱拦在门口，怎么算都划算，前提是它真的拦得准。

15/204 到 196/204：六个语音大模型被同一条规则接管

拦得准不准，得有一张考卷。论文造了一张精心构造的 474 行测试集，叫 screened test：270 行 supported 加 210 行 unsupported，再剔除 6 行 babble 混源派生行。数据由 LibriSpeech train-clean-100 的 120 条原始录音派生出 SURE-Extended，另从验证集派生了 40 条的 SURE-Core 小集合，主实验跑在 Extended 上。切分方式是 source-disjoint，也就是按原始录音的边界切，前端参数不在任何训练集上拟合。混音种子也做过泄漏筛查，避免模型在训练语料里见过类似的合成混音，否则拦下来的成绩会掺水 SURE-Challenge。提醒一句：同一条原始录音派生的行彼此相关，474 不是 474 个独立样本，不能这么数。

三族数据的意图各不相同。

Babble 这族最刁钻。两路或四路人声混在一起，音频里分明有语音，却没有一条线索指向"该答哪一路的话"。prompt 没指定源，模型无论转录哪一路都是答非所问。它专治那种"检测到有人声就放行"的偷懒闸门，Silero 和 AST 这类语音活动检测器就是在这里全军覆没的。

判卷标准双轨并行：supported 行看是否正常作答且答对，unsupported 行看是否拒答或请求澄清。两条指标分别叫 supported accuracy（放行的都是该答的）和 unsupported rejection（拦下的都是没依据的）。把同一条固定闸门挂在六个 backbone 前面，结果是这样：

六个模型，同一道关卡，全部收敛到 0.961，而原始拦截率几乎全是 0。所有模型的 supported accuracy 在加闸门前后分毫不动。论文摘要里的"0.074 到 0.961"就是 15/204、196/204 归一化后的另一种写法，说的是同一件事。这组数字的关键不在 0.961 高，而在它整齐：闸门没有针对任何一个 backbone 调参，规则是固定的，这证明我们读到的不是某个模型的脾气，而是"证据不足"这件事本身的指纹 SURE-Challenge。

最后一列 WER 也很说明问题：六个模型答了的支持行，词错误率大多压在 0.03 到 0.05，唯独 Qwen-Audio-Chat 是 0.202。闸门管的是"该不该答"，答出来的话准不准，仍然是 backbone 自己的事，闸门不碰也改不了。被放行的样本里，正确率依旧由闸门后面的那个模型决定。

前端控制实验进一步锁定了贡献来源：Whisper 的 no-speech 概率单独用几乎不拦人，和原始模型差不多。Silero 和 AST 能拒掉全部 150 行合成无语音，但在 54 行 babble 上 0 命中。Whisper score 单独能拒 120 行合成无语音加 46 行 babble。再叠加能量地板补掉剩下 30 行合成无语音，正好凑成 196/204。结论很清楚：score 是核心信号，能量地板是补漏的，缺了 score，别的信号单独都卡不住最难的 babble SURE-Challenge。对部署者还有个直接收益：这道闸门把下游调用砍掉了 41%，同时 supported accuracy 保持 0.930 不动，放行的还是那些该答的。

不过等一下，0.961 是在精心构造的合成测试集上拿到的。真实音频不会长得这么听话，这道闸门出了考场还灵吗？论文自己把考卷搬到了真实世界。

0.961 只是合成集上的数字：真实音频让这道闸门现出原形

论文把规则拉到七个真实音频集上做外部检查：Common Voice、FLEURS、ESC-50、FSD50K、MUSAN、VocalSound、LibriCSS，合计 600 条正常样本和 1160 条无依据样本。主要规则在外部池里拦下 917/1160 条无依据音频，保住 554/600 条正常样本，没有合成集上那么漂亮，但仍然能用 SURE-Challenge。

更有信息量的是边界。看这张操作点图：

图注：论文 Figure 1。横轴是 supported retention（放行的正常样本占比），纵轴是 unsupported rejection（拦下的无依据样本占比），越靠右上越好。蓝色曲线是 Whisper-score 阈值从 τ=0.90 扫到 0.50 的移动轨迹，四个圆点是四种固定前端在真实音频上的位置 SURE-Challenge。

合成集上看似并肩的前端们（其中 Silero 与 AST 完全并列），到了真实音频上立刻分家。Silero 落在右下角：它能保住几乎所有正常回答，但拦不住无依据输入，VocalSound 上拦截率只有 0.489，人声几乎全漏，等于挂了道只拦苍蝇不拦人的门。VAD+score 和 AST 挤到右上，成为真实音频上更实用的组合。这就是"合成集并列、真实集不并列"，评测必须两条腿走路的原因。

再往下看是两类结构性失败。LibriCSS 是说话人彼此交叠的会议录音，四种前端几乎全军覆没——主规则与 V+S 各只拦下约 9.2%（约 11/120），Silero 与 AST 为 0，是结构性失败。重叠语音里每一路都是真语音，证据充足，问题是"该答哪一路"。这已经不是证据检测能解决的：声源归属不在论文声明的评测范围内，论文明确只评"有没有可用的语音证据"，不评"是谁在说"。另一类是语义不可答：音频里确有语音，但 prompt 问的内容音频里根本没有，比如问说话人的近况。这类样本靠 audio-only 规则结构性无解，Qwen2-Audio 在过滤后的测试里 refusal（拒答率）只有 0.767。论文把这条边界诚实地标在地图上：这道闸门管不了它 SURE-Challenge。

还有两条同样要命的边界。多语种：FLEURS 上正常样本保留率原本只有 0.235，一旦让 Whisper 解码器先选语种，直接跳到 1.000，一条规则跟着 153 行数据翻身，整道闸门强依赖解码器的语种判断。阈值：把 τ 从 0.70 拉到 0.90，无依据拦截升到 0.964，正常样本保留却掉到 0.505。这个 trade-off 没有免费午餐，τ=0.70 只是当时的折中点 SURE-Challenge。连测试构造本身都有噪声：换一套混音种子，速度扰动的 babble 拦截从 46/54 掉到 40 到 43/54，没加速度扰动的只剩 18 到 24/54，规则的稳定性跟着种子走。论文还私下试过用 60 行预筛过的重叠样本训练一个 audio-only 逻辑回归分类器，能抓到 50/60 的 babble，但要误伤 10/270 条正常样本，所以它自己都没把这号角色放进 headline 里。

闸门本身也不是这条思路的终点。同作者同月发布的姊妹篇把问题再推一步：就算该答，这次要不要真的动用生成模型？在 VocalSound 的留出集上，完整 selector 拿到 0.925，不调用生成模型的 selector 也拿到 0.921，成对差异只有 0.004，置信区间跨过 0，生成调用没有带来统计上可检测的额外收益 生成调用审计。

图注：姊妹篇 Figure 1。横轴是生成式音频模型调用率，纵轴是 VocalSound 留出集准确率。Full selector 位置最高，但相对调用率为 0 的 no-call selector，它的成对优势区间包含 0，声学证据增益不等于必须生成调用 生成调用审计。

前置检测还有第三岔路：不挂外部的 Whisper，直接用模型自己的 attention map 抓幻觉。幻觉发生时，注意力会塌缩到音频开头，正常转写则是清晰的对角线，在语音转写任务上能把 PR-AUC 拉高 0.23 AttentionMap。外挂置信度、模型内部注意力、生成调用审计，都是"别急着答"的分支。

回到整幅地图。这道闸门不是万灵药，它是一张标了边界的图：合成测试上 0.961，真实音频上 917/1160。重叠语音、跨语种、语义不可答是它画了叉的区域。论文的诚实之处就在于把这些叉画得清清楚楚，而不是只汇报漂亮数字。对部署者来说，收获是 41% 的调用削减、约 1/10 的前端成本、不碰 backbone 就能迁移的规则。对评测者来说，它是同期唯一一篇把 selective prediction 里"拒绝作答"的传统从文本域搬进语音大模型部署链的论文 SURE-Challenge。

这张边界地图也把后面该做的事划了出来。语义不可答意味着迟早需要一个匹配层，把 prompt 的意图和音频里的内容对齐，论文明确把这块留给了后续工作。重叠语音意味着声源归属早晚要进评测，论文只评"有没有证据"，不评"是谁在说"，但产品里这两件事往往连着发生。而前置决策这条谱系本身在变宽：外挂置信度、模型内部注意力、生成调用审计，都在回答同一个更朴素的质问，模型在开口之前，有没有先想清楚自己到底听见了什么。

语音大模型的可信度，从此多了一道题：不是"答得对不对"，而是"该不该答"。前置的闸门和后置的改卷各管一段，两道题都答好，才是一份完整的答卷。

想深入可以读原文：SURE-Challenge: Evaluating Speech Evidence Before Speech-LLM Generation，arXiv:2608.27783

参考文献

• SURE-Challenge: Evaluating Speech Evidence Before Speech-LLM Generation（arXiv:2608.27783），https://arxiv.org/abs/2608.27783
• SURE: A Unified and Reproducible Experimentation Framework for Speech Understanding（arXiv:2605.30899），https://arxiv.org/abs/2605.30899
• Qwen2-Audio Technical Report（arXiv:2407.10759），https://arxiv.org/abs/2407.10759
• Robust Speech Recognition via Large-Scale Weak Supervision（Whisper，arXiv:2212.04356），https://arxiv.org/abs/2212.04356
• HalluAudio: A Comprehensive Benchmark for Hallucination Detection in Large Audio-Language Models（arXiv:2604.19300），https://arxiv.org/abs/2604.19300
• AHa-Bench: Benchmarking Audio Hallucinations in Large Audio-Language Models（项目页），https://aha-bench.github.io/
• Hallucination Benchmark for Speech Foundation Models（SHALLOW，arXiv:2510.16567），https://arxiv.org/abs/2510.16567
• Detecting Hallucinations in SpeechLLMs at Inference Time Using Attention Maps（arXiv:2604.19565），https://arxiv.org/abs/2604.19565
• WildSpeech-Bench: Benchmarking End-to-End SpeechLLMs in the Wild（arXiv:2506.21875），https://arxiv.org/abs/2506.21875
• Auditing Generative Audio Calls for Known-Task Audio-LLM Evaluation（arXiv:2608.27817），https://arxiv.org/abs/2608.27817