BloomBloom
发起研究

VākQA：Telugu 口语问答基准——答得没错，逐字比对却判 0 分

8300 万人在说 Telugu，口语问答却是空白？

先看一场评分现场。问题问的是"印度哪些地区常受气旋袭击"，参考答案写着"东海岸地区"，而候选答案一口气列出了安得拉邦、奥里萨邦、西孟加拉邦、泰米尔纳德邦四个具体邦。这份答案比参考答案更详细，每一个字都正确。可逐字比对的评分器给了它 0 分，因为它和参考答案一个词都对不上。这不是某个模型的偶然失误，而是 VākQA 这篇论文要正面处理的核心矛盾的第一次露面：在 Telugu 这种低资源语言的口语问答上，"怎么判分"可能比"怎么答题"更靠不住。逐字评分为何会失灵？原因不止一层，得一层层拆。这场"答对却得 0 分"的评分，也请先记在账上，后面讲评测的那一章，它还会再次登场。

第一层原因压在 Telugu 这门语言本身。Telugu 是印度安得拉邦与特伦甘纳邦的官方语言，属于达罗毗荼语系，和英语、印地语所属的印欧语系完全不同源，词序、形态、底层音系都差得很远。按 2011 年人口普查口径，它有约 8300 万 L1 母语者，再算上第二语言使用者，总计约一亿人，是世界上母语人口排第十四的语言 Telugu 语言。差距里最关键的是形态：Telugu 的词形随格、数、时态层层变化，同一个意思可以有好几种合法写法，字面上也许一个共同词都不剩。逐字评分只认词面，等于要求答题者恰好押中原版。语言结构本身就不给这套指标留活路，这是难题的前一半。

这套缺陷为什么拖到 2026 年才暴露？因为在此之前，Telugu 口语问答连一个可供评分的基准都没有，逐字评分从来没被真正检验过。文本这条线倒是热闹过。2022 年 ICON 会议发表的 TeQuAD 数据集把 SQuAD 翻译成 82,605 条 Telugu 文本问答三元组，用 mBERT 微调后 F1 达到 83%，证明 Telugu 的文本问答完全能做到 TeQuAD。2020 年 Google 的 TyDi QA 覆盖 11 种类型学多样的语言，Telugu 也在其中，核心方法是让母语者提问、拒绝翻译派生 TyDi QA。2018 年的 Spoken SQuAD 则用 TTS 把英语 SQuAD 念成音频，趟出了口语问答的路。三条线忙的都是"Telugu 能不能答"，判分则沿用从文本问答借来的逐字比对，谁也没停下来问一句：这套指标在 Telugu 上站得住脚吗？

第二层原因在"口语"这道入口：它把表面差异成倍放大。文本问答把问题打字给你，口语问答要你先从一段真人语音里把问题听出来、转成文字、再去找答案。对 Telugu 这种语音资源稀缺的语言来说，测试这道门槛的基准直到 2026 年才出现。VākQA 就是来补这块拼图的：一亿人在说的语言，第一次有了真人录音的口语问答测试集。可语音入口给逐字评分添了新的麻烦：听错一个音，词面就换一套；再经翻译转一道手，说法又变一次。逐字比对在只讲形态的文本问答里尚且要碰运气，如今还要跨过听写和翻译两层改写，几乎必然错杀答对的答案。这正是难题偏要卡在口语这一侧的原因：文本问答的缺口 2022 年就补上了，口语这一侧连测试的门都没有，判分靠不靠得住，从来没人量过。

那为什么非现在解决不可？没有 benchmark，各系统在 Telugu 上的好坏就只能靠人工抽查，成本高到不可持续，也没法横向比较。论文在摘要里把动机说得很直白：大模型让问答能力飞速进步，但主要惠及高资源语言，低资源语言在文本和语音两个维度上都缺测试工具。VākQA 想补的，正是低资源语言这一端缺失的尺子。可造出尺子的第一件事，就是发现尺子本身没准：判分靠逐字比对，而在 Telugu 的形态变化与口语改写的双重夹击下，逐字比对给出的分数根本不能当作"答对没有"的证据。语言形态让它先天失灵，口语入口让它彻底失控，基准的缺席又让这一切从未被检验，三层原因叠在一起，逐字评分就成了 VākQA 绕不过去的难题。至于怎么解决，得先有一块能测的拼图，那是下一章的事了。

怎么把 YouTube 答题节目，变成 2,001 对可检验的问答？

VākQA 的数据不走"翻译 SQuAD"的老路，而是直接去 YouTube 找 Telugu 问答类节目。选的是题库型视频，内容按六个领域梳理：常识、科学、地理、历史、政治、文化。主持人先用 Telugu 念出问题、随后报出答案，天然就是一对问答，问答之间还有清晰的语音边界。整个构建流水线分三段：资源采集、半自动 QA 提取、人工核验与翻译。

VākQA 构建流水线

图注：论文 Fig 1 的半自动基准构建流水线。下排主流程：资源采集与预处理 → 半自动 QA 提取（浅蓝高亮）→ 人工核验与翻译（右侧四个人形图标）→ 产出 VākQA。虚线连向上排虚线框，把第二段放大成三个子步骤：VAD 分块 → ASR 转写合并 → QA 提取与音频对齐。VākQA

第二步的"半自动"是这条流水线的精髓，机器做粗活、人来把关。先用语音活动检测把长视频切成 7 秒一块的小段，相邻两块有 2 秒重叠，这样主持人的一句话不会被拦腰截断。每块交给一个在 Telugu 上微调过的 Seamless-large-v2 模型转写成文字，这一步叫 ASR，即自动语音识别。再把小块转写合并成整段文本，交给 Gemini 从中逐字提取问答对。提取出的问题还要和音频精确对齐，做法是用 Whisper-timestamped 和 IndicWhisper 分别拿到每个词的精细时间戳，通过模糊匹配把问题文本定位到音频里对应的位置，相似度不低于 85% 才算匹配成功。最后五位标注者逐条核验转写是否忠实于音频，再把全部问答对翻译成英语，得到 Telugu 和 English 双语版本。

自己动手微调 ASR 这一步有个关键前提：训练数据从哪来。VākQA 用的约 900 小时多源混合语料里，IndicVoices 是印度本土真人语音的主力来源之一，覆盖印度宪法第八附表的全部 22 种语言 IndicVoices。转写与翻译的骨干则是 Meta 的多语种语音-文本模型 Seamless 家族 SeamlessM4T。

最终的数字是：2,001 对问答、2.53 小时音频、平均每段音频只有 4.55 秒、Telugu 问题平均 7.2 个词、答案平均只有 2.4 个词，科学类占比 27% 最高 VākQA。值得一提的还有 14 条长描述性答案，6 条 Telugu、8 条英文，明知道会拖累逐字比对指标，论文还是原样保留，因为删掉它们等于把真实的难度藏起来。规模不大，但每一句都是真人说的，不是 TTS 念出来的。这个取舍决定了基准测的是"真实口语"而不是"念出来的文本"，也让它与 2018 年 Spoken SQuAD 的合成路线划清界限。数据集公开发布在 Hugging Face。基准有了，下一个问题立刻浮出来：怎么判断模型答对没有？

答案错了，该怪听错、译错，还是模型本身？

先摆出评测链路。要让一个模型回答 Telugu 语音提问，眼下没有开箱即用的开放权重 Telugu 语音问答模型，所以主流路线是级联：先 ASR 把语音转成 Telugu 文字，再经过机器翻译变成英文，最后交给文本问答模型答题。三段串起来，每一段都可能出错，而且错误会往下游传导，逐层放大。

十一种输入配置构成了这个坐标系的刻度，可以逐组数一遍：S1 只有一种，把原始语音直接喂给模型；O1 和 O2 两种"正解文本"，分别给 Telugu 原文与英语译文，都是人工转录的原文；A1、A2 两种，是 Seamless FT 与 IndicWhisper 两套 ASR 的转写产物；O3、O4 两种，是正解 Telugu 文本分别经两种机器翻译得到的英文；M1 到 M4 四种，是两种 ASR 与两种翻译配成的完整级联。五组加起来正好十一种。模型覆盖也要一句说清，省得读者回头猜表格：除 S1 仅 Gemini 一家外，O1/O3/O4 三种配置覆盖全部 8 个模型，O2 仍只有 Gemini，A1/A2 只测了 5 个模型，M1–M4 只测了 6 个模型。8 个模型里，专有的是 Gemini-2.5-Flash，开放权重阵营是 Gemma-3 的 4B/12B/27B 三档、Llama-3.1-8B、Hex-1、Sarvam-m、Qwen-3-4B。Gemini-2.5-Flash 既能吃语音也能吃文字，是唯一能在 S1 上评测的选手，其余七个模型只能吃文本。

这套设计的逻辑，可以拿传话游戏来理解。一排人把一句话悄悄往后传，最后一个人复述出来的意思常常面目全非。VākQA 的问法更讲究：把传话链条里某一棒偷偷换成"没听错、原话照转"的人，其他棒照常出错。如果换掉之后最后结果明显变好，失真源就定位在那一棒；如果没变化，说明那一棒本来就不是瓶颈。传话游戏只能问"谁传错了"，VākQA 能精确回答"错在哪一段"。有了这把钥匙，结果表的任何一格都能读懂。比如 O3 配置下 Gemma-3-12B 那一格，得分 2.28，指的是正解 Telugu 文本经 Seamless MT 翻成英文、再由 Gemma-3-12B 答题的分数。

级联会出问题并不是新鲜事。2018 年的 Spoken SQuAD 用 TTS 合成英语语音测过一遍：字错误率 22.77% 的转写，把五个 SQuAD 模型的平均 F1 从 75.42% 打到 55.4%，掉了近 20 个百分点，论文自己称之为灾难性影响 Spoken SQuAD。VākQA 把同一套范式搬到了 Telugu 上。剩下一个没解决的前提：答案对不对，到底由谁来判？

论文为此立了一个人工真值标准：抽 100 道 Telugu 问题，4 个模型各答一遍，凑成 400 个三元组，每组含问题、参考答案与候选答案，交给 5 位 Telugu 母语者按 1 到 5 分打分。剔除 20 个标注者完全分歧的样本后，评分一致性 Krippendorff α 达到 0.836，属于强一致。这个真值不是拿来直接用的，而是拿来检验四族自动评分器的：

评分器输入输出
人工评分问题、参考答案、候选答案1–5 分（真值标准）
EM / token F1候选答案与参考答案逐字比对命中率，0–1
BLASER-2.0多语种句向量语义相似度1–5 分
LLM-as-a-judge大模型按同一套评分标准打分1–5 分

这里埋着两颗雷。EM 是 Exact Match，两串文字完全一致才算对；token F1 记的是词级重合率。这两路都靠逐字比对，在 Telugu 这种形态丰富的语言上，正确答案完全可能一个字都对不上参考答案。BLASER-2.0 是 Meta 团队的多语种句子嵌入指标，号称覆盖 202 种文本语言、57 种语音语言 BLASER 2.0，不依赖字符串匹配，看起来温和一些，但它自己也得和人比一比。至于让 LLM 当裁判，最灵活，可裁判本身也要被检验。四台自动裁判，谁最像人？

让 LLM 当裁判：最像人的裁判，也有偏心

论文把四族自动裁判全部拉到人工评分面前，用斯皮尔曼等级相关系数 ρ 衡量"它和人有多像"。结果层次分明：Gemini 的 ρ=0.86 最像人，但它整体偏严，平均误差 ME 为 −0.28，而且严格得不均匀，对低分答案宽松、对高分答案苛刻；Gemma-3-12B 的 ρ=0.81 紧随其后，却系统性偏高，ME=+0.34，给分普遍虚高；Gemma-3-27B 的 ρ=0.80，偏差几乎为零；最迷你的 Gemma-3-4B 只有 ρ=0.57，散布最大。再看逐字类和句子嵌入类的表现：EM 的 ρ 只有 0.37，token F1 是 0.49，BLASER-2.0 是 0.36，三者没有一个超过 0.5。换句话说，只看 EM、token F1 和 BLASER 这三类非 LLM 指标，你根本分不清答案好坏；能和人接近的，恰恰是 LLM 裁判这一族。

四位 LLM 裁判的 Bland-Altman 图

图注：论文 Fig 2 的四位 LLM 裁判 Bland-Altman 图。每块面板对应一位裁判：横轴为人工平均分（1–5），纵轴为裁判分减人工分，虚线标出平均偏差与 ±1.96 SD 一致性界限。Gemini 的散布带最窄，Gemma-3-4B 最宽。VākQA

这张图把"裁判有偏心"从一行数字变成可见的形状。横轴是人工平均分，纵轴是裁判分减人工分，差值落在零线附近的点越多，裁判越像人；两条虚线夹出的带子越窄，裁判打分越稳定。四块面板扫过去，Gemini 的带最窄，Gemma-3-4B 的最宽，Gemma-3-12B 的整条带明显抬在零线上方，对应它的系统性虚高。这类偏差在业界是已知的结构性问题，LLM-as-judge 的系统综述归纳过位置偏见、篇幅偏见、过度自信偏见等一整套分类，根子在大模型的训练数据与 token 解码机制本身 LLMs-as-Judges。

裁判的偏心不是抽象概念，论文给了两个具体例子。气旋题里，候选答案列出四个具体邦，比参考答案更详细，EM/F1 判 0 分，句子嵌入指标 BLASER-2.0 也只给 2.43，只是因为它和参考答案的词面重合度太低。更有意思的是第二例：问题问世界气象日是哪天，参考答案写作"March twenty-three"（二十三日），候选答案写作"March 23"（23 日），内容完全一样，只是写法不同，Gemini 给 5 分，Gemma-3-12B 给 1 分。两个裁判对同一个答案的判罚差了 4 分，全因为表面形式。

裁判的选择会直接改写基准的结论。论文做了一组裁判互相替代的实验：把主裁判从 Gemini 换成 Gemma-3-12B，46.23% 的候选答案得分变差，只有 21.14% 变好，32.63% 不变。也就是说，换一个裁判，近一半候选答案的评分都会发生变动，而且变动里更多是变差，不是变好。主裁判由此定为 Gemini，下一章表格里的得分全部出自它的评判。"非均匀严格"的后果也在这里显形：本应拉开差距的答案被挤进一个更窄的分段，细粒度的比较失真，这正是论文把它写进局限清单的原因。裁判定了，模型的真实水平又是多少？下一章用这套裁判跑完全部九种输入配置。

四层失真现形：语言、语音、级联、领域各崩多少

拿到裁判，论文把 Gemini 在十一种输入配置下的得分摆到一起。这些配置不是随意的数字矩阵，而是四组对照臂，每一对比较都只动一个变量，好把某一层失真的贡献单独量出来。看语言，O1 与 O2 都是人工转录的正解文本，唯一区别是 Telugu 还是英语，Gemini 分别得 3.63 与 3.52，母语输入略胜。看模态，同样在 Telugu 这一侧，Gemini 改用原始语音输入（S1）后得 3.28，比人工转录的 Telugu 正解文本（O1）低 0.35 分，显示语音输入带来损失。看翻译，让输入保持英文不变，人工正解译文（O2）值 3.52，换成机器翻译的产物（O3）只剩 2.74，接近 0.8 分砸在翻译质量上，换一套翻译引擎（O4）得 3.05，说明这一层还看引擎脸色。最后把听写与翻译两道失真同时打开，完整级联 M1 到 M4 只剩 2.44 到 2.80。每一对对照，论文都配了一个能复述的微故事。

输入语言这一层，E3 记录了一个案例。问题问"我国第一颗人造卫星是什么"，Telugu 里"mana"（我们的）天然把范围圈定在印度，模型答 Aryabhata，印度第一颗卫星的名字。翻成英语后，"our"变成全世界的"我们"，同一个模型答出 Sputnik，苏联第一颗卫星。同一个问题，两种语言，两个答案。配对统计显示，把 Telugu 换成英语输入后，18.8% 的答案变差，只换来 16.5% 变好。但语言这件事对不同模型并不一视同仁。开放权重模型拿不到 Gemini 那道正解英文文本的对照，它们的英文输入全部要经过机器翻译，而 Gemma-3-12B 在经机器翻译的英文输入下（O3）反而从 O1 的 2.01 涨到 2.28，开放模型阵营绝大多数也是这个方向。不过这条比较不是只改语言的匹配对照，英文版本里还掺着翻译的重写与出错，所以它只能说明机器翻译后的英文输入对它们更友好，不能据此归因于英语训练，更不能推广成它们在一切英文输入下都更强。

输入模态这一层，E4 更直观。问特伦甘纳邦的邦果是什么，正解文本轻松答出"芒果"。改成语音输入后，模型把"paṁdu"（水果）听成了发音相近的"paṁḍuga"（节日），于是顺着答出邦果节 Bathukamma。听错一个词，整道题的语义都变了。配对统计同样扎眼：换成语音输入后 21.2% 的答案变差，只有 13.1% 变好。转写质量本身就不理想，Seamless FT 的字错误率 WER 高达 30.25%，相当于十个词里错三个。

级联这一层，E5 展示了最典型的溃败。问题问一种由真菌引起的皮肤感染，ASR 把关键词 ringworm 误识成发音相近的另一个词，问题随即变得毫无意义，模型答出"热"而不是"真菌"。2018 年 Spoken SQuAD 量化过的"ASR 错一字、问答崩整道"的模式，在 Telugu 上原样复现。

输入端之外还有一层，模型代差。Gemini 在 O1 得 3.63，开放权重里最好的 Gemma-3-27B 只有 2.55，Gemma-3-12B 是 2.01，Sarvam-m 是 1.98，其余全部在 1.5 以下。差距大到不能只怪模型参数少，专有与开放权重之间的鸿沟清清楚楚：

O1 配置下的领域蜘蛛图

图注：论文 Fig 3，O1（Telugu 正解文本输入）下 8 个问答模型按 6 个领域平均得分的蜘蛛图，六条轴依次为常识、科学、地理、历史、政治、文化。Gemini 的折线包在多边形最外圈，开放权重模型的折线聚在里圈，文化轴上的差距最为突出。VākQA

把六个领域单独切片，文化类最扎眼。Gemini 在文化类上 O1 得分 3.76，是所有领域里的最高分；可一旦经过机器翻译，文化类崩得最狠，跌到 2.42，译文把文化细节抹掉了。地理类最稳，翻译后仍有 2.94，地名天生能跨语言转移。科学类偶尔因祸得福：Telugu 提问时模型答"地质学"，翻成英语后反而冒出更专业的"pedology"，也就是土壤学。而真人语音保留了一个独特优势：问《梨俱吠陀》里的"Kulapa"是什么意思，Telugu 语言本身带着文化线索，模型直接答对"一家之主"。

还要补一个论文承认的评估空白：S1 这一行只有 Gemini 一家的数字，因为当时没有开放权重的 Telugu 语音问答模型。看完整张表，结论很硬：输入端的每一层失真都会被下游放大，听错一个词、译文丢一块文化信息，答案就彻底跑偏。这是单个模型调参救不回来的结构性问题。

数据有了，为什么瓶颈却留在了评估？

数一数 VākQA 干了三件事：建出并公开了第一个 Telugu 口语问答基准，含 2,001 对真人录音与双语转写；把 LLM 当裁判的可靠性量化成具体数字；系统性切开语言、模态、模型规模、专有与开放权重、级联误差、领域六刀做故障模式研究。它同时承认三条局限：视频来源的音频只能忠实翻译、不能改写，注释歧义会带进数据，E3 的"mana"就是这么来的；Gemini 裁判的非均匀严格限制了细粒度比较，高分答案之间的差距被压平；部分科学与地理类的参考答案用了英文音译，裁判对 Telugu 原生写法是否一视同仁，没有评估。

三贡献对三局限，这篇论文最有价值的产出恰恰不是"多了一个数据集"，而是把"评估本身不可靠"这件事在一种低资源语言上量成了看得见的数字。数据会越攒越多，可如果判分本身就靠不住，再多的数据也只能测出一堆自相矛盾的分数。

把这条线放回历史里更有分量。2018 年 Spoken SQuAD 用 TTS 把文本念出来做基准。2025 年 SpokenNativQA 在阿拉伯语（L1）和英语（L2）上坚持真人录音，33,081 条样本覆盖 18 个文化主题 SpokenNativQA。2026 年 VākQA 把这条路线落到 Telugu 上，呼应着 TyDi QA 和 TeQuAD 一路走来的文本问答积累。口语基准正在从"把文本念出来"走向"让真人真的发问"，VākQA 不是孤例，而是这条路线落到低资源语言上的第一块拼图。不过这条路线还远没走完：真人录音基准目前只覆盖个别语言，VākQA 的 2,001 对提问也只是一个小样本，数据覆盖与规模扩展依然是并行推进的任务，谈不上"只是时间问题"。

可以带走的一句话是：VākQA 用数字证明，评估可靠性是当前仍未解决的关键瓶颈之一。低资源语言的语音问答，判分靠不靠得住，是和答题能力一样绕不过去的坎，人类得先回答"怎么判断模型答对了"这个更基本的问题。难的是守住"分数可信"这条底线。论文的三条局限指向同一个方向：翻译要忠实，裁判要校准，参考答案要原生。下一步的活儿，评估端要修，数据端也得继续铺。

想深入可以读原文：VākQA: A Benchmark and Evaluation Study for Telugu Spoken Factoid Question Answering — arXiv:2609.19879

参考文献

VākQA：Telugu 口语问答基准——答得没错，逐字比对却判 0 分