OmniAssistBench：为让助手评测可打分，先牺牲了交互的自由
66.4 分，第一名 Gemini-3-Pro 在这场考试里的总分，及格线划在 60。考试由 OmniAssistBench 出题，它是一个专门评测助手的 benchmark（基准）：十一个当下最强的全模态模型戴上耳机，屏幕上播着一段视频，一个真人用户的声音从耳机里传来，一边描述自己的处境，一边等模型带他把事情办成。最强的也只能到这个分数，问题出在模型，还是出在量模型的那把尺子？
66.4 分为什么需要一把新尺子？看模型跌倒的位置就明白了。它们几乎都能看明白画面里在发生什么，却读不懂用户的一个手势、记不住三分钟前定下的目标、拿不准自己该不该开口。这些"以为早就会了"的能力，恰恰是实时助手能不能用的关键。
旧尺子为什么量不出这个分数？先看它怎么出题。它就是业界用来证明助手称职的最顺手办法：让模型看视频、答选择题。Video-MME 是这套办法里 2024 年最有代表性的基准：900 段视频、2700 道封闭多选，时长从 11 秒到 1 小时，覆盖 6 大领域 30 个子类 Video-MME。题目由人工完整看完视频后撰写，模型从四个选项里挑一个，输出和标准答案逐字比对就算过关，不需要任何外部裁判 Video-MME。这套办法本身没有错，它测的是"理解"。可今天要考的主角是 Omni-LLM（全模态大语言模型），指既能看图看视频、也能听懂语音、还能开口回答的模型。过去两年这类模型进展飞快，从能聊、能听，到能实时看着摄像头画面陪你做饭，各家厂商都在宣传自己的"实时陪伴助手"。一个会引导用户的助手，需要的远不止理解。
图注：论文开篇的三种范式对比。左图是传统视频问答，模型答完题，下一段视频原封不动；中图是助手式交互，同一个目标分叉成两条合法回答路线，但评测数据只录了其中一条的后续视频；右图是论文的解法，从视频内容提炼固定流程当先验，要求模型沿这条路线引导用户 OmniAssistBench。
路径矛盾也在逼着 66.4 分换一把新尺子：助手的回答会改变用户下一步做什么，而录好的视频只有一个分支，这正是中图里同一个目标分叉成两条合法路线时的问题。想象你正在修自行车链条，模型让你"先把后轮卸下来"，你照做了，接下来镜头里的画面就和模型没说这句话时完全不同。静态数据集一旦生成，就永远装不下"模型的行为反过来改变输入流"这件事。要评一个会引导你的助手，而不是一台答题机，需要的不是更大的题库，而是一套新的评测范式。
图注：Video-MME 的统计总览。左半是 6 大主领域的覆盖（知识、影视、体育、艺术表演、生活记录、多语言），往下细分 30 个子类；右上是短、中、长三档视频时长分布，右下是感知、推理、信息整合三类题型占比 Video-MME。
66.4 分需要一把新尺子，根子在两套基准的答案生成方式。Video-MME 的正确答案在录制时就已定型，与模型说过什么无关。OmniAssistBench 的正确答案取决于前一轮交互走到了哪里。评测对象从"内容理解"换成了"行为引导"，这正是范式跳跃的全部含义。看懂视频不等于会当助手，这句话不是修辞，而是评测设计上的一道硬墙。
同一杯咖啡有一百种做法，评测只认一条
先把 66.4 分摆回台面。最扎眼的不是模型看不懂画面：它们几乎都能看明白视频里在发生什么，却读不懂用户的一个手势、记不住三分钟前定下的目标、拿不准自己该不该开口。这些失败为什么连最强的模型也躲不开？要解释它们，先回到旧尺子。所谓旧尺子，就是前面介绍的那套静态视频问答：看视频、答选择题，Video-MME 是它最有代表性的一个 Video-MME。旧尺子解释不了这 66.4 分，因为两道死锁让它连"交互题"都出不出来。
第一道死锁：交互路径发散。同一个目标，达成的方式五花八门。做一杯拿铁，先打奶泡再萃浓缩是对的，先萃浓缩再打奶泡也完全合法，助手选哪条都能帮用户喝上咖啡。可评测数据集要提前录好视频，只能沿一条路线录。模型选了另一条路，数据集里就没有对应的后续画面，它的表现无从比对，分数自然不可比。旧尺子正是这样出题的：正确答案在录制时就已定型，跟模型前一轮说过什么毫无关系，路径选择这种题它天然出不出来。
图注：项目页版的范式对比图。中图里同一个用户目标分叉成两条响应，先做咖啡或先打奶泡，两条都合法，但灰色虚线加红叉标记的那条路径在数据集中没有对应的视频可用 项目页。
红叉就是路径发散问题的具象：模型回答会改变视频流的后续内容，而离线数据集只有一条分支。这正是"静态数据装不下交互"的精确含义，也是旧尺子永远考不到交互决策的底层原因。
第二道死锁：拿什么素材出题。要评测助手，理想的素材是真人对着模型多轮对话、完成任务的录像。OmniAssistBench 在设计时就把一个判断写进前提：真实的人机交互视频非常稀少（论文原文是 rare）OmniAssistBench。最接近的参照是 VITA-1.5。VITA-1.5 用于训练的数据没有任何一项来自真实人机交互视频：11000 小时语音-转写对和 3000 小时文本-语音对，据论文所述分别为内部 ASR 语料与 TTS 生成数据，并非现成的公开语料 VITA-1.5。这里要划清界线：VITA-1.5 只是佐证，不是论据。"素材稀缺"不是从任何一家模型的训练语料里归纳出来的，而是论文在设计时自己写下的前提。旧尺子靠现成视频出题，偏偏这类素材没有现成的可挖，这条路在起点就断了。
两道死锁逼出一个不浪漫的解法。OmniAssistBench 的团队手动筛选"剧情本身决定固定流程"的视频，比如烹饪、手工艺这类必须按步骤进行的操作，从视频内容里反推出标准操作流程，把它当作先验知识写进评测协议，要求所有模型沿同一条路线引导用户 OmniAssistBench。旧尺子出不了的题，只能由新尺子自己来出。
这笔账要摊开看。得的一面：路径固定，模型表现可重复、可打分，评分协议才成立，否则两个模型走了两条不同的路，分数根本没法放进同一张榜。失的一面：评测里交互的开放性被主动砍掉，模型只有"沿这条路走对"和"走错"两种结局，没有"走自己的路"这个选项。为了可比性牺牲交互自由，这是全文第一笔必须记住的账。
数据从哪来：把互联网视频逆向改造成多轮交互
判定一个助手合不合格，前提是有一个"正确的样子"可以对照，所以要先造答案，再造题目。正常的造数据流程是：录人机对话，再从对话里摘题目。OmniAssistBench 把它倒了过来。先从 YouTube 等现成视频里挑"动作本身讲了一个固定流程"的素材，反推出画面里的人正在实现什么目标，再把镜头按交互轮次剪开，给每一段配上一问一答。论文把这套思路称为逆向工程，因为它是从动作的结果还原动作的意图，而不是从意图去拍摄动作。
数据生产管线分四步。第一步，场景设计与视频收集。真人专家和强模型一起头脑风暴出场景清单，再从 YouTube 和动作、教学、情绪类数据集里挑原始素材，个别情节实在找不到的，就自己拍几段。第二步，QA 设计。为每段素材写一句 Ground Truth（标准答案），再配 1 到 3 个 Key Points（关键点），防止评分只认一句话、把逻辑等价的不同说法误判为错。第三步，视频剪辑与提示嵌入。把问题用 TTS 转成语音、压平音量后嵌到片段结尾，手势和手写动作用 PiP（画中画）插进画面，用户目标做成屏幕字幕，非时序视频统一剪到 30 到 180 秒、约 1080p 分辨率。第四步，质量复核。用 Gemini-3-Pro 把样本读一遍，如果它的输出与标准答案措辞不同但逻辑正确，人工就把这种说法补录为 alternative reference（备选答案）OmniAssistBench。
图注：论文的四阶段数据构造管线，以多任务追踪为例。从左到右依次是场景设计与视频收集、QA 设计（标准答案句加 1 到 3 个关键点）、剪辑与提示嵌入（TTS 音频、画中画手势、字幕目标）、生成式模型质量复核。图下方是论文该图的说明文字：精心设计用户目标与重度视频剪辑，令人类劳动难以被基于 MLLM 的自动化管线替代（make it difficult to replace human labor with MLLM-based automatic pipeline）OmniAssistBench。
代价有多重？论文直接给了两个数字：整个基准累计投入 1000 多个专家工时；一个多轮交互样本，需要这一领域的教授级标注员花大约 4 小时来完成 OmniAssistBench。
图注：项目页版的同一条管线，标注了每个步骤谁在干活。第一步 Human expert 与 LLM 一起头脑风暴场景并收集原始视频，第二步产出用户目标与 QA 清单，第三步做剪辑和提示嵌入，第四步由 Omni-LLM 补充措辞不同但逻辑正确的备选答案 项目页。
你可能会问，为什么不用多模态模型自动标注？论文的回答很直接：任务针对的是字幕和描述会丢掉的非显著细节，高级用户的意图无法仅从字幕推导出来，而 TTS、字幕、手势画中画这些剪辑工作本身就是手工活 OmniAssistBench。VITA-1.5 的训练数据也全部依赖合成，这一例恰好与论文所述的素材稀缺相呼应 VITA-1.5。这份评测数据不是模型的副产品，而是人工重构的产物，四个字的"逆向工程"背后是不可压缩的人力成本。
66 分在考什么：两层任务体系与三个极限场景
OmniAssistBench 不是靠做选择题拿分。它把"当助手"拆成两层任务体系。Basic 层（基础交互理解）测单轮感知，共四类：社交感知、时间感知、指代感知、非音频提示跟随，其中非音频提示跟随专门考手势和屏幕文字这类不说话的命令。Advanced 层（进阶交互理解）测多轮交互，共三类：上下文感知响应、主动响应、流程追踪。两层往下拆出 16 个子任务，比如手势提示跟随（GPF）、OCR 提示跟随（OPF）、单事件触发响应（SER）、多任务追踪（MT）OmniAssistBench。
图注：任务体系的同心圆图。内圈是 7 大类任务，颜色区分 Basic 与 Advanced 两层；外圈是对应的 16 个子任务缩写，最外侧是三个真实世界案例。结构即论文所述：7 大类 16 子任务 3 案例 OmniAssistBench。
这套分类不是从抽象能力清单凭空编的。项目页把设计来源讲得更清楚：任务是从真实应用场景反推出来的。会议助理要能边看视频边记笔记，抽出要点、总结、行动项和决策；烹饪助手要盯着锅台的流程一路提示到出锅；视障辅助要能听懂语音指令、看懂手绘地图、带人穿过办公室。场景在前，能力分类在后 项目页。
图注：从应用场景逆推到能力框架。左侧是会议助理、烹饪助手、视障辅助三个真实应用及其界面摘录，中间箭头把场景需求归纳成能力，右侧落成 OmniAssistBench 的两层任务框架 项目页。
场景化走到极限，就是三个特意新拍的"真实世界案例"。会议模拟：12 人圆桌、20 分钟的视频，用户一边看一边让 AI 抽要点，三个案例平均约 15 轮交互；视障引导：用户假装盲人，靠一张手绘地图让助手带自己在办公室里走动，有人进门时要主动播报；手工艺追踪：三个人合作做手工，助手要分辨哪些问题是问它的、哪些是用户之间闲聊，还要盯住离开画面的小物件 OmniAssistBench。这些案例把主动、时机、多轮记忆全部压在一起，是最接近真实助手的考法。
评分协议也随之换血。没有标准答案选择题，测试时模型拿到的就是嵌好字幕、语音和画中画提示的视频本身，不再附加文本指令 项目页。系统提示要求它判断不该回应时，就输出 [KEEP QUIET] 保持沉默。打分交给 LLM-as-a-Judge，也就是让另一个大模型当裁判，由 GPT-5 按 0 到 5 级评分表从三个维度给分：准确与完整度（对照标准答案句和关键点看语义是否覆盖）、冗余度（复述废话扣分）、沉默遵从（该安静时说了话扣分）。分数归一化到 100 分，60 分是有效阈值，上下文塞满后用 FIFO（先入先出）截断最旧的内容 OmniAssistBench。
一个模型在 OmniAssistBench 上的得分，不是选择题正确率，而是"该不该说、什么时候说、怎么说、还记得不记得"这些交互能力的结构化成绩单。
最好也只有 66.4：顶尖模型栽在四个坑里
11 个模型全部跑完，排行榜长这样 项目页。
| 排名 | 模型 | 参数量 | Basic | Advanced | Real Cases | 总分 |
|---|---|---|---|---|---|---|
| 1 | Gemini-3-Pro | – | 63.6 | 68.2 | 68.0 | 66.4 |
| 2 | Gemini-2.5-Pro | – | 65.4 | 66.4 | 44.8 | 64.6 |
| 3 | Doubao-Seed-2.0-lite | – | 53.2 | 62.1 | 35.5 | 57.3 |
| 4 | MiMo-V2-Omni | – | 53.6 | 55.2 | 41.0 | 53.8 |
| 5 | Qwen3.5-Omni-Plus | – | 41.6 | 57.8 | 50.6 | 51.6 |
| 6 | Qwen3-Omni-Instruct | 30B-A3B | 46.4 | 53.8 | 53.8 | 51.2 |
| 7 | MiniCPM-o-4.5 | 9B | 44.6 | 47.8 | 37.8 | 46.0 |
| 8 | Baichuan-Omni-1.5 | 7B | 45.0 | 41.8 | 44.8 | 43.2 |
| 9 | Qwen2.5-Omni | 7B | 37.0 | 46.6 | 45.2 | 43.2 |
| 10 | MiniCPM-o-2.6 | 8B | 41.8 | 40.2 | 31.2 | 40.2 |
| 11 | VITA-1.5 | 7B | 24.6 | 25.8 | 14.6 | 24.6 |
读这张表，三组对比最值得拿出来讲。第一组是闭源与开源的分界。最上面四家是闭源模型，从 MiMo-V2-Omni 的 53.8 到 Gemini-3-Pro 的 66.4，第五名 Qwen3.5-Omni-Plus 是介于闭源与开源之间的 API 模型；开源第一名 Qwen3-Omni-Instruct 拿到 51.2，与 Gemini-3-Pro 相差 15.2 分 OmniAssistBench。这个差距不是"差一点点"，而是几乎跨了一个档位。
第二组对比藏在 Gemini 自家。Gemini-2.5-Pro 在 Basic 层以 65.4 反超 Gemini-3-Pro 的 63.6，但一到真实案例层就跌到 44.8，落后 23.2 分 项目页。单轮感知的差距已经很小，真实多轮场景才是真正的分水岭。第三组看代际：Qwen2.5-Omni 到 Qwen3-Omni-Instruct 是同一家族的一代之差，总分从 43.2 升到 51.2，正好 8 分。Qwen3-Omni 的技术报告提到，它把 Thinker-Talker 双塔架构升级成 MoE，用从 2000 万小时音频训练的 AuT 编码器替换旧前端 Qwen3-Omni。这类架构描述为这一代的得分变化提供了可能的设计背景，论文并没有把它当作这 8 分差距的因果归因 Qwen2.5-Omni。
分数之外，更要紧的是错误谱。论文把失败模式归成四类，四类的共性值得点破：这些失败常表现为模型理解到了部分线索，却仍作出了不合适的回应。
第一，手势提示跟随。评测协议提前把"这个手势对应这个命令"的映射表交给模型，它仍然无视手势、照自己的理解作答 OmniAssistBench。开源模型在这个子任务上表现普遍糟糕，除 Baichuan-Omni-1.5（43.2 分）外，其余全部低于 35 分 项目页。第二，长时记忆。1fps 采样下，32k 上下文大约两分钟就装满，MiniCPM-o-2.6 能装约 380 秒的视频，Qwen 家族每帧 token 更重，只能撑约 80 秒，多轮流程追踪根本跑不完 OmniAssistBench。
第三，延迟响应。要求等待时模型抢答，输入静默时它复述背景语音。反直觉的佐证来自模态消融：去掉背景语音后，模型的主动响应得分反而上升，说明背景语音对它们是干扰源而不是线索 OmniAssistBench。第四，跨轮目标丢失。用户目标只在第一轮出现，后面每轮都是新画面，模型到第三四轮就忘了最初任务，退化成给最新画面写解说词 OmniAssistBench。VITA-1.5 在流程追踪的几个子任务上几乎全栈垫底，与它榜尾 24.6 的总分一致 项目页。
一个对照最能说明问题。据官方技术报告自报，MiniCPM-o-4.5 是首个开源全双工 Omni-LLM，并把持续监听与约 1Hz 的主动决策写进了架构（自报，尚无第三方独立核验）；流式工程上它走在前列，但没有因此在主动响应类任务上表现出明显优势，总分 46.0 仍在中游 MiniCPM-o 4.5。它上一代 MiniCPM-o-2.6 曾是 StreamingBench 上开源阵营最佳，但那测的是静态流式理解，换到多轮主动交互只剩 40.2 分 MiniCPM-o。这一对照尚未显示流式工程会自动带来主动响应上的优势。提示交互决策这一环值得单独放进评测里考察，但单凭一个模型的前后代对照，还不足以断言瓶颈已经确定出在工程之外。
那分数可信吗？论文用三个裁判互校：GPT-5、GLM-5、DeepSeek-v3.2 两两打分，Pearson 相关性都高于 0.75（论文原话为接近或超过 0.8）OmniAssistBench。裁判之间大致一致，但开放评分的固有主观性没有消失。两组消融继续给结论定性。把前一轮的模型输出换成标准答案做 teacher forcing（教师强制），总分只有小幅提升，因为模型学的是标准答案的简洁风格，而不是把答案和视频内容连起来；把 1080p 降到 360p 能换约 50 秒额外上下文，整体收益不显著 OmniAssistBench。
为可比性付的账，值不值
把账摊开算。得的一面：这份基准第一次在排行榜规模上把"该不该说、什么时候说、怎么说"变成可量化维度，四种此前在视频问答里永远测不出来的失败模式被摆上台面。失的一面：预定义路径让评测只能测"沿一条路走对"，测不到真正灵活的引导；开放作答依赖 LLM 裁判，0.75 到 0.8 的相关性说明主观性仍在；300 段视频、685 道 QA 的规模不算大，1000 多个专家工时的标注成本又无法扩展 OmniAssistBench。
| 得到 | 付出 |
|---|---|
| 11 个顶尖模型第一次同榜接受交互决策评测 | 模型只能沿预定义路线引导，测不出灵活应变 |
| 手势、记忆、时机、目标保持四类失败模式被显化 | 开放式评分依赖 LLM 裁判，主观性仍在 |
| 300 视频 685 QA，覆盖 7 大类 16 子任务 3 案例 | 数据规模有限，1000 专家工时成本不可扩展 |
放回评测谱系，能看清这一步跨了多远。同一个团队从 2024 年的 Video-MME 静态问答基准做到 2026 年的交互助手基准，评测对象完成了一次代际跃迁，两篇的团队里都有 Chaoyou Fu Video-MME。同期还有别的路线在向"动态"靠拢：EgoSafetyBench 把自我中心视频切成 0.5 秒的流式片段，让模型以安全守卫的身份逐段判断画面里的动作是否危险，还要防被场景里反常识的印刷文字带偏 EgoSafetyBench。两个基准都放弃了静态问答，但焦点不同：OmniAssistBench 盯的是对话轮次，EgoSafetyBench 盯的是时间粒度，分数不能直接比。这两项同期工作显示，动态化评测正出现不同尝试，只是助手型和守卫型各走各的路。
所以这份 1000 专家工时的基准值不值，取决于你愿意为可比性牺牲多少交互的真实性。如果只想每隔几个月给各家助手排个名，固定路径是必要条件；如果想知道一个助手能不能在你临时改主意时随机应变，这条路还差得远。OmniAssistBench 的价值不在给出最终答案，而在第一次把交互决策变成可以打分、可以对照、可以争论的公共问题。模型读不懂手势、记不住目标、管不住嘴，这些从前只能靠体感吐槽的毛病，如今有了数字。
想深入可以读原文：OmniAssistBench: Assistant-style Interaction Benchmark for Omni-LLMs — arXiv:2608.21360
参考文献
- OmniAssistBench 原始论文：OmniAssistBench: Assistant-style Interaction Benchmark for Omni-LLMs (arXiv:2608.21360, 2026-08)
- OmniAssistBench 项目页：官方项目页，含 leaderboard、子任务表与管线图
- Video-MME：Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis (arXiv:2405.21075)
- Qwen3-Omni：Qwen3-Omni Technical Report (arXiv:2509.17765)
- MiniCPM-o 官方仓库：OpenBMB 官方 README 与模型卡
- VITA-1.5：VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction (arXiv:2501.01957)
- Qwen2.5-Omni：Qwen2.5-Omni Technical Report (arXiv:2503.20215)
- EgoSafetyBench：EgoSafetyBench: A Diagnostic Egocentric Video Benchmark for Evaluating Embodied VLMs as Runtime Safety Guards (arXiv:2607.00218)
- MiniCPM-o 4.5：MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction (arXiv:2604.27393)