Gemini 长视频理解：token 少用 88%，反而更懂视频

长视频理解过去一两年的主流叙事，是上下文窗口的军备竞赛：谁能把更长的视频塞进 context window（上下文窗口），谁就更懂视频。2026 年 9 月，Google 给了个相反方向的答案。它的 agentic video understanding 让 Gemini 3.7 Flash 在长视频上 token（词元）消耗最多减少 88%、成本最多降低 66%，准确率还最高提升 7%。

三组数字一起出现不是巧合。它们都绑着「最多」「对照自家静态基线」「长视频最优」三个限定词，这个口径本身就是这篇文章的一半内容。另一半是那个反直觉的机制：为什么少看，反而更懂？

这篇文章想让你带走一个判断：长视频理解的真正瓶颈不是上下文窗口的大小，而是证据获取策略。Gemini 的突破不是把更多视频塞进上下文，而是把视频理解从一次性编码改造成按问题逐步取证。我们先把「看得越多越懂」的直觉拆穿，再把「按问题取证」的组件、证据、代价一一摆开，最后把它放回 38 年前的学术源流。

1 看得越多就越懂？固定采样双重失败：为重复付费，漏掉关键一秒

1.1 一分钟视频，一百个 token 起步

先交代默认状态。到今天为止，大多数视频模型处理输入的方式是固定采样：把视频按固定帧率抽成一张张画面，一次性编码进上下文。默认口径是 1 FPS（每秒帧数），也就是每秒取一帧画面，加上每秒 32 token 的音频。按 Google API 文档的算法，低分辨率下每秒约 100 token，高分辨率约 300 token。一小时视频，低分辨率起步就是约 36 万 token。Gemini Agentic Video

这笔账的问题不在总量，在分配。一小时的监控画面、讲座、直播回放，绝大多数帧是重复的茶几、讲台、键盘，但它们和罕见的关键帧一样按全价计费。固定采样等于默认每一秒都值得看，而视频恰恰是最不符合这个假设的数据类型。

1.2 一张图立起「看得越多越懂」的靶子

2024 年的 benchmark（基准）LongVideoBench 是这个直觉的最强代言人，而且证据分量来自它自己。这个基准有 3,763 段评测视频、6,678 道人工标注的多选题，平均时长约八分钟。它发明了一种叫 referring reasoning（引用推理）的任务：题目文本里就藏着指向视频中某个具体时刻的线索，模型要先在时间线上定位那段被指上下文，再回答关于它的问题。设计动机是破解旧基准的单帧偏差，过去的基准问题看一帧就能答，塞再多帧分数都不动。

然后是有趣的部分：这个基准自己的结论，恰恰是「看得越多越懂」的最强版本。论文摘要的原话是，模型性能只有在能处理更多帧时才提升。它发明了一个要求模型定位具体时刻的任务，自己得出的结论却是能看更多帧的模型更准。闭源模型把输入帧数从 1 加到 256，准确率一路陡升。LongVideoBench

图注：左图是 LongVideoBench 的 referring-reasoning 任务示意：紫色高亮的引用问句指向视频时间线上特定的被指上下文，模型必须先在时间线上定位、再作答。右图是帧数从 1 加到 256 的准确率曲线：闭源模型持续上升，开源模型在十几帧之后停止提升甚至退化。LongVideoBench

这张图是我们后面会反复回看的靶子：左半是任务设计，右半是它自己得出的结论。而结论内部，已经开始出现裂缝。

1.3 靶子自己裂了：塞得进，不等于看得懂

再看右 panel 的另一半：开源模型。论文自己的实验结果承认，开源模型超过 16 帧后无法再提升，Idefics2 等在 64 帧时精度严重退化。同一张图里闭源陡升、开源平掉，说明「多塞帧」的有效性不是普适规律，它依赖模型消化大量帧的能力。塞得进上下文，从来不等于看得懂。LongVideoBench

referring reasoning 落到实际题目上长什么样，看下面这张样例图。注意题目文本本身就把「该看哪个时刻」写了出来，这正是下一章「按问题取证」的抓手：问题里藏着定位线索。

图注：LongVideoBench 中 17 类 referring-reasoning 问题的样例截图，每张含视频帧或字幕行、紫色高亮的引用问句和四个选项，正确答案标绿。题目文本本身就指向视频中要关注的时刻。LongVideoBench

漏看的问题同样致命，而这次是 Google 官方自己承认的。API 文档在能力清单里写明：亚秒级的状态变化和转场，在 1 FPS 下很容易被漏掉（easily missed at 1 FPS），需要精确定位不足一秒证据的场景，默认采样天然看不见。Gemini Agentic Video

于是固定采样两头落空：为重复画面付了 token 钱，还漏掉不足一秒的关键证据。context window 再大，也改变不了这个平均分配的结构问题。既然瓶颈不是塞不塞得下，那它到底是什么？下一章给答案：不看全部，看该看的。

2 不看全部，看该看的：跨模态粗搜、定位、局部复看

2.1 黑箱长什么样：三个工具，一个开关

Google 对 agentic 模式的官方描述是：模型在 visual frames（画面）、audio（音频）、transcripts（字幕）之间动态地 search（搜索）、scan（扫描）、inspect（检视），按需加载目标片段。官方流程图把闭环画了出来：输入进入模型后，在观察与思考之间循环，直到产出输出。

图注：官方流程图：Query 进入 Gemini，在 Observation（视频画面、音频、字幕）与 Think 之间循环，最终产出 Output。循环里挂着三个内部工具：get_transcript、get_frames(start, end, fps)、get_audio(start, end)。图中的工具名是示意，不是公开的 API 端点。Gemini Agentic Video

三个工具对应三种取证动作。get_transcript 读字幕，文本最便宜，适合粗定位；get_frames(start, end, fps) 指定区间、指定帧率取画面，可以 0.5 FPS 粗看，也能在可疑窗口加密到高帧率；get_audio(start, end) 取音频，什么声音在哪一秒出现，是画面之外的第二条时间线。token 从平均分配给每一秒，变成围绕证据动态配置。

对开发者最要紧的事实是：agentic 不是默认。API 文档明确写着，视频输入默认走静态处理，也就是 1 FPS 抽帧；要开启 agentic，必须在请求里显式写 "processing": "agentic"。这是一个你能亲手拨的开关，也是「按问题取证」从概念变成产品能力的那一行配置。Gemini Agentic Video

2.2 为什么必须按问题分流

既然模型已经会搜索了，为什么还要先判断查询类型、再决定策略？Route2Look 的动机图回答了这个问题：query-agnostic 的 agent（智能体）对每个查询跑同一条固定 pipeline（流水线）。所谓 agent，就是能自主决定调用什么工具、完成多步任务的模型。前者对每条查询一视同仁，要么浪费算力，要么漏掉关键证据；而 query-adaptive 的 agent 先判断问题类型再分流，生成式与检索式两种策略按需选择。

图注：左侧 query-agnostic agent 对每条查询套用同一条固定流水线；右侧 Route2Look 做 query-adaptive 路由，根据查询类型在自顶向下生成式与自底向上检索式两种取证策略之间动态选择。Route2Look

分流与否，决定了取证是精准打击还是盲目扫射。接下来看 Route2Look 把这种分流做成了哪几个可照抄的组件。

2.3 组件蓝图：Route-Look-Memorize

Route2Look 把第 2.1 节的黑箱翻译成了开发者能照抄的组件结构。核心是 Route-Look-Memorize 循环，配三个工具：

• Global Browse：全片均匀取帧，提供全局上下文，服务全局理解类查询；
• Temporal Ground：查询里出现显式时间戳或时间区间时，在指定时间段内取帧，是不需要学习的硬规则；
• Semantic Retrieve：把视频切成不重叠的片段，用多模态编码器把 query 与每个片段编码进同一空间，按相似度排序，检索 top-K 候选再送 VLM 检视。

每一轮迭代，agent 先路由选工具，工具返回帧，VLM 检视并抽取证据，只有验证过的证据才写回记忆，然后回答一个问题：证据够了吗？够了就作答，不够就再来一轮，直到最大迭代预算。这个「够了就停」的判据，在论文的三层路由里是最深一层，叫 continue-or-stop。Route2Look

图注：Route2Look 总览。Stage 1 在演化集上对比生成式与检索式两条轨迹，把策略偏好蒸馏成可复用的路由技能；Stage 2 在推理期用硬规则、学到的技能与 continue-or-stop 判据驱动 Route-Look-Memorize 三工具循环取证据。注意推理期冻结 backbone，这不是端到端训练出来的系统。Route2Look

到这里，厂商黑箱与开源骨架对上了：你要造的证据获取闭环，大体就是三个工具加一个停止判据。但「少看还更准」目前只来自厂商自测。它是不是 Google 的孤例？下一章用两年前的学术证据来检验。

3 少看还更准，不是厂商孤例：从自测数字到两年前的先行证据

3.1 先看厂商自测，记住三个限定词

Google 在一小时级视频问答基准 1H-VideoQA 上给了一张散点图，横轴是每个查询的成本，纵轴是准确率。

图注：1H-VideoQA 上每个查询的成本与准确率散点。Gemini 3.7 Flash 开启 agentic 后落在最省钱、准确率最高的角落，其余数据点是竞品模型。底部还有一行方法论小字，说明不同模型的推理设置并不相同，这张图不能外推到所有视频任务。Gemini Agentic Video

图上位置不意外，真正要留神的是它随身携带的三个限定词：三个数字都是「最多」（up to），不是平均值；对照对象是 Google 自己的静态处理基线，不是任意第三方；增益在长视频上最明显，从 10 分钟教程到 90 分钟讲座再到多小时录像，而短视频可能要多付首 token 延迟。换句话说，88%、66%、7% 描述的是「最有利情形下相对自家老方案能省多少」，不是「这个方案全面碾压所有方法」。它只证明一件事：在自家口径内，agentic 让同一个模型的成本、token、准确率同时改善。Gemini Agentic Video

3.2 两年前的先行证据：AVUA 与 VideoAgent

如果「按问题少看帧还更准」只是 2026 年一家厂商的说法，说服力有限。学术侧早在厂商发布前就给出了同向证据，而且年代本身就有说服力：这条路先于产品被验证过，不是产品定义了路。

AVUA（Adaptive Video Understanding Agent，2024 年 10 月上 arXiv，在 NeurIPS 2024 的 MAR workshop 做 oral，不是主会论文）把当时的做法排成三栏：Naïve agent 均匀取帧全量送入；预构建记忆的 agent 在预处理阶段一次性把所有帧变成描述，推理时再检索；第三种是 query-adaptive，运行时根据问题让独立的 Sampler 建议哪些帧值得看。AVUA

图注：三种范式并排示意。左 (a) 均匀取帧全量送入 agent；中 (b) 预处理阶段建库、推理时检索；右 (c) AVUA 在运行时根据查询动态请求新帧。这是范式对比示意，不是实测曲线。AVUA

结果在 EgoSchema 上：AVUA 拿到 66.98%，帧访问量比 1 FPS 均匀采样少约 93%。注意这个「少 93%」对着的是 1 FPS 全帧数，而它在 Ego4D NLQ 上的「少 80%」是对着 agent baseline 算的，口径不同不能混用。AVUA 还配了 evaluator 和 refiner 两层反思：第一轮答案判错，就把取证策略改写得更细再来，这是「失败后重新取证」的早期形态。

同方向更早的原型是 VideoAgent（2024 年 3 月，ECCV 2024）。它把长视频问答直接建模成 agent 循环：一个文本 LLM 当中央指挥，看帧的活交给 VLM 工具，后者把每帧画面翻译成文字描述，CLIP 负责段级检索。它还给了停止判断最早的可讲版本：每轮先预测答案，再让模型自评三档置信度，够高就作答，不够就再搜。注意，这个 LLM 读到的是工具翻译好的文字，不是直接看帧。VideoAgent

图注：VideoAgent 的分工骨架：输入视频后按迭代推进，右侧是 LLM 作为中央 agent、VLM 与 CLIP 作为工具的关系。图里表达的是一种「指挥官加工具」的取证分工，也是下一章要讨论的调度开销的来源。VideoAgent

数字同样反直觉：EgoSchema 500 题子集上，VideoAgent 用平均 8.4 帧拿到 60.2%，超过均匀采样 180 帧的 59.6%。帧数少了 20 倍以上，准确率反而更高。它的置信度阈值 C 论文没给具体数值，我们也不必替它编一个。

把 2024 的这两篇和 2025-2026 的后继者放在一起看：Route2Look 用平均 202.3 帧在 LVBench 拿到 75.4%，而对照方法吃下 8,074 帧只有 74.2%；VideoBrain 更进一步做成端到端，让 VLM 自己看初始帧、自己判断信息够不够、再决定是否调用采样工具，在四个长视频基准上拿到 3.5 到 9 个百分点的提升，同时削减 30% 到 40% 的帧。方向一致，代际不同。Route2Look　VideoBrain

这不是一次产品发布的孤例，而是一个被多方独立验证过的范式。但另一面是：范式有效不等于免费。下一章拆它的代价。

4 取证不是免费的：延迟、级联漏检与不能外推的 88%

4.1 「证据够了」，怎么被机器判断：熵门控

第 2 章的 continue-or-stop 只是一个存在性判据，「够了」具体怎么算，是另一件事。EcoFrame 给出的答案是把判断交给 VLM 自己。每轮把一组低预算帧喂给 VLM，它同时产出三样东西：答案、输出熵、逐帧 attention（注意力，模型看帧时把权重放在哪里）。熵，就是模型对自己答案分布有多不确定。熵低于阈值，说明答案已经集中，证据够了，作答；熵偏高，把帧预算翻倍再试一轮；同时用 attention 指出下一轮该去哪几个时间段加密采样。停止判断从一句口号，变成了一个可计算的程序。EcoFrame

图注：EcoFrame 总览。从低预算输入帧集出发，VLM 一次前向同时给出答案、输出熵和逐帧 attention。熵决定退出或扩张预算，attention 指导候选池扩张，相关性度量与时间覆盖再重建下一轮的输入帧集。注意这条流程里没有独立的 agent 循环。EcoFrame

每多跑一轮循环，就多一次 VLM 前向的开销，停止判断越准，这笔账就越省。这正是下一小节要算的账。

4.2 agent 闭环不便宜：调度的代价

停止判断做成了，代价也跟着来。EcoFrame 在论文里把三种范式摆在一起对比，并给前两类下了判词：静态方法预算和候选池固定，没法按每个查询的证据需求调整；agentic 方法靠多轮推理换来适应性，但这种多轮 VLM 推理和迭代搜索引入了可观的调度开销。注意它否定的不是「按问题取证」这个方向，而是「用昂贵迭代推理实现它」的方式。EcoFrame

图注：三种帧选择范式。左侧是静态方法（uniform、AKS、BOLT、FOCUS），右侧是基于 agent 的方法（VideoAgent、A.I.R.），中间是 EcoFrame，用 VLM 自身的熵与 attention 做调度，而不是外挂一个 agent。EcoFrame

量化的账是这样：同样三个基准、同样最大 32 帧预算，agent 类方法 A.I.R. 平均每个查询要 20 到 30 秒，EcoFrame 约 2 秒，两者延迟差最高约 13.5 倍；而对 AKS、BOLT 这类静态方法，EcoFrame 是 1.79 到 1.89 倍加速。两个倍数口径不同，一个对 agent，一个对静态，不能混着说。Google 那边也承认，五分钟以内的短片上 agentic 的首 token 延迟会略增，因为生成前要先做几轮工具往返。更值得注意的是，EcoFrame 的对照基线是学术 baseline，和 Google 的自家静态基线不是一回事，两边的数字不能互相背书。EcoFrame

4.3 级联漏检：第一批就错过，后面全白做

比延迟更隐蔽的代价，是选择本身的不可回退。FOCUS 指出，几乎所有现有关键帧选择方法都依赖一个前置步骤：先把视频下采样到 1 FPS 左右再打分。为什么不直接对全片打分？因为一小时 30 FPS 的视频有约十万帧，全跑一遍视觉编码器是 10 的 11 到 12 次方次浮点运算，实践中不可行。但降采样本身就破坏了目标：最有信息量的那一两秒，完全可能落在被丢掉的 29/30 帧里。先粗扫再细挑的两阶段结构，第一批选错就回不来了。FOCUS

图注：FOCUS 把视频时间轴切成等长片段作为候选臂，用乐观置信上界先粗扫全片、选出有希望的片段，再在入选片段内细选关键帧。左半是分块示意，右半是粗扫、细挑、选帧的流程。FOCUS

图注：上下两行对照：上行是均匀采样落帧位置，下行是 FOCUS 选帧位置，黄星是人工标注的对查询最有信息量的帧。均匀采样行的黄星经常与所选帧错开，说明固定采样错过关键时刻不是偶然。黄星只标信息量，不代表答案正确。FOCUS

VideoBrain 的失败分析给出了同方向的旁证：70 个手工标注的失败案例里，采样区间不准占 54.3%，该探索的时段没探索占 17.1%。先定位后复看，定位一错，复看全白做。同一篇论文还报告了 reward hacking 的工程陷阱：早期方法给任何工具调用都发正奖励，模型就学会无脑调 agent；修正办法是把样本分成「初始帧就够」「需要调用」「能力差距」三类，分段给奖励。VideoBrain

选择阶段本身也要算账：同一个 H100 80GB 上，不做预过滤的对照方法在 LongVideoBench 上要约 255 GPU 小时才能跑完选择，实践中不可行；加了预过滤是 9.3 小时；FOCUS 是 5.5 小时。这是一笔选择阶段的算力账，和 agent 推理的延迟不是同一个量纲，别混成一笔。

4.4 88% 不能外推

最后回到口径。88%、66%、7% 是「最多」、对照自家静态基线、长视频最优情形，公开材料没有充分披露各基准的评测配置，也没有第三方独立复现。更关键的前提是：这套机制要求先有一个明确的问题，你总得先有 query 才能谈「按 query 取证」。对无明确查询的视频摘要、全量内容审计这类任务，它天然不适用。落地之前，请按你自己的查询分布和视频内容重新校准：重复画面多不多？问题有没有明确的指向时刻？延迟预算撑不撑得住多轮往返？Gemini Agentic Video

机制、证据、代价都讲完了，但有一个追问还没回答：如果「按问题取证」是 2026 年才想明白的方案，那 38 年前的人在做什么？下一章的答案是：答案早就写好了。

5 38 年前的答案：主动感知，长视频只是第一个被重写的模态

5.1 1988 年的原文

1988 年，Ruzena Bajcsy 在 Proceedings of the IEEE 发表那篇奠定学科的《Active Perception》。开篇第一段批评的，正是第 1 章拆的那种做法：「过去和现在的大多数机器感知工作，都是对被动采样数据的静态分析。」然后她写下那句被引用了几十年的话：「感知不是被动的，而是主动的。感知活动是探索、试探、搜寻；感知不是像雨落在地上那样落在传感器上。我们不只是看见，我们去看（we do not just see, we look）。」Bajcsy 1988

她把问题重新定义成「智能数据获取」：主动感知是应用于数据获取过程的控制策略，而策略取决于数据解释的当前状态和任务目标。那句话翻译成 2026 年的语汇，就是：先定位、再取证、看够了就停。而她批评的「被动采样数据的静态分析」，正是我们已经拆完的 1 FPS 全量编码。38 年过去，长视频模型一度重新回到了原地，再借产品发布绕回来。

5.2 2018 年，作者们自己把它操作化

2018 年，Bajcsy 与 Aloimonos、Tsotsos 在《Revisiting Active Perception》里给了主动感知一个可操作的定义：「一个 agent 是主动感知者，当它知道自己为何要感知，然后选择感知什么，并决定如何、何时、何地去完成那次感知。」注意，这句出自 2018 年的 revisit，不是 1988 年的原文。这五个问号，就是所谓的主动感知五要素（active pentuple）。Revisiting Active Perception

图注：主动感知的学术源流三格流转。第一格「1988 宣言」：摄像头从被动摄入均匀帧流，转向主动转动视线凝视目标，我们不只是看见，我们去看。第二格「2018 五要素」：中央的主动感知 agent 环绕着为何、何物、如何、何时、何地五个节点。第三格「2026 取证」：带问题的视频模型在时间轴上对少数片段加密采样，其余近乎留白，按需取证据。

这张图把我们前面四章的所有机制放回同一个坐标：Route2Look 的三工具在回答「看什么、怎么看」，它的路由在回答「为何」；EcoFrame 的熵门在回答「何时停」，attention 引导的候选在回答「下一处看哪里」。长视频 agent 没有发明新东西，它是在用 VLM 工具调用，实现 38 年前就写好的框架。

5.3 长视频只是第一个被重写的模态

2026 年 6 月的综述 Watch, Remember, Reason 把这条演进压缩成一句话：领域正从均匀采样，转向更自适应、更具查询感知的效率机制。这不是个别论文的自说自话，而是一条已经持续了两年的趋势。Watch-Remember-Reason

图注：综述的全景坐标。右侧是 Watch–Remember–Reason 三栏分类树：Watch 下挂细粒度定位、字幕生成、音视频感知与高效处理，Remember 下挂离线与流式记忆，Reason 下挂纯文本推理与带视频的推理。本专题讲的按问题取证，落在高效处理与记忆、推理的交叉位置。这张图只用来定位，不代表某一栏胜过另一栏。Watch-Remember-Reason

收个尾。长视频是第一个被「按问题取证」重写的模态，但不会是最后一个。对做 RAG 和 agent 的开发者来说，这个判断可以直接迁移到自己的系统：检索策略应该是问题驱动的，而不是全量索引的；检索循环应该能自己决定何时停，而不是固定 Top-K。下一轮能力竞赛点，不在上下文窗口的大小，在证据调度与停止判断。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Introducing Agentic Video in Gemini（Google 官方博客，2026-09）— blog.google；配套 API 文档 ai.google.dev/gemini-api/docs/video-understanding
2. LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding（Wu et al., 2024）— arXiv:2407.15754
3. Routing Before Looking: Query-Adaptive Evidence Acquisition for Long-form Video Understanding（Route2Look，arXiv:2608.20805）— arXiv:2608.20805
4. When and Where to Look: Adaptive Visual Evidence Scheduling for Efficient Long Video Understanding（EcoFrame，arXiv:2608.03918）— arXiv:2608.03918
5. Adaptive Video Understanding Agent: Enhancing efficiency with dynamic frame sampling and feedback-driven reasoning（AVUA，Jeoung et al., 2024）— arXiv:2410.20252
6. VideoAgent: Long-form Video Understanding with Large Language Model as Agent（Wang et al., ECCV 2024）— arXiv:2403.10517
7. Watch, Remember, Reason: Human-View Video Understanding with MLLMs（综述，arXiv:2606.07433）— arXiv:2606.07433
8. VideoBrain: Learning Adaptive Frame Sampling for Long Video Understanding（arXiv:2602.04094）— arXiv:2602.04094
9. FOCUS: Efficient Keyframe Selection for Long Video Understanding（arXiv:2510.27280）— arXiv:2510.27280
10. Bajcsy, R., "Active Perception"，Proceedings of the IEEE, Vol. 76, No. 8, 1988 — UPenn Repository；Bajcsy, R., Aloimonos, Y., Tsotsos, J., "Revisiting Active Perception"，Autonomous Robots 42(2), 2018 — PMC