BloomBloom
发起研究

Gander：AI 助手怎么才能既能秒回、又能深想？

你对着手机说：帮我订明早去上海的机票，等下，先查一下明天的天气再定。话音还没落，助手已经把听到的第一句当成完整指令执行了。你提高音量喊了一句等一下，没有用。它的麦克风在你开口那一刻就关掉了，要等你把话说完，等它把整段回答讲完，才轮到你的下一句。用过语音助手的人几乎都经历过这个瞬间。

这个别扭不是调校问题，是范式问题。今天绝大多数语音助手仍是轮次式（turn-based）的产物：外部 VAD 判断你"说完了"，ASR 把你的话转成文字，LLM 生成回答，TTS 念出来，四个模块像流水线一样依次开工，一条线走完才开下一条。可真人协作根本不是这个节奏。我们会抢话、会打断、会在对方讲话时嗯嗯啊啊地附和，会几个人同时在场，会一边做事一边随口改主意。论文把这套能力叫全双工交互（full-duplex），也就是双方都能同时开口、随时打断，而不是轮流发言。

腾讯混元语音团队联合浙江大学、上海交通大学发表的 Gander 技术报告，开篇就抛出了两个根本问题。第一，交互性能不能靠 VAD、ASR 这类外部模块拼出来，还是必须内生在模型本身。第二，同一个模型能不能同时做到低延迟响应和长链条的智能体推理。整篇报告都是对这两个问题的回答。Gander

Gander 想支持的真实行为，项目页把它画成了一张图：

图注：项目页横幅把 Gander 的能力画成中央助手周围的五个模块：边看屏幕边聊、边聊边干活的异步任务、附和与打断、多人会话加抗噪、主动视觉提醒，底部挂着 LIVE INTERACTION 与 ASYNCHRONOUS EXECUTION 两个标签。Gander 项目页

注意这张图只能说明它想支持什么，是营销性质的示意，不能拿它佐证任何性能。论文自己的 Figure 1 则把同一组行为画成更生活化的四格：交代多步骤任务、说到一半被用户打断、旁边有人在聊天、模型主动提醒你注意画面里的东西。正文要回答的，正是开头那两个问题。

把"同时听和说"变成显式建模目标，最早是 Kyutai 实验室 2024 年的 Moshi。Moshi

图注：Moshi 的双流总览。左侧是 user 流，右侧是 Moshi 自己的流，各自从下到上排布文本、语义与声学 token，中间的 Temporal Transformer 在每个时间步同时预测两条流，整张图没有任何回合边界。Moshi

Moshi 让 user 和模型各占一条并行的 token 流，两条流共享同一个自回归时刻，谁都不用等谁说完。它是纯语音模型，还没有视频，但"不靠外部 VAD、没有 turn 边界"这条范式第一次被讲清楚了。到 2026 年，这已经是工业共识：字节的 SeedRealtime 在同年 8 月发布并已在豆包全量上线，明确把 turn-taking 决策从外部 VAD 规则移回模型内部。SeedRealtime相比之下，GPT-4o 的 Advanced Voice Mode 仍按轮次运作，这也是 Gander 论文把它当作级联范式代表来对比的原因之一。GPT-4o

一问一答不是设计选择，是范式缺陷。真正的对话允许打断、允许两个人同时开口。而全双工只解决了一半问题，另一半更硬：就算模型能一边听一边说，它能不能一边说、一边深想？

既要秒回、又要深想：一个模型干不了，那就拆两个

真人协作里有一个动作，轮次式助手永远学不会：改口。话说一半被对方打断，没关系，重新组织；一边听一边改主意，没关系，随时补一句。可轮次式助手撑不住这个。外部 VAD 判断你"说完了"，ASR 把你的话转成文字，LLM 生成回答，TTS 念出来，四个模块像流水线一样依次开工，一条线走完才开下一条。你要在它开口时插一句"等等，先查天气"，它已经把刚才那句话执行完了，你的补充只能排队到下一轮。顺着这个局面往下追问，两个问题被直接顶到台面上：判断"现在该不该开口"，还能不能靠 VAD、ASR 这类外部模块拼出来，还是必须内生在模型本身？就算模型真能一边听一边说，同一个模型又怎么可能既要秒回不冷场、又要沉下心想完一件要查几十个网页的活儿？Gander

先看第一个问题有多难。真人对话里"该你接话"的窗口只有几百毫秒，超过就冷场，甚至被对方当成交谈结束。而深想类任务恰恰相反：查几十个网页、写一段代码、对比三套方案，要跑好几分钟，中途还要调工具、看反馈。生成式模型又是一字一字串行吐字的，想得越深，吐的 token 越多，延迟越大。把两件事塞进同一个模型，结局只有两种：要么为了保住响应速度而只肯浅想，要么为了让用户等得起而牺牲深度。这是论文眼中"一个模型同时干不了"的结构性矛盾。Gander

Gander 的答案直白得像解剖学：拆成小脑和大脑。这个命名可以理解成借了生物分工的类比：小脑管不假思索的快速协调，大脑管需要盘算的慢思考。两者各干各的，谁也不阻塞谁。

图注：Gander 三件套总览。左端是前端小脑，负责实时的用户交互；右端是后端大脑，负责复杂推理与长时程工作流执行；中间的 agent orchestration runtime 作为协调层，用户侧的语音、视觉与工具调用从左端进入。Gander

前端小脑（front cerebellum）是一个实时的全双工多模态模型，直接面对用户，负责低延迟的持续感知与对话。后端大脑（back brain）是一个通用任务执行 agent，论文直接拿 Codex、Claude Code 这类现成系统来实例化，不需要为 Gander 做任何任务训练，因此叫训练无关（training-free）。夹在中间的 agent orchestration runtime 是协调层，同时管理实时多模态推理和后台异步任务的编排。三件套各司其职：小脑接住用户，大脑干重活，运行时管交接。Gander

这个解耦判断不只是研究侧的。2026 年 7 月，OpenAI 在商业产品侧做了同一个决定：GPT-Live 让语音模型走 WebRTC 专用快通道，需要深层推理的问题则异步委派给 GPT-5.5，委派期间它继续跟你聊。两条同构却完全独立的工程路径，一个闭源产品，一个开源研究。GPT-Live

但拆开只是第一步。小脑自己凭什么能做到每秒都在听、每秒都在决定说不说？答案藏在它的内部结构里。

每秒一个 chunk：小脑凭什么边听边想边说

把对话想象成一份逐秒分镜的剧本。编剧每写一秒，都先落一个动作指令：这一秒是继续收音、开口说话、还是打断对方，然后才写这一秒的台词。Gander 的小脑就是这样工作的，只是它把每秒听到的声音、看到的画面和自己说出的话，全部写成同一种东西：token。

小脑内部采用 Thinker-Talker 结构。上游的 Thinker 负责想，输出文本 token；下游的 Talker 负责说，把文本变成流式语音。这个双模块设计最早来自 Qwen2.5-Omni，Gander 继承它，并把真正的新东西加在了两者之间：一套 chunk 级的有序 token 流。Qwen2.5-Omni

先看输入一侧怎么压缩。视觉上，每一帧画面被切成若干小块，逐块送进 SigLIP 编码，再用 query-based resampler 压成每块少量视觉 token，相比原始 patch 网格大约压缩 16 倍。音频上，一个流式逐块的语音编码器每秒产出约 50 帧，再被轻量 MLP 以 5 倍降采样，最终以大约每秒 10 个音频 token 的速率进入主干。压完以后，模型把连续交互切成固定的一秒窗口，每个窗口组装成一个 chunk。一个 chunk 就是四样东西按顺序压平成的统一序列：这一秒看到的视觉 token、这一秒听到的音频 token、一个控制 token、以及模型这一秒选择吐出的 N 个文本 token，N 由模型自己决定，可以为零。Gander

图注：前端小脑的详细架构。视觉与音频编码器把每秒输入压成少量 token，与一个控制 token、若干个文本 token 拼成一个 chunk 喂给 LLM，模型用滑动窗口只保留最近 128 个 chunk。注意这张图只画了小脑，不包含后端大脑。Gander

最关键的是那个控制 token，它只有三个取值：listen 表示这一秒只听不说，是纯感知 chunk；speak 表示承诺开口，后续内容 token 才真正生成语音；interrupt 表示打断自己正在说的话。论文特别强调预测顺序：先预测这个离散的控制决策，再生成任何内容。这等于把"要不要说话"和"说什么"拆成了两步，模型不必在同一个预测里同时赌两件事，全双工行为因此稳定得多。Gander

把这套机制放回一个具体瞬间：你正在听它介绍拍摄场地，突然插了一句"等等，预算超了"。模型原本正生成一个 speak chunk 的内容，新音频一到，下一个 chunk 的顶部先预测出 interrupt，把嘴闭上；紧接着的 chunk 预测 listen，把你的新话吸收进上下文；听完再决定下一个 speak 说什么。整个循环每秒走一次，而上下文被滑动窗口限制在 128 个 chunk，也就是大约两分钟的滚动记忆，轻量到能持续流式运行。

这条设计线的来路也很清楚。Gander 的底座是 MiniCPM-o 4.5，后者提出的 Omni-Flow 已经用时间分片把交互切成 1 秒 chunk，并用 Listen、Speak 两类控制信号决定开口时机。Gander 站在同一层抽象上，把控制信号扩成 listen、speak、interrupt 三类，并让它们作为 chunk 内与视觉、音频并列的自回归预测目标。MiniCPM-o

语音生成这一侧也有讲究。Thinker 的 LLM 始终待在文本域，只负责输出文本 token，语音由轻量的语音 token 解码器加一个流式 flow-matching 解码器按 chunk 逐段渲染成波形，因此说话过程不会被整体卡住。论文还支持零样本音色克隆：把一段参考音频放进多模态 system prompt，模型就能用这个音色开口。Gander

把听、看、说压成一条每秒一块的统一 token 流，全双工才可能端到端训练，小脑才能在两分钟视野里逐秒决定进退。但它有个天花板：它的上下文只有大约两分钟，擅长接住对话，不擅长把一件要干十分钟的活儿从头做到尾。这类活儿它怎么交出去？

小脑搞不定的活儿交给大脑，中间发生了什么

你对助手说：帮我整理一份上海周边适合拍短片的场地清单，按交通和预算排序，弄完念给我听。小脑听完这句话就明白，这不是闲聊能覆盖的，要读几十个网页、反复比较。它不会硬撑，而是发出一个结构化工具调用 task_start，把这段音频的转写文本连同视频的最后几帧一起打包，在后台开一个新任务，交给大脑去跑。Gander

任务开跑之后，对话并没有停。你补一句"预算控制在两万以内"，小脑发出 task_send，走 main 通道把新要求并入正在执行的主任务。你随口问"你查到第几个了"，又不想让这句闲话打断主任务，于是它发出 task_send 的 fork 通道，开一条只读旁路去查状态，主任务纹丝不动。大脑准备执行敏感动作，比如下单、写文件、删东西，这时 task_resolve 登场，四个取值决定命运：cancel 取消任务，allow_once 只放行这一次，allow_session 本次会话都放行，deny 直接拒绝。这套一问一授权的动态过程，论文画成了一张时序图：Gander

图注：小脑与大脑的委派时序示例。任务事件 T1、T2、T3 沿时间轴展开，两侧之间流动着 task_start、task_send 和 task_resolve 等委派调用，示意用户在大脑执行期间随时改口、随时查进度。Gander

这些任务状态不是散落在两边各记各的，而是由编排运行时里的 Gateway 落地成五个持久实体：Project、Task、Run、WorkerEvent、Delivery，相当于给每次委托都建了一份档案。控制上分 lean 与 coordinator 两种模式。lean 由小脑直接路由，控制路径最短、附加延迟最低；coordinator 则在中间插入一个独立的控制平面模型，只产出声明式的执行计划，规定推理强度、追问策略、授权策略和结果投递方式，自己绝不碰文件、shell 与网络资源。Gander

大脑的"训练无关"还有一层工程含义。Gander 发布时默认接的是现成的 Codex，通过 codex app-server 以标准输入输出方式启动，同时把大脑做成 provider 注册表：任何注册进去的 agent，比如 Claude Code，都能直接替换 Codex，不必改动小脑的任务协议或 Gateway 的状态机。Gander 项目页

论文还给小脑与大脑的协作配了三个运行时接口：context_fetch 取当前任务状态与产物，memory_search 检索跨会话记忆，share 把核实过的结论送回小脑。大脑交回结果后，由小脑总结成面向口语的最终回答，而不是照搬文本完成任务的话术。Gander

这正是 Gander 与"语音模型后面拼一个后端 LLM"这类拼装产品最本质的区别。后者的后端是外挂，前者的后端是体系内的一等公民，可以热插拔。OpenAI 在 GPT-Live 的工程博客里写过同一句话的产品版：音频永远在专用快通道上流动，委派、工具调用都发生在异步 RPC 边界之后，一个慢工具只能延迟它自己的结果，卡不住媒体流。GPT-Live

结构讲完，可以看出来，交互的命脉始终握在小脑手里：要不要追问、要不要授权、大脑的结果怎么用口语说出来，都是小脑的决策。接下来让数字说话。

四场考试看 Gander：全双工确实第一，短板也摆在那

论文从四个维度考了 Gander：对话、全模态理解、交互、智能体委派。看表之前先钉一条边界：表中所有 Gander 的数字，都是论文自报的单 checkpoint 内部评测，不是第三方独立验证；baseline 数字则来自各基准自己的发布口径。

维度与指标Gander（论文自报）怎么读
对话：SpokenQALlama-Q 75.60，Web-Q 59.309B 全双工组第一，把 Moshi 甩开约 13 到 33 分；但仍落后轮次式的 Baichuan-Omni-1.5（78.50）2.90、Qwen2.5-Omni-7B（62.80）3.50
全模态理解：WorldSense / Daily-Omni49.62 / 78.53相对底座 MiniCPM-o 4.5（55.70 / 80.20）分别退步 6.08、落后 1.67
交互：Full-Duplex-Bench v3Turn-taking 100.0 并列第一，Interrupt 8.0 表内最佳，Filler 51.6 表内最差打断处理全场最好，插话时机却是全场最差
委派智能：任务准确率纯大脑行 ToolSel 0.934，全表最高大脑本身不是瓶颈

先讲好消息。交互这一项是 Gander 最硬的成绩：Interrupt 分数越低越好，它拿到的 8.0 好过 GPT-Realtime 的 13.5；Turn-taking 的 100.0 与级联管线并列第一。注意这里的含金量差异：级联管线的 turn-taking 决策被外部 VAD 代劳了，等于开卷考试，而 Gander 必须在无人提醒的情况下自己决定何时开口、何时闭嘴，还能拿并列第一，说明全双工路线真的 work。委派那行更有意思：去掉小脑、只让大脑看文本输入的纯大脑行，任务准确率是全表最高，论文用这一行论证大脑本身不是短板，短板只可能在小脑与大脑的衔接上。Gander

再讲短板，论文没有藏。Filler 51.6 是全场最差，代表系统在不该出声时出声的比例。论文把它论证为委派结构的结构性代价：任务已经交给大脑去跑，等待期间的小脑不知道该不该插话，因此它更像委派架构的固有属性，而不是单纯的节奏缺陷。理解这一项也要打个折：WorldSense 相比底座退步 6.08 分，论文解释是因为视觉塔被冻结，且交互训练语料里大量是无关视觉干扰，反而教会了模型忽略视觉事件。还有一条必须知道的边界：对话考试里，后端大脑在全部 2052 个 SpokenQA 样本上一个都没被调用，也就是说对话分数是纯小脑成绩，一点没沾大脑的光。Gander

第三组数字对应模态消融。论文把同时给音视频、只给视频、只给音频三种输入的成绩摆在一起：

指标音视频 AV仅视频仅音频融合增益
WorldSense49.6244.6143.32+5.01
Daily-Omni78.5359.4057.81+19.13
总体57.5448.6647.29+8.88

融合增益的定义是音视频成绩减去两条单模态中较好的一条。在这两项基准上，AV 输入都比最佳单模态更高，Daily-Omni 的增益接近 20 分，说明同时支持两种输入带来了互补的任务表现；仅凭这组消融，还不能判定模型内部究竟如何融合两种模态。Gander

这组评测还有一个方法论背景：Gander 论文明说目前没有面向 Omni Interaction Agent 的专用基准，因此它沿用 GPT-4o 与 GPT-Live 的做法，在既有基准上报数，并配项目页 demo；评分时还调用 GPT-4o 当裁判，Full-Duplex-Bench 里也保留了一行 Whisper 加 GPT-4o 加 TTS 的级联对照。GPT-4o

四场考试合起来是一张有取舍的脸。真全双工约束下它是表内第一，证明路线成立；全模态理解被底座天花板拖住，因为它只是从 MiniCPM-o 4.5 初始化来的 9B 模型；而长时程任务和统一场景，至今还没有任何 benchmark 真正测过。最后这条缺口，正好把话头交给收尾。

方向已经收敛，坑还没填完：Gander 把行业带到了哪

先看 Gander 交出了什么。它不是只发论文：HuggingFace 上放出 Gander-Omni 与 Gander 两套权重，代码仓库以 Apache-2.0 开源，训练数据则标注 Coming soon，发布当天并未放出。想本地复现，Quick Start 要求三张物理 GPU 分别跑 Thinker、Talker 和 ASR，再配一个经过认证的 Codex CLI。Gander 项目页

把 Gander 放进这条两年时间线，它的位置会自己说话：

图注：实时语音与全模态交互方向的代表节点按时间排开，箭头只表示时间先后与思路接力，不表示代码级继承。AuK 与 Gander 同月同团队，属于相邻方向，不作对比基线。

每个节点都把"实时交互"往前推了一步。Moshi 证明语音对话可以没有回合边界；Qwen2.5-Omni 把思路扩到音视频并开源；MiniCPM-o 4.5 用时间分片把全双工变成可端到端训练的统一流；GPT-Live 与 SeedRealtime 在商业侧分别验证了"语音快路加异步委派"和原生音视频全双工两条产品路线。同期腾讯混元还投了语音生成方向的 AuK，说明这个领域在 2026 年 9 月依然热闹。AuK

Gander 真正往前走的那一步，是把可热插拔的后端大脑和编排运行时内化进同一套开源系统。你拿到的不是一个会说话的模型，而是一套完整系统：小脑会说话，大脑会干活，中间有人管任务的来龙去脉。这与 GPT-Live 在产品侧用闭源闭环做的事情，是同一件事的两条独立路径。

论文自己列了五条没填完的坑。第一条是数据和模型规模，团队明说后续 scaling 会在工业基础模型 Hy-Realtime 上做，Hy-Realtime 是混元既有的工业代号，也是 Gander 抗干扰与多人训练数据的供体，不是 Gander 的别名。第二条是稳定的后训练，Gander 还没有针对长时程场景做过 on-policy distillation 或强化学习，奖励设计、信用分配都还悬着。第三条是小脑与大脑的通信，目前主要靠 ASR 转写信号单向传递，论文希望未来有更丰富、结构化的双向通道。第四条是长期记忆，全模态历史、工具调用、演进中的任务状态叠加在一起，现有上下文机制撑不住。第五条是评测，现有基准把理解、双工交互、智能体执行分开考，缺一个能同时考"会聊、会看、会打断、会干活"的统一框架。Gander

这五条坑在工业侧已经有人开始填了。字节的 Seeduplex 已在豆包全量上线，官方报告称 endpoint 延迟减少约 250 毫秒、复杂场景下 AI 抢话率下降 40%；SeedRealtime 上线时官方称对话节奏问题相比级联模型减半。也就是说，Gander 自陈的噪声、多人、主动提醒这些真实场景，工业产品上已经能量化，而 Gander 本身还停留在开源技术报告加项目页 demo 的阶段。SeeduplexSeedRealtime

多条工程路线显示这套拆分具备可行性和产业动能，但全双工与长时程智能体结合后的统一价值仍缺独立、端到端评测，真正的疑问全在规模化。谁先把数据、后训练、双向通信和统一评测的坑填上，谁就能把"边聊边干活"从 demo 变成默认。两年前我们还在问 AI 能不能别等我把话说完，今天的 Gander 已经把下一个问题摆上了台面：说完之后，它能不能一边跟你聊、一边把活干完。

参考文献

Gander：AI 助手怎么才能既能秒回、又能深想？