国内大厂合并多模态团队:一次组织事件背后的技术判断与路径跟随
2026 年 6 月到 8 月的三个月里,腾讯、字节、阿里先后把多模态团队并入基座模型部。表面看这是三家公司的独立决策,往深里看,三件事压在同一个六周窗口里集中爆发,背后是技术判断、组织惯性、商业化压力三条线在同一时间窗叠加共振的结果。
本专题要回答的核心问题是:「多模态只是 LLM 加一个头」这个判断,是怎么在大规模迭代和 Agent 化趋势下陆续失效的?以及,为什么国内大厂在同一时间窗做出几乎相同的组织选择?
六周三连击:腾讯 / 字节 / 阿里的组织收束到底改了什么
先把读者放进事件现场。2026 年 Q2 到 Q3 三个月内,三家国内一线大厂完成了一轮高度一致的「多模态并入基座模型」动作,密度和方向都值得记一笔。
阿里最早动手,且密度最大。3 月 16 日,阿里成立 Alibaba Token Hub(ATH)事业群,把通义实验室、MaaS 业务线、千问事业部、悟空事业部、AI 创新事业部五大板块整合到一个事业群里,由集团 CEO 吴泳铭直接掌舵。ATH 的官方目标被概括为三句话:「创造 Token、输送 Token、应用 Token」Alibaba Token Hub. 4 月 8 日(另有口径写 4 月初),阿里成立集团技术委员会,吴泳铭任组长,核心班底是周靖人、吴泽明、李飞飞三个阿里核心技术高管;同步把通义实验室升级为通义大模型事业部,从阿里云二级部门跃升为与云、电商平级的一级单元,汇报链条砍掉三层。6 月 8 日是第三次动刀:通义大模型事业部与未来生活实验室合并,成立 Token Foundry 事业部(词元工厂),吴泳铭亲自挂帅;原通义负责人周靖人升任阿里巴巴首席科学家,转去牵头 AI 未来研究院;副总裁郑波带领 Happy Horse、Happy Oyster 等多模态业务线并入。三次动刀历时三个月,CEO 同时身兼三职,是国内大厂里「一把手工程」信号最强的一个案例。
腾讯慢一拍,但动作同样决绝。2025 年 4 月 29 日,腾讯对混元体系做过一次拆分,成立大语言模型部与多模态模型部两个独立部门并行运行,这是一次「先分开再合并」的双轨实验(21财经把它叫「约 15 个月双轨」)。2026 年 7 月 23 日,腾讯内部通知撤销这两个独立部门,整合成立基础模型部,原两个部门「相关业务及团队全部并入新部门」。首席 AI 科学家姚顺雨兼任基础模型部负责人,向 TEG 总裁卢山汇报;同时他作为首席 AI 科学家仍向腾讯总裁刘炽平汇报,形成双汇报线。腾讯官方对外口径只有一句话:「进一步提升模型研发和协同效率,探索全模态模型的智能上限」腾讯混元合并.
字节最后动刀,但组织完整性最高。2026 年 8 月,字节 Seed 基础模型团队完成重组,把原先分散在文本、代码、视觉理解、语音等方向的预训练数据和后训练团队合并为 4 个新一级部门:Pretrain Data(李成刚负责)、Horizon RL(唐晟宇负责)、Product Posttrain-Work(秦禹嘉负责,B 端应用)、Product Posttrain-Chat(朱文佳负责,C 端应用)。四个新部门全部向吴永辉汇报,吴永辉继续向字节 CEO 梁汝波汇报。报道明确写:「今年 7 月,腾讯混元将多模态模型部门与大语言模型部门合并,由大语言模型负责人姚顺雨统一管理」,这一句把字节调整与腾讯合并直接挂上了时间因果链字节 Seed 重组.
下面这张图来自晚点 LatePost 的报道配图,让读者直接「看到」统一后的字节 Seed 组织长什么样。

图注:Seed 基础模型组织架构横向树,根节点是 Seed 基础模型,下分预训练模型、预训练数据、Horizon RL、产品后训练-Work、产品后训练-Chat、AI 安全等、Science 七个一级模块。预训练数据再细分为文本、编程、多模态预训练数据;Horizon RL 再细分为 RL Scaling、推理模型、编程后训练、视觉推理。Pretrain Data 把原本散落在文本/编程/视觉/语音方向的预训练数据团队合并;Horizon RL 把散落在后训练、推理、视觉理解方向的后训练团队合并;Work 部门专注 B 端办公与 Agent 能力;Chat 部门专注 C 端对话。晚点 LatePost 制图。
字节在应用侧还做了另一件值得注意的事:把 Seed 应用按用户任务拆分为 Work 和 Chat 两条线,而不是按模态拆分。这意味着多模态能力不再作为一个独立部门存在,而是被按用户场景(办公 vs 对话)切片,再叠加到基础模型上。

图注:Seed 应用组织架构横向树,根节点是 Seed 应用,下分产品后训练-Chat(对话方向,下接豆包、Dola、交易、教育)与产品后训练-Work(办公方向,下接工作任务、Agent 能力)。这条应用层的拆分与基础模型层的「统一基座 + 分任务 post-train」形成对照。晚点 LatePost 制图。
把三家放在一张时间轴上,6 周三连击的事实坐标非常清晰:
- 2026-06-08:阿里 Token Foundry 事业部成立,吴泳铭直管
- 2026-07-23:腾讯整合基础模型部,姚顺雨带队
- 2026-08:字节 Seed 4 个新一级部门重组,吴永辉领导
六周时间,三家一线大厂把「多模态独立部门」这个组织形态集体收掉。这不是巧合,更不是单纯的 KPI 重组,而是有共同的技术与商业判断压在后面。
但在拆开技术路线之前,有一条张力必须先点破:腾讯官方口径说「探索全模态模型的智能上限」,21财经却明确指出「Hy3 当前主要承担文本推理与 Agent 任务,图像、视频和 3D 等能力则由不同的专用模型分别完成,再通过智能体或产品流程实现协作」。换句话说,组织上合并了,Hy3 的工程形态仍然是「LLM + 多模态专用模型 + Agent 协作」,而不是 GPT-4o 那种在预训练阶段就把视觉、语音和语言放进同一个模型的原生全模态腾讯混元合并. 这是「组织先行、工程跟上」的典型节奏,理解这一点,是后面读懂技术路线之争的前提。
「多模态只是 LLM 加一个头」到底是什么意思
要判断「加一个头」是对是错,先得说清楚这个说法到底在工程上指什么。
「加一个头」最直白的工程对应物,是 2023 年 LLaVA 这条路线。LLaVA 的架构极简:CLIP ViT-L/14 vision encoder 输出 grid features,经过一个 trainable linear projection matrix W 映射到 Vicuna LLM 的词嵌入空间,再与文本指令拼接后做 instruction tuning。论文原文是这么写的:「We consider a simple linear layer to connect image features into the word embedding space」Visual Instruction Tuning.

图注:LLaVA 网络架构。左侧是图像输入,经 CLIP ViT-L/14 vision encoder 处理后,通过一个标为 W 的线性投影(linear projection)模块接入右侧的 Vicuna LLM 框。这个 W 矩阵就是「加一个头」的字面含义——一个可训练的投影矩阵,而不是第二个独立的网络。
LLaVA 的训练分两阶段。第一阶段冻结 vision encoder 与 LLM,只训练 projector W,目的是把视觉特征对齐到 LLM 的词嵌入空间(CC-595K 数据,1 epoch)。第二阶段把 projector 与 LLM 一起更新,做端到端 instruction tuning(LLaVA-Instruct-158K 数据,3 epochs)。整个流水线在 8 张 A100 上训练不到 14 小时就能跑完,是当时工程门槛最低、复现性最强的 VLM 范式。论文原文明确把这个方案定位为「轻量起点」而非天花板方案,作者写道「Our simple projection scheme is lightweight... More sophisticated schemes... We leave exploring possibly more effective and sophisticated architecture designs as future work」。
现在的问题是:LLaVA 这条路线的局限在哪?论文并没有在 2023 年答完这个问题,但要看到 2025-2026 年工业级系统的出现,才能把这条答案补全。
要把「加一个头」放到更精确的技术坐标系里,得借助两份综述。一份是 2025 年的 Frontier Vision-Language Models Survey,按 Era 1 到 Era 4 把 VLM 架构演进分成四段Frontier VLM Survey:
- Era 1(2021 前后):对比学习或 learned bridge 把独立 vision tower 与 text tower 映射到共享 embedding 空间,代表是 CLIP / ALIGN / Flamingo / ViLBERT
- Era 2(2023-2024):保留预训练 LLM 作为 trunk,通过 projector / resampler / cross-attention 注入视觉 token,代表是 GPT-4V / LLaVA / Qwen2-VL / DeepSeek-VL2 / Pixtral
- Era 3a(2025-2026):单个 multimodal trunk 直接消费文本、图像、文档、音频、视频,输出仍以文本为主。综述(ref-009,v7 2026-08-22)列出的代表家族包括 Gemini 3.6 Flash、Claude Opus 4.6、GPT-5.6 Sol、Qwen3.8-Max、Kimi K3;另在工业级工程实现上,Qwen3-VL(ref-011)是同期代表性 native multimodal 系统,常被作为 Era 3a 工程化样本引用。
- Era 3b(2024-2025):同一 trunk 加上图像/视频/音频 decoder head(VAE/DiT/codec),统一输入输出,代表是 Emu3、Janus-Pro
- Era 4(2026):action 也作为一种模态内化进 trunk,代表是 Cosmos 3、Kairos、OmniDreams

图注:VLM 架构演进的四行 schematic。从 Era 1 的「双塔对比学习 / learned bridge」,到 Era 2 的「LLM trunk + projector 注入视觉 token」,再到 Era 3a 的「single multimodal trunk 早期融合」(fusion point 从 LLM 之外迁入 trunk 内部),再到 Era 3b 的「同一 trunk + image/video/audio decoder heads(VAE/DiT/codec)」,最后到 Era 4 的「trunk + action + state」。关键的结构断裂在 Era 2 → Era 3a:fusion point 从 LLM 之外迁入 trunk 内部。
LLaVA 在这个坐标系里被定位为 Era 2 的 projector-based LLM backbone 代表。从 Era 2 推进到 Era 3a,是 VLM 架构在过去两年里发生的最重要结构断裂,fusion point 从「LLM 之外」迁入「trunk 内部」。这正是「加一个头」碰到天花板的位置。
另一份是 2026 年 5 月投递的 Toward Native Multimodal Modeling: A Roadmap,它给 native multimodal 一个形式化定义:按融合点位置把范式分三类Toward Native Multimodal Modeling。- Late-Fusion:$F_{\text{late}} = G(\text{LLM}({P_i(E_i(m_i))}))$,backbone 对原始感官信号「blind」,依赖外挂 output head G。LLaVA 路线被明确定位在这一类。
- Mid-Fusion:$F_{\text{mid}} = \text{Backbone}(C(E_1(m_1), ..., E_n(m_n)))$,C 是 cross-modal alignment / injection 算子,跨模态特征被注入到联合 backbone 的中间层。模型对跨模态关联「insightful」,但因上下游与中央 backbone 的「显式架构边界」与「结构不对称」,仍「modality-aware」。
- Early-Fusion:$F_{\text{early}} = \text{Transformer}(\cup_i T(m_i))$,绕过独立 frozen encoder,所有模态经统一算子 T 映射到共享 embedding 空间。论文称之为"是 Born-native transformer"。
论文把 LLaVA 明确归为 Late-Fusion(非原生)。同时按输入-输出对偶分类:Multi-to-Text (M2T)、Multi-to-Target (M2G)、Multi-to-Multi (M2M),Era 3a 对应 M2T,Era 3b 对应 M2G,Era 4 对应 M2M。

图注:三种 NMM 架构的输入-输出对偶分类示意。(a) M2T Multi-to-Text:多模态输入 → 单一文本输出;(b) M2G Multi-to-Target:多模态输入 → 单一非文本目标模态输出;(c) M2M Multi-to-Multi:对称 any-to-any,理解与生成在单一 Transformer 中共存。
把这套坐标系合并起来看,「加一个头」对应的是 Era 2 / Late-Fusion 范式(frozen vision encoder + 单一线性 projector + 已有 LLM),而「统一原生多模态底座」对应的是 Era 3a+ / Mid-Fusion 与 Early-Fusion 范式(视觉与语言在同一网络里联合预训练与推理)。这两者不是「同一条路线的不同实现」,而是 fusion point 在神经网络里的位置根本不同。要回答「加一个头是不是 native」,形式化答案就是:不是,LLaVA 在 native 范围之外。
但「加一个头」错了吗?也没那么简单。LLaVA 在 2023 年是合理的设计起点,把视觉能力快速装到开源 LLM 上是当时性价比最高的方案。它的局限不在 2023 年暴露,而在 2025-2026 年工业级系统(Qwen3-VL、InternVL3 等)把视觉推理深度、视频时序、Agent GUI grounding 推到更高要求时才陆续失效。
统一架构在工业级已是不可逆:Qwen3-VL 与 InternVL3 给出的证据
LLaVA 范式碰到天花板,不是因为 W 矩阵本身有问题,而是因为「frozen vision encoder + frozen 或仅 fine-tune LLM」的工程路线在 2025-2026 年的规模化任务上承担不了新的负载。具体到工业级系统,问题集中在三个层面。
第一,跨模态融合深度不够。LLaVA 只在 LLM 的输入嵌入处对齐视觉与语言,视觉信号没有机会进入 LLM 的中间层推理。Qwen3-VL 的回应是引入 DeepStack 跨层融合机制:从 ViT 的多个中间层抽取特征,经专用 merger 投影后,通过 residual connection 加到 LLM 前三层 hidden states 上Qwen3-VL Technical Report. 这一改动在内部 15B-A2B LLM 上的收益是 average +1.3(74.7 → 76.0),其中 InfoVQA +2.3、DocVQA +1.6、OCRBench +2.6、MMMU +1.2。视觉 token 不增加 context length,但能进入 LLM 的中间层推理,grounding / OCR / 细粒度视觉任务立刻拿到 1-2 个点的稳定提升。
第二,位置编码对长视频不友好。Qwen2-VL 的 MRoPE 把时间、高度、宽度分配到独立子空间,频率谱不均导致长视频掉点。Qwen3-VL 改用 Interleaved MRoPE,把三个维度在 embedding 维度上交织排布,每个轴都均匀跨越低频和高频段,长视频位置建模显著改善。配合 256K 原生上下文(预训练到 262144 序列长度,100B token)和 YaRN 外推到 1M,Qwen3-VL-235B-A22B-Instruct 在 30 分钟视频(≈256K tokens)上 needle-in-a-haystack 准确率 100%,2 小时视频(≈1M tokens,YaRN 外推)仍保持 99.5%(Qwen3-VL 论文 §5.12.3 明确该 needle-in-a-haystack 评估在 235B-A22B-Instruct 变体上完成)。
第三,预训练阶段被切碎后,语言能力会被稀释。LLaVA 路线只训练 projector,vision encoder 与 LLM 都冻结,视觉能力是「外挂」而非「内生」。InternVL3 的回应是引入 native multimodal pre-training:单阶段联合预训练,把语言与多模态对齐合并到一个预训练阶段InternVL3. 论文原文写道:「We propose a native multimodal pre-training approach that consolidates language pre-training and multi-modal alignment training into a single pre-training stage」,明确批评 post-hoc 路线的 alignment challenges。联合参数优化让 ViT、MLP、LLM 三段参数在预训练阶段全部放开反向传播,损失函数用 text-only 自回归目标(视觉 token 作为条件上下文,不被直接预测),权重用 square averaging 缓解长短样本的梯度偏差。
token 预算分配上,InternVL3 给出具体数字:language:multimodal = 1:3,总训练 token 约 200B,其中 50B 语言 + 150B 多模态。论文指出这一比例在单模态与多模态 benchmark 上综合最优。这与 native multimodal 路线讨论里「显式统一的 token 预算分配」形成精确对应。在语言能力上,InternVL3 在 MMLU / CMMLU / C-Eval / GSM8K / MATH 等语言基准上明显高于同底座 Qwen2.5 chat 模型,这一结果反驳了「统一架构是否让语言能力稀释」的常见疑虑。
下面这张图把 Qwen3-VL 的三模块架构完整展示出来,让读者看到 DeepStack 与 Interleaved MRoPE 是怎么落到具体模块上的。

图注:Qwen3-VL 三模块架构。Vision Encoder 处理 text/image/video 三种模态输入,映射到变长 visual token。MLP Merger 把视觉 token 接到 LLM。DeepStack 机制从 vision encoder 多个中间层抽取特征,注入到 LLM 前几层 hidden states。Interleaved MRoPE 把时间/高度/宽度在 embedding 维度交织排布,编码多模态位置信息。文本化 timestamp tokens 标注视频时间结构。整套架构支持 dense(2B/4B/8B/32B)+ MoE(30B-A3B / 235B-A22B)完整家族,旗舰 235B-A22B 激活 22B。
InternVL3 在架构层是同一三段栈(ViT + MLP + LLM),但把差异化压在 native multimodal pre-training 单阶段策略上。

图注:InternVL3 / InternVL2.5 共享架构总览(来自 HuggingFace transformers 模型文档)。左侧 Dynamic High Resolution 多分辨率分块(800×1300 图像按预设宽高比切成 448×448 tile + thumbnail);中间 InternViT-300M/6B 视觉编码器;Pixel Unshuffle 把 448×448 tile 降采样到 256 个 visual token;MLP Projector 接到 LLM;右侧 InternLM2.5 / Qwen2.5 LLM。ViT/MLP/LLM 三个模块前面都有火苗图标,标注联合优化。
两张图同框对照,Qwen3-VL 强调三模块 + DeepStack + Interleaved MRoPE 的工程组件,InternVL3 强调 native multimodal pre-training 的训练策略。共同点是:开源旗舰在 2025 年已经把 ViT + projector + LLM 的统一栈做成事实标准,「加一个头」的极简范式在工业级被进一步工程化为一组紧耦合模块。
这种工程化的代价是「只有把团队并入基座模型部才能集中调度」。DeepStack 要求 ViT 与 LLM 联合训练、Interleaved MRoPE 要求位置编码统一、native multimodal pre-training 要求数据配比与训练预算打通——这些都不是「多模态独立部门」能承担的工程负担。基座模型团队负责文本主干与算力调度,多模态团队负责视觉/视频/3D 等能力,跨团队的 token 预算、超参策略、数据配比协调在 native 路线下都成了瓶颈。这就是「组织先行」的工程必然性:先把团队合到一起,才能把 native multimodal 路线跑通。
OpenAI 路线在先:头部玩家的「统一原生」何时被押成长期方向
国内大厂 2026 集中调整的产业背景,是 OpenAI 在 2024 年到 2025 年两年里把「统一原生全模态」从论文定义推到产品默认的过程。
2024 年 5 月 13 日,OpenAI 在 Spring Update 发布会公布 GPT-4o,System Card 第一段给了工业级定义:「GPT-4o is an autoregressive omni model, which accepts as input any combination of text, audio, image, and video and generates any combination of text, audio, and image outputs. It's trained end-to-end across text, vision, and audio, meaning that all inputs and outputs are processed by the same neural network」GPT-4o System Card. 这是工业级第一次明确把「同一个神经网络处理所有模态」作为旗舰模型的核心设计,而不是 staged pipeline(Whisper ASR + GPT-4 LLM + TTS 三个独立模型串行)。旧 Voice Mode 的 5.4 秒三段式 pipeline 降到 232 毫秒,latency 降了一个数量级,旧 pipeline 丢失的 tone、多人 speaker、背景噪音等信息也由单模型补回。这是从「独立栈」切换到「统一原生」最直观的工程理由。
2025 年 8 月 7 日,OpenAI 推出 GPT-5,把「统一原生」从单模型推到统一系统架构Introducing GPT-5. 介绍页第一段:「GPT-5 is a unified system with a smart, efficient model that answers most questions, a deeper reasoning model (GPT-5 thinking) for harder problems, and a real-time router that quickly decides which to use based on conversation type, complexity, tool needs, and your explicit intent」。GPT-5 是 OpenAI 第一次在面向公众的博文中以「系统(system)而非模型(model)」为单位介绍旗舰产品。multimodal 能力被放在统一系统内,介绍页明确写 MMMU 拿到 84.2% SOTA,是 GPT-4o autoregressive omni 思路在规模化后的下一段演化。GPT-5 作为 ChatGPT 新的默认模型被推到 5 亿+ 周活用户,等于把「统一系统」路线从论文/工程文档固化为产品事实。
把 OpenAI 这条时间线与国内大厂的 6 周三连击放到同一坐标系上,能看到一个清晰的产业锚定关系:GPT-4o 2024-05 押下技术方向,GPT-5 2025-08 把方向固化为产品,国内大厂 2026-06/07/08 的组织调整承接了这条已锁定的头部路线。
但必须节制论断这条因果链。21财经已明确指出腾讯自承「与 OpenAI、谷歌将文本、图像、音频乃至视频能力逐步整合进同一基础模型的路径不同」。这意味着国内三家公司的组织选择是承接路线,而非照搬架构。国内各家有自己的算力、商业化、组织约束,OpenAI 路线是「路径跟随的间接产业背景」,不是「直接因果驱动国内决定」。这条克制要贯穿全篇。
组织动力学:为什么是一把手工程
路线是产业背景,但把路线变成组织动作,需要有人按下按钮。国内三家在 2026 Q2 到 Q3 集中按下按钮的方式,是「一把手工程」。
先看腾讯的双汇报线设计。姚顺雨作为首席 AI 科学家向腾讯总裁刘炽平汇报;作为基础模型部负责人同时向 TEG 总裁卢山汇报。这条双线是 2025-12 至 2026-07 期间逐步把「研究负责人」和「部门负责人」两权集中到一人的结果。研究员出身(ReAct、Tree of Thoughts、SWE-bench 作者之一)、从 OpenAI 回归腾讯的背景,让他在研究线拿到最高层背书;在 TEG 业务线上拿到跨部门资源调度权。双汇报线在大模型这种跨算力、数据、算法的工程里几乎是必然的——研发需要向技术高层汇报,工程需要向业务高层汇报,矩阵式设计把所有相关方压到同一个人身上腾讯混元合并.
字节是单汇报链 + CEO 战略拍板。吴永辉(曾任 Google Fellow / DeepMind 研究副总裁)2025-02 接管 Seed,2026-08 完成 Seed Foundation Model 4 个新一级部门重组后,4 个部门全部向吴永辉汇报,吴永辉向字节 CEO 梁汝波汇报。张一鸣在 Seed 内部会上表达过「可以接受模型在一段时间内的落后,希望团队把追求智能上限作为更重要的目标」,这是一道组织级方向授权字节 Seed 重组.
阿里是「一把手工程」信号最强的。吴泳铭同时身兼三职:ATH 事业群一号位 + Token Foundry 事业部一号位 + 集团技术委员会组长。华尔街见闻援引的官方方法论原话是:「在阿里近年的组织调整中,CEO 直管的业务往往兼具两个特征:战略权重高、组织协同复杂。Token Foundry 显然两条都占」Alibaba Token Hub. 集团技术委员会的设立把「指挥小组」固化到机制里,组长是吴泳铭,成员是周靖人、吴泽明、李飞飞三个阿里最核心技术高管。从 ATH 事业群(3-16)到集团技术委员会(4-8)再到 Token Foundry 事业部(6-8),三个月三次动刀的「分层接力」是阿里侧组织设计语言的集中体现。
把这三条线放到一起看,国内三家的一号位都在 2025-2026 集中收束到「模型-算力-数据-对齐」一条指挥链下:
| 公司 | 一号位 | 关键人事 | 汇报链 | 特殊设计 |
|---|---|---|---|---|
| 腾讯 | 姚顺雨 | OpenAI 回归;ReAct/Tree of Thoughts 作者 | 双汇报线:刘炽平(研究线)+ 卢山(业务线) | 研究线与业务线同体 |
| 字节 | 吴永辉 | Google Fellow / DeepMind 研究副总裁 | 吴永辉 → 梁汝波 | 单汇报链 + 4 部门集中 |
| 阿里 | 吴泳铭 | 集团 CEO 三职同体 | CEO 直管 + 技术委员会机制化 | 研究院(周靖人)+ 事业部(吴泳铭)双轮 |
设计语言不同,但终点相同:把模型-算力-数据-对齐一条指挥链压到最高层,多模态团队被吸收进基座模型部。这是一把手工程在大模型时代的具体形态——核心赛道必须由能调动全集团资源的人来按加速键。
商业化压力:为什么组织选择也由飞轮决定
组织选择不能被简化为技术判断的延伸,因为资本市场与商业化曲线同样在投票。
据财新口径,腾讯 2026-07-06 发布混元 Hy3 后三个交易日,股价累计上涨 11%(该口径未在港交所公告中独立核对);7-17(Kimi K3 发布次日)股价重挫 4.63%。据观察者网引述业绩会,刘炽平 2026 Q1 业绩会披露:腾讯已重构混元团队组织方式和工作流程;2025 年混元 + 元宝投入超过 180 亿元,预计 2026 年翻倍(业绩会原文未直接核对)腾讯混元合并. 资本市场把「基座模型能力」读为股价变量,组织选择成为外部信号。
字节是商业化数据最完整的一方。截至 2026-06,豆包大模型日均 Token 调用量突破 180 万亿;按 7 月平均消耗口径统计,字节大模型业务 ARR(年化收入)达 40 亿美元。字节 CEO 梁汝波在 2026-06 火山引擎 FORCE 大会上明确:「攀登 AI 高峰是字节当下最重要的事情;火山引擎 MaaS 业务正在变成字节的基础业务」。QuestMobile 数据:豆包月活 3.82 亿,超过第二名通义千问与第三名 DeepSeek 的总和。7 月 30 日字节 ToB 整合:飞书产品团队并入豆包;飞书 GTM 并入火山引擎成立「创造力服务平台」字节 Seed 重组. 这条商业化飞轮一旦锁定在 LLM 基座上,多模态独立栈就失去独立的 ROI 论证基础——同一份算力、同一份数据、同一份用户反馈,分给两个团队跑不如压到一个团队。
阿里的「30 倍 Token 收入曲线」是商业化压力最直白的证据。据华尔街见闻援引知情人士(非阿里官方披露):阿里内部「530」Token 战役目标是 5 月底 Token 收入达到 4 月初的 5 倍、年底达到 30 倍;5 月底目标已提前半个月达成(即 5 月中即完成 5 倍)。阿里 5-20 致股东信官方口径:「阿里 AI 已跨越初期投入阶段,正式迈入商业化回报周期」Alibaba Token Hub. Token Foundry 事业部由 CEO 直管,在商业化压力下有了完整的合理性:组织选择也是商业化压力驱动。
把这三条商业化曲线放在一起,飞轮逻辑非常清楚——基座越强,用户/数据越多,反哺训练;飞轮一旦锁定在 LLM 基座上,多模态独立栈就失去独立的 ROI 论证基础。这是「组织先行」在商业化层面的合理性来源。腾讯 180 亿元投入对应股价波动、字节 40 亿美元 ARR 对应 ToB 整合、阿里 30 倍曲线对应 Token Foundry 事业部成立,每一家都在用真金白银为「统一基座」投票。
但同时有一条张力必须保留:腾讯官方口径「探索全模态模型智能上限」与 Hy3 当前工程现实(LLM + 多模态专用模型 + Agent 协作)的张力,21财经已明确点出。这意味着「组织先行」并不等于「技术已经到位」,而是组织先调整完毕,工程跟上节奏。这种「组织先行、工程跟上」的节奏在国内三家是一致的——6 周三连击解决的是「谁拍板」的问题,「怎么落地」需要更长的时间。
未来岔路:多模态不一定以「原生底座」形态回归
国内大厂 2026 集中调整押的是「统一原生」路线,但这条路在工业级不是唯一在跑的岔路。同期 Anthropic 押了「Agent 形态承载视觉」路线,把视觉退化为 Agent 的环境感知输入端。这两条路线并不互斥,但产业意义不同。
2024-10-22,Anthropic 推出 Claude 3.5 Sonnet(升级版)的 computer use 公开 betaIntroducing Computer Use. 工作原理是:开发者侧抓取屏幕截图送进 Claude,Claude 输出 tool_use 块(工具类型 computer_20241022,参数含 action),开发者按顺序在受控环境里执行(xdotool + gnome-screenshot + ImageMagick),并把 tool_result 返回。这一循环被官方文档称为 agent loop。Computer use 把桌面视为「对模型而言无内置坐标系的视觉环境」,让 VLM 推理直接对接「鼠标像素坐标 + 键盘动作」这一通用工具层。
OSWorld 评估给出 2024-10-22 的量化坐标:Claude 3.5 Sonnet 在 screenshot-only 类目下得 14.9%,比「下一名最佳 AI 系统」7.8% 高出接近一倍;给予更多步骤时提升到 22.0%;人类在同任务上约 70-75%。这条数字 14.9% → 22.0% → 70-75% 给「Agent 形态承载视觉」路线一个量化坐标,并明确指出这条路线在 2024-10 起步到 2026 中期仍未追上人类。
Anthropic 范式宣言是另一条未来岔路的标准锚点:「Up until now, LLM developers have made tools fit the model... Now, we can make the model fit the tools—Claude can fit into the computer environments we all use every day」。这是「让模型适应工具环境」的宣言,与「让基座吞下所有模态」的统一原生路线形成对照。
有意思的是,Anthropic 训练 computer use 时发现一个反直觉的事实:精确实用的 GUI 操作不只靠「看懂」,还要靠「算清楚像素」。官方技术博文原文:「Claude looks at screenshots of what's visible to the user, then counts how many pixels vertically or horizontally it needs to move a cursor in order to click in the correct place. Training Claude to count pixels accurately was critical. Without this skill, the model finds it difficult to give mouse commands—similar to how models often struggle with simple-seeming questions like 'how many A's in the word banana'?'」视觉定位是被 VLM 推理反向逼出来的硬能力,这条逻辑让 native multimodal 路线与 Agent 视觉路线在底层能力上开始重合。
这张表是 Anthropic 在 computer use 发布当日给出的 Sonnet 能力快照,让读者看到承载 agent loop 的基座本身的代际能力。

图注:Anthropic 自制 benchmark 对比表。Claude 3.5 Sonnet (new) 在 SWE-bench Verified 拿到 49.0%、TAU-bench retail 69.2%、MMMU 70.4%、HumanEval 93.7%。这一代 Sonnet 是承载 computer use agent loop 的具体基座。这张表只展示模型能力快照,不展示 computer use 工作流。
两条路线并不互斥。Qwen3-VL-32B 在 OSWorld 上拿到 41 分、AndroidWorld 上拿到 63.7 分Qwen3-VL Technical Report. 这两个数字是 native 系统与 GUI grounding 同时存在的证据。原生统一与 Agent 视觉在工业级同时跑,没有谁取代谁。
所以回到本专题最初的问题:国内大厂 2026 集中调整押的是某条岔路,但另一条岔路同样在产业里跑。组织选择不是被技术必然性锁死的——OpenAI 押的「统一原生」、Anthropic 押的「Agent 视觉」、国内大厂承接的「统一基座 + 一把手直管」,是同一条时间线上的三条并行宣言。理解这一点,就理解了「6 周三连击」背后的真正逻辑:组织选择是技术判断 + 路径跟随 + 商业化压力三线共振的结果,不是技术必然性本身。
参考文献
本专题引用的核心资料如下,建议深入学习时阅读原文:
- Visual Instruction Tuning (LLaVA) — arXiv:2304.08485
- Frontier Vision-Language Models: Architectural Evolution, Benchmarks, Applications, and Challenges — arXiv:2501.02189
- InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models — arXiv:2504.10479
- GPT-4o System Card — arXiv:2410.21276
- Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku — Anthropic 官方公告
- Introducing GPT-5 — OpenAI 官方介绍
- Toward Native Multimodal Modeling: A Roadmap — arXiv:2605.25343
- Qwen3-VL Technical Report — arXiv:2511.21631
- 腾讯合并混元多模态和大语言模型部门 姚顺雨带队 — 财新 2026-07-24
- 计划训超大模型后,字节 Seed 基模团队调整了组织架构 — 晚点 LatePost / 腾讯新闻转载 2026-08-19
- 成立 Token Foundry 事业部,阿里大模型加速冲刺 SOTA — 华尔街见闻 2026-06-09
- 三个月三次动刀,阿里大模型组织架构又大调整 — 21财经 2026-06-11