WeVisOne-VL：多模态大模型怎么同时框出物体、抠出发丝？

速览

WeVisOne-VL 是腾讯微信视觉团队放出的一个 2B / 4B 规模多模态模型，它最核心的主张是同一个模型、同一套权重，可以用同一条自回归序列输出点、框、实例掩码，甚至逐像素的连续 alpha matte。它把通常交给两个模型做的两件事，框出物体与抠出发丝，压进了同一个输出格式。论文的结果表覆盖约 32 个评测数据集，横跨检测、指代检测、计数、pointing、OCR、指代分割与 matting 七类任务，权重已经开源。

为什么这件事值得看一眼：多模态模型能说清画面里有什么，却常常指不准它的边界，这不是新问题，但过去很少有人把它当成一个可归因的机制问题来处理。这一章先说清失准到底从哪来。

让 VLM 定位失准的根因，是把坐标当成离散分类 token 来生成。这个判断不是本文首次提出。Rex-Omni 把 MLLM 做检测的失效模式归纳成三类：低召回、重复预测、坐标漂移与错位。它给出的成因有两条。第一条，把连续像素坐标量化成离散 token 之后，预测坐标在本质上变成了一个 1,000 类的分类问题，轻微的像素偏移会换来不成比例的交叉熵损失。第二条，teacher-forcing 的监督微调让模型只见过标注前缀，输出框的数量在训练时就被固定成标注数量，推理时模型因此不会自己调节该吐出几个物体。

图注：Rex-Omni 的坐标预测设计对照。左半三块面板并列 Direct Prediction、Retrieval-based 与 External decoder 三种范式；右半在同一张照片上并排三种坐标编码，标注相对坐标加特殊 token 时一个框占 4 个 token，另外两种写法各占 15 个 token。图中不含任何精度信息。Rex-Omni

这个归因有量级可查。在 Rex-Omni 自建的密集场景集 Dense200 上，200 张图、109 个类别、平均每图 91.2 个框，Qwen2.5-VL-3B 的 F1@IoU0.5 只有 0.8，7B 版本 1.1，而 Rex-Omni 是 78.4。同一个模型在 COCO 这类常规场景里还能拿到像样的分数，一进密集场景就几乎归零，这才是「不可靠」的真实量级。

更高一层的缺口在像素上，而不只是框。Molmo2 的作者指出，用点或像素去 grounding 的能力「Even proprietary models lack this capability」。本文要做的就是同时补这两层，答案不是换个更大的模型，而是换一套输出格式。

统一发生在输出格式层：框 4 个 token、点 2 个，掩码与 alpha 靠紧跟框的 <OBJ>

WeVisOne-VL 的「统一」不是把两个模型拼起来，而是把语义、几何与实例拼进同一条自回归序列，同一套权重因此可以按用户要的粒度给点、给框、给掩码或给 alpha。

具体落在四条约定上。坐标写成 <0> 到 <1000> 的离散 token；一个框占 4 个，顺序是 [x0,y0,x1,y1]；一个点占 2 个；查询的目标在图中不存在时，坐标字段直接填 None。像素级的任务在框的四元组后面再跟一个 <OBJ> token，而且这个 token 就嵌在同一个 <box> 字段内部，不是在别处另起一段。WeVisOne-VL

图注：WeVisOne-VL 的统一任务格式表。六行分别是 Detection、Referring、Pointing、Counting、OCR 与 Segmentation-Matting，中列是自然语言指令，右列是实际的输出 token 串，可以直接看到坐标被写成离散 token、框占四个、点占两个，分割与 matting 在框四元组后紧跟 <OBJ>。WeVisOne-VL

坐标这一半有直系来源。Rex-Omni 把词表最后 1,000 个 token 改造成坐标 token，不增加参数量，理由是把分类限制在 1,000 类以内能降低学习难度，而且一个框只占 4 个特殊 token，而不是被拆成数字 token 的 15 个原子 token。更早的形态可以追到 2023 年的 Kosmos-2，它用 1,024 个 location token 把物体描述与边界框组织成 Markdown 链接一起输出。必须点破的是：Rex-Omni 这一类工作止步于几何，它没有 <OBJ>、不出掩码也不出 alpha，像素那一半完全由本文承担。

代价也要说清。坐标被量化成 1,000 档之后，精度上限就被这些 bin 锁住；每个框要花 4 个解码步、每个点 2 个，逐 token 串行意味着框越多生成越慢。LocateAnything 正是从这一点出发，把框重组成定长原子块并行解码，在单张 H100、batch size 1 下把吞吐做到逐 token 路线的十倍以上。本文在坐标表示与评测口径上借用了这条线，但没有采纳并行解码。

粒度阶梯从粗到细是点、框、掩码、连续 alpha，越往下对监督的要求越高。本文里点这一级完全依赖外部公开数据，附录的数据构成显示 pointing 任务只用了公开来源，没有用自建数据引擎。这条路线之所以走得通，是因为 PixMo 用 2.3M 组问题-点标注证明了显式点监督可以支撑接地与计数，而且采集成本低于框和掩码。

一个 <OBJ> token 凭什么代表一个实例：9.6M 像素解码器把它的隐状态变成掩码和 alpha

一个 token 能代表一个实例，是因为它同时带着实例的语义和框的几何，解码器用这两样东西从基座自己的多层特征里取像素证据，所以这个接口可以小到约 9.6M 参数，也不需要外挂一个分割大模型。

数据流可以走一遍。<OBJ> 的 hidden state 经线性投影变成 content query；它预测出的那个框经 Fourier 编码后变成 positional query，负责把注意力定位到正确的区域；基座视觉编码器的多层中间特征经投影与卷积构成一份共享的视觉特征金字塔，充当被查询的视觉记忆。查询在若干层自注意力与可变形交叉注意力中从这份记忆里聚合特征，得到的实例 query 再由一个 MLP 生成动态卷积核，作用在像素特征上得到掩码 logits，然后粗到细逐级上采样到全分辨率。分割与 matting 共用这一套，matting 额外加一个轻量细化模块处理细边界与分数不透明度。论文写明整个解码器含细化模块约 9.6M 参数。

图注：轻量像素解码器的数据流。左侧区块把基座的多层 ViT 特征投影成共享视觉特征；右上区块用 <OBJ> 的隐状态作 content query、用预测框经 Fourier 编码作 positional query，经若干层自注意力与可变形交叉注意力得到实例 query；右下区块由 query 生成动态卷积核得到掩码 logits，粗到细上采样后输出掩码与 alpha matte。WeVisOne-VL

可以把它想成寄存柜的取件码。取件码本身不装东西，但它绑定了柜号（框）和收件人（<OBJ> 的语义），柜子（基座的多层 ViT 特征）凭它把对应的包裹（像素）取出来。差别在于解码器不是被动查表，它用这个 query 现场算出一组卷积核，所以同一条输出头能给不同实例生成不同的掩码。

「基座自己的多层特征」这句需要解释。Qwen3-VL 的视觉侧有一个 merger，用两层 MLP 把 2×2 视觉特征压成一个送进 LLM 的视觉 token；所谓 pre-merge 特征，指的就是压缩之前、ViT 中间层的那些网格特征。Qwen3-VL 的 DeepStack 机制本来就会从视觉编码器的三个不同中间层抽特征、各配一个 merger 注入 LLM 的前三层，也就是说多层特征在这个基座里是原生可得的。本文的 Visual Feature Adapter 做的正是利用这一点；在此之前，EVF-SAM 已经证明把 VLM 的早期视觉特征注入分割解码器能明显提升指代分割。

另一条更常见的做法是把分割外包出去。LISA 在词表里加一个 <SEG> token，用它的末层隐状态去触发一个 SAM 结构的掩码解码器，掩码由那个外部分割骨干产出；Sa2VA 把这条路走到视频，让 [SEG] 的隐状态当 SAM2 解码器的时空提示。这条路线有一个可量化的性质：Sa2VA 用同一套配方把 SAM-2 换成 SAM-3，指代分割与视频指代分割的分数就跟着涨，说明像素质量的上限由外接骨干决定。本文把这一环整个去掉了。

图注：另一条路线。Sa2VA 把文本、视觉提示、图像、视频四路输入编码进同一个 LLM，LLM 输出序列里的 [SEG] token 向下驱动外接的 SAM2 Decoder 产生掩码，SAM2 Encoder 另外提供视觉特征；图中的火焰图标表示该模块在单阶段指令微调中被训练。Sa2VA

像素能力靠三段课程喂进去，RL 只修框级行为，掩码与 alpha 拿不到直接信号

模型能画边界不是强化学习的功劳。像素能力来自监督微调阶段的课程设计与像素损失，RL 只修正框层面的行为，以及「该不该拒绝」。

先看数据从哪来。论文自建了一套数据引擎 WDE，主流程是三段：用知识图谱组织类别概念与指代表达，再按概念覆盖与图像难度定向采集；让互补的定位专家提出候选，再用 Qwen3-VL 做语义验证与去重；对保留下来的框用 SAM2 扩成二值掩码。matting 这条支线单独走，用 BiRefNet 与 MatAnyone2 产生候选 alpha，再训一个专门的标注器去重标全语料。底部还有一条反馈回路，人工抽检之后先把错误分成「模型预测错」与「监督标错」，只有复核确认是标注问题时才改数据。WeVisOne-VL 论文说这套标注库有超过 1 亿张图像与约 36 亿个框标注；这是标注图像库的口径，不等于训练样本量。

图注：WDE 数据引擎总览。上方三段主流程依次是概念发现与定向采集、候选提案与语义验证、实例对齐监督；下方是 matting 子流程，从专家辅助标注到标注器训练再到全语料重标；底部虚线是人工抽检、错误复核与数据精化，最后回到采集环节。WeVisOne-VL

监督微调分三段，每一段只放开一部分瓶颈。第一段冻结视觉塔与 projector、只训语言模型，并且有意识地只用每类最多 50 个框的样本，目的正是压制前面说的重复输出塌缩。第二段把整个视觉语言模型解冻，视觉 token 上限从 512 提到 1,960，单条响应最多允许 500 个框或点。第三段先单独预热像素解码器，再只保留解码器权重与学到的 <OBJ> embedding 挂回第二阶段的权重，按 1:1 交替训练语言建模与像素分割，最后冻结语言模型，用 matting 数据专训 alpha。

强化学习阶段用的是混合任务 GRPO：每个 prompt 采样 8 条完整响应，把预测框与标注框在同一个语义类别内做一对一匈牙利匹配，奖励取框 IoU 的三次方之和，再除以标注数与预测数之和。三次方是为了在高 IoU 区间放大区分度，分母同时含两侧则让漏检与重复预测都受罚。这里有一个必须点破的边界：分割与 matting 也只用框级奖励，掩码和 alpha 的质量在 RL 阶段拿不到直接信号。负样本的规则是只有完全不预测任何物体才拿满分，这正是拒绝行为的训练来源。作为同期对照，还有用「描述与区域互相重建」的循环式可验证奖励来做 RL 的路线 CycleGRPO，奖励粒度比这里细。

讲解：RL 只给框打分，掩码怎么办

「30+ benchmark 领先」要按列读：同规模那一栏确实领先，分割与抠图那一栏比的是 7B-13B 专家模型

论文的贡献可以核实到具体列，但它领先的是同规模 VLM，不是分割与抠图专家；「统一感知已解决」也不是它的结论。

先看评测口径，因为它决定表格怎么读。生成式 VLM 没有可校准的置信度分数，因此不能直接报 AP，论文沿用同一条线上的 F1 口径：预测框与同类未匹配的标注框 IoU 超过阈值记真阳，报 IoU=0.5、0.95 与 0.5:0.05:0.95 的均值。推理用 greedy decoding、temperature 0，每图最多 1,960 个视觉 token。下面是七类任务的代表数字，最后一列说明这些数字能不能横着比。

这张表最关键的一列是最后一列。从检测到 OCR 这五类任务，论文的 2B 与 4B 是对着同规模的 Qwen3-VL 基线比的，这些数字站得住；指代分割那几张表的基线是 7B 到 13B 的专门模型，matting 那张表的基线是 matting 专家与「MLLM 加 SAM2-Matting」的组合方案，两者都不是同规模对手。摘要里「在 30 多个 benchmark 上领先」这个说法，拆到列上就是这个样子。WeVisOne-VL

拒绝能力值得单独说一句。目标不存在时写 None 不是本文首创：GRES 这个任务与 gRefCOCO 数据集出自 2023 年的 ReLA，GSVA 是求解方，它造出 [REJ] token，生成后丢弃并把对应目标置成全零掩码。本文的 None 是另一套实现，只能类比不能等同。数字上，4B 在自建的 WeRef-Bench 上报告拒绝率 96.4，同表基线里拒绝率最高的是 LocateAnything-3B 的 73.0（Qwen3.5-9B 为 70.7）；在 Ref-ZOM 上 4B 的拒绝率 86.0 对 GSVA-7B 的 41.9，但这是 4B 对 7B 的跨规模比较，需要标注。

论文自己列了四条局限：通用训练数据有限，可能让模型在通用能力上不如基座；为了推理效率直接输出结构化结果、不走 chain-of-thought，可能限制复杂推理；当前只支持单轮预测，作者认为可以接 agent 框架做多轮工具交互；benchmark 的物体提示清晰规范，而真实用户指令往往含糊犹豫，需要很强的意图推理。

开源现状要如实说：2B 与 4B 的权重、推理代码、评测流水线以及单独发布的像素解码器都已放出，许可宽松，但训练语料与微调代码没有开源，第三方无法复现训练流程。

一句话判断：这篇文章真正立住的是一件接口层面的事，把像素级输出变成一个 9.6M 解码器就能挂上的 token 级接口；它没有解决可靠性、推理深度和多轮交互，而这三件事恰好是「可靠感知系统」这个说法里最难的部分。

想深入可以读原文：WeVisOne-VL: Unified Visual Perception from Objects to Pixels — arXiv:2610.31329

参考文献

• WeVisOne-VL: Unified Visual Perception from Objects to Pixels — arXiv:2610.31329
• Detect Anything via Next Point Prediction（Rex-Omni）— arXiv:2510.12798
• LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding — arXiv:2605.27365
• Qwen3-VL Technical Report — arXiv:2511.21631
• Molmo2: Open Weights and Data for VLMs with Video Understanding and Grounding — arXiv:2601.10611
• Kosmos-2: Grounding Multimodal Large Language Models to the World — arXiv:2306.14824
• Molmo and PixMo: Open Weights and Open Data for SOTA VLMs — arXiv:2409.17146
• LISA: Reasoning Segmentation via Large Language Model — arXiv:2308.00692
• Sa2VA: Marrying SAM2 with MLLM for Dense Grounded Understanding of Images and Videos — arXiv:2501.04001
• EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model — arXiv:2406.20076
• GSVA: Generalized Segmentation via Multimodal Large Language Models — arXiv:2312.10103
• Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding — arXiv:2610.29552