Seg-Agent：不训练模型，靠“看着图先猜再改”按一句话圈出物体

一句“左数第二个穿红衣服的人”，为什么机器总是切不对？

对着合影让你圈出“左数第二个穿红衣服的人”，你大概用不了一秒：扫一眼，数一遍，指一下。这个对人类毫不费力的动作，却是计算机视觉里最难受的任务之一。它的正式名字叫语言引导分割：给定一句自然语言，模型要在图像里把对应的物体整个抠出来，而不是只标一个框。难在哪？“左数第二个”是方位加数量，“穿红衣服”是属性，“人”是类别，三个线索叠在一起才构成答案。这类把多个信息组合起来的指令，学术上叫组合指令，正是机器最容易翻车的地方。

主流解法长得很统一：先用一个多模态大模型（MLLM）解读这句话，输出一个候选框或者几个点，再交给 SAM 这类分割模型生成像素级掩码。MLLM 是能同时看图读文的大模型。SAM 一族的本事正好相反，它不读文字，只会拿着框、点这类提示把目标区域精细地抠出来。分工清楚，看起来滴水不漏。问题出在解读这一步：开箱即用的 MLLM 空间感知能力很弱，让它直接猜坐标，经常猜偏。指令简单时还好，“那个垃圾桶”这种短短语直接指过去就行。一旦指令要动用常识推理，模型就露馅了。Seg-Agent

组合指令翻车的方式也分两种。有些指令把目标说在明面上，“那个垃圾桶”这种短短语，模型顺着字面就能对上图；另一些指令绕弯子，比如“做完饭、吃完饭、洗了碗之后，剩下的食物残渣该扔进哪里？”整句话里根本没有“垃圾桶”三个字。对这类隐式指令，模型得先靠场景理解猜出指的对象，再用它本就不稳的空间感把对象换算成坐标，失误因此叠了两层：理解偏一点，坐标就跟着偏；坐标偏一点，框就飞去了别处。LISA 在 2023 年第一次把这类需要推理的查询定义成独立任务，配了 1218 个手工标注样本的 ReasonSeg 基准，图里就是它的两类样张。

图注：ReasonSeg 的标注样张。左侧是短短语直接指代，右侧是不出现目标名词的长句，要靠场景理解才能映射到对象，图上叠加了各样本的真实掩码（ground-truth mask）。两类指令的差异正是“推理分割”任务的定义起点。LISA

这个考场后来扩得很大：截至 2025 年年中的一篇综述，收编进目录的论文就超过六百篇，从图像、视频一路铺到 3D 场景。LangSegSurvey 战线拉长，瓶颈反而看得更清楚：Seg-Agent 的作者指出，两阶段框架本身没问题，卡点就落在“MLLM 猜坐标”这一步，指令一绕弯，模型恰恰在这步露馅，框给偏了，后续分割再精细也白搭。那么，主流解法是怎么补这个洞的？答案出奇地一致：训练。下一章看两条最有代表性的训练式路线，以及它们共同的盲点。

两条现成的训练式出路，为什么都做不到“看着图想”？

论文开篇图里的 (a) 和 (b)，就是当前补洞的两条主流思路。第一条是 LISA 代表的“直接输出”。它往 MLLM 的词表里塞进一个特殊 token <SEG>，训练时让模型在回答里吐出这个 token，再取出它在最后一层的 embedding（向量表示），一路解码成掩码。模型不需要“想”，说出 <SEG> 就等于画好了掩码。代价是必须对模型做 LoRA 微调，训练数据、算力、调参一样都少不了。

第二条是 Seg-Zero 代表的“文本域思维链”。它用 GRPO 这种纯强化学习，不喂任何人工标注的思考过程，让模型自己进化出“先思考再答题”的习惯：先在文本里写一段思考链，再输出一个 JSON，里面是一个框加两个点，交给冻结的 SAM2-Large 出掩码。这条路效果显著，Seg-Zero-7B 在 ReasonSeg test 上拿到 57.5 gIoU，比 LISA-7B 的 48.7 高出约 18%。gIoU 是衡量预测掩码与真实掩码整体重叠程度的指标，后文还会见到它。Seg-Zero

图注：论文开篇图把三条路线并排：(a) 直接输出，MLLM 不推理就直接给视觉提示；(b) 文本域思维链，先在文字里思考再输出坐标；(c) Seg-Agent 的显式多模态推理链，靠 Set-of-Mark 在视觉域推理、测试时自校正，全程不训练。Seg-Agent

细看 (a) 和 (b) 会发现一个共同点：无论掩码来自 token 还是来自文本思考，推理都只发生在文本这一侧，模型从始至终没有再回头看一眼图像。以 Seg-Zero 为例，它的思考链一旦把候选框定错，之后的环节就只能将错就错，从文本到坐标再到像素掩码，没有任何一步会回到图上去验证。这恰恰是 Seg-Agent 要钉死的盲点：推理域与视觉证据脱节。Seg-Agent 它自称第三条路，关键词有两个：测试时不训练任何权重，以及把验证搬进图像。不训练，真的补得上训练才能补的洞吗？

给图上的物体贴上号码，大模型就“看得到”它了？

2023 年底，微软研究院的 Set-of-Mark（SoM）工作给出一把近乎零成本的钥匙。做法朴素得不像论文：不管目标是什么，先用现成的分割模型把图像切成几十个区域，给每个区域贴上数字标号，再把这张贴满号码的图交给多模态大模型。大模型算不清坐标，但它认得数字。模型不再需要从文本里凭空猜目标在哪，只需要读号、看图、指着号说话。推理的场所，就这样从文本搬进了图像。

图注：同一张办公桌照片的两种提示方式对照。左侧是标准提示，GPT-4V 自由作答；右侧给图中区域贴上号码后，模型把“the right laptop”精确关联到号码 9，把左侧的椅子关联到 7。关键不是模型变聪明了，而是它有了可以指着说的号码。SoM

效果好到反常。原论文在 GPT-4V 上做零样本实验：同一类指代指令，不贴号时 RefCOCOg 的 REC 只有 25.7，贴号后飙升到 86.4，RES 达到 75.6，一举超过当时完全微调的 PolyFormer 的 67.2。标号的花样也很多，数字、字母、框、掩码边界都行，按图像内容挑着用，条件是必须能被模型读出、能在回答里说出来。Seg-Agent 实际采用的是框加编号的组合。

这里要划一条边界：上面这些数字是 GPT-4V 上的零样本结果，不是 Seg-Agent 的成绩。Seg-Agent 的贡献在于把钥匙从闭源的 GPT-4V 搬到开源的 Qwen2.5-VL 上，并接进完整的分割管线。SoM 钥匙有了，接下来看它怎么被装进一个“先猜、再选、再改”的流程。

先猜、再看着选、再改一改：三阶段管线凭什么比单次猜框准？

把 SoM 装进分割管线，Seg-Agent 的答案是三轮独立的推理，正好对应标题里那句“先猜、再选、再改”。先打一个比方：在导航 App 里找一家店，你可以输地址直接信它报出的那个点，这是文本域的做法；也可以在图上把几个候选位置标上号码，亲眼看着地图点中正确的那个，再把它拖到门口。后者每一步都对着真实的地图做判断。Seg-Agent 就是把“看着地图点选”这套流程自动化了。

图注：Seg-Agent 完整流程：Generation 模块对图像做多份增广后各猜一次候选框并合并，Selection 模块把候选框用 SoM 画回原图让 MLLM 选一个，Refinement 模块再渲染回图做边界微调，最后把最终框交给 SAM 出掩码。图中 SoM 指 Set-of-Mark 提示。Seg-Agent

一步步拆开看。Generation 模块让 MLLM 大胆猜：对输入图像施加 N 种增广，翻转、缩放之类，每张变体都单独送进 MLLM 出候选框，得到 N 个版本的答案。然后反向增广，用 NMS 把重叠的候选框合并成少数几个，重叠程度的阈值取 IoU 0.8。多猜几次是有道理的：单看一次，模型可能漏掉目标或者框偏，多视角的候选合起来，漏掉的东西才有机会被捞回来。

Selection 模块接过合并后的候选框，按 SoM 的办法画回原图，号码贴在框上。这次 MLLM 收到的指令是“看着图，选最贴目标的那一个”。它不用再算坐标，只要读号、比较、下判断。Refinement 模块把选中的框再次渲染回图，做最后一次微调：框大了收一收，小了放一放，偏了挪一挪。三次独立调用结束后，最终框交给 SAM2-Large 出掩码。

这套流程跑得动，两个底座能力缺一不可。MLLM 用的是 Qwen2.5-VL，它天生用绝对像素坐标输出框，不做归一化到 0-1 的处理，还自带动态分辨率，任意尺寸图像直接吃，这正是候选框质量的来源。Qwen2.5-VL 分割端选 SAM2-Large，从 SAM 到 SAM 2，这套“给一个提示、把目标抠出来”的工具传统一脉相承，单图推理时 SAM2 的视频记忆模块空转，行为等价于一个更快的 SAM。SAM SAM 2 整套推理在一张 RTX 4090 上就能跑完。还有一条边界要说清：“免训练”免的是模型权重，MLLM 和 SAM2 的参数全程冻结，三个阶段的 prompt 模板是作者手写的。换句话说，它免的是训练，不是提示词工程。

三次调用换来的是什么？是一张能够自我校正的成绩单。这张成绩单值多少分？

“不训练还和训练的打平”：这份成绩单是怎么量出来的？

先上一张表，数字全部来自 Seg-Agent 论文。三个基准，三条线：

单步基线就是 Qwen2.5-VL 加 SAM2-Large 直接出掩码，没有三阶段包装。Seg-Agent

把表格读成一句话：免训练组里 Seg-Agent 是第一，和要重训的 Seg-Zero 放到一起，三个基准基本打平。RefCOCO 系差零点几个点，ReasonSeg 上一个略低零点几、一个略高零点一，自建基准反超 0.6。再看和单步基线的差距：ReasonSeg 上 +4.1 和 +7.5，Various-LangSeg 上 +2.4。这说明真正拉开差距的不是换了个更聪明的底座，而是三阶段流程在同一个底座上叠出来的增量。

第二个看点是为什么要自建 Various-LangSeg。ReasonSeg 只有隐式查询这一类，覆盖太窄。新基准的 244 个样本铺开三个场景。显式语义分割 140 个，20 类常见物体各 7 张。通用对象分割 64 个，覆盖显著目标、伪装目标、阴影、篡改检测四种二值任务，各 16 张。推理引导分割 40 个，都是“碳水化合物丰富的食物”“美国第一夫人”这类要动用世界知识的说法。

图注：三行四列的分割掩码对比。每行一种场景，分别是显式语义、通用对象、推理引导。每列一种方法，依次是 LISA、Seg-Zero、Qwen2.5-VL+SAM2 单步、Seg-Agent。同一场景下掩码是否完整覆盖目标、有没有误圈别的东西，直观展示了三阶段管线的差距。Seg-Agent

模块消融又把功劳记到了每一环头上。单步基线 Overall 68.2，加上 Generation 和 Selection 到 68.8，换成 Generation 加 Refinement 到 69.0，三模块全开 70.6。增量最大的地方在 RGS 场景：70.1 涨到 75.2，+5.1 gIoU，这正是论文主推的数字。Seg-Agent 结论很干净：指令越需要多步推理，视觉验证的收益越大。每一步“看着图选”，都是在给“想”补上“看”的证据。分数好看，代价是什么？

为了不训练，它多付了什么，又换回了什么？

最直接的代价是延迟。完整流程要 3 到 5 次 MLLM 调用，外加图像增广和渲染，肯定比单次前向慢。但作者算了一笔对比账：Seg-Zero 那段长思考链同样要烧掉大量 token，两边总 token 量接近，并没有数量级的劣势。

第二个局限是基准规模。Various-LangSeg 只有 244 个样本，作者自己承认规模 modest，V2 扩展版已经在计划里。第三个是上限：性能被底座锁死，MLLM 猜不准框，SAM 家族就抠不细掩码。但作者把这层天花板重新解读成灵活性。因为完全不训练，更强的底座一发布就能立刻接上，训练成本是零。消融里直接测过这一点：Qwen2.5-VL 加 SAM2-L 的单步 68.2，包装成 Seg-Agent 后 70.6。把大脑换成 InternVL3-8B，同样上涨。Seg-Agent

Seg-Agent 也不是孤例。2025 到 2026 年，“免训练、推理时自我校正”同时冒出好几条路线，差别只在几个关键决策点：

CoT-Seg 让 GPT-4o 当评估器，把“要不要改”的判断写成 JSON 在文本里来回传。CoT-Seg ThinkFirst 干脆让 GPT-4o 先写一段图像总结再喂给 LISA。ThinkFirst 它们都在做推理时校正，但只有 Seg-Agent 把验证这一步搬回图像本身，还坚持全开源、全冻结。

回到第一章的问题：按一句话圈出物体，到底要不要训练？Seg-Agent 给出的回答是，在组合指令这类需要多步推理的任务上，“推理时视觉验证”已经是一条站得住的正式方法论。它用延迟换掉训练成本，用跟随底座的上限换掉对新模型的采购成本。训练式方法买到的是“一次训练、一次到位”，它买到的是“任何新底座都能立刻上车”。能力从哪来，答案从“重训权重”，拓宽成了“在推理时看着世界修正自己”。这套取舍未必适合所有场景，但它让“不训练”第一次有了和“训练”同台竞技的底气。

想深入可以读原文：Seg-Agent: Test-Time Multimodal Reasoning for Training-Free Language-Guided Segmentation — arXiv:2605.12953

参考文献

1. Seg-Agent: Test-Time Multimodal Reasoning for Training-Free Language-Guided Segmentation — https://arxiv.org/abs/2605.12953
2. Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V — https://arxiv.org/abs/2310.11441
3. Multimodal Referring Segmentation: A Survey — https://arxiv.org/abs/2508.00265
4. Qwen2.5-VL Technical Report — https://arxiv.org/abs/2502.13923
5. LISA: Reasoning Segmentation via Large Language Model — https://arxiv.org/abs/2308.00692
6. Segment Anything — https://arxiv.org/abs/2304.02643
7. Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement — https://arxiv.org/abs/2503.06520
8. SAM 2: Segment Anything in Images and Videos — https://arxiv.org/abs/2408.00714
9. CoT-Seg: Rethinking Segmentation with Chain-of-Thought Reasoning and Self-Correction — https://arxiv.org/abs/2601.17420
10. Think Before You Segment: High-Quality Reasoning Segmentation with GPT Chain of Thoughts — https://arxiv.org/abs/2503.07503