纯文本系统登顶图文报告榜:Deep Research 的图还没用起来

2026 年 1 月,一个专门评测「图文交错研究报告」的基准 MMDeepResearch-Bench 放出了首版排行榜。榜单上有 25 个系统,第一名是一个不产图的纯文本系统:Gemini Deep Research,Overall 49.41。榜单里那些会插图、会画图表的多模态系统,反而排在它后面。

这件事值得停下来想一秒。一个图文报告评测,被一个只会写字的系统抢了头名,说明「图」在这条赛道上还不是加分项,至少还不是稳定的加分项。更有意思的是,MMDeepResearch-Bench 论文自己给出了解释:视觉可以是负资产。同一份报告,多插一张读不准的图,可能比不插图扣得更多。而在源图整合这一维度上,四款主流闭源 Deep Research 系统几乎都贴着评分下限 1.0 分(满分 5 分),也就是说它们原则上不把互联网上的原图当作可追溯证据来用。

时点需要说清楚:到了 2026 年 9 月 13 日,该项目的官方榜单已经扩到 28 个模型,第一名换成了多模态的 MM-ReSearchArt-v1(55.43),多模态系统开始反超。但「图还没用起来」这个判断依然站得住,依据不是排名,而是源图整合贴近下限、视觉被记为负资产、以及一批明确列出的未解难题。这篇专题想回答的正是这个落差是怎么来的:一份图文报告里,一张图凭什么能撑起它旁边那句话?

要把这个问题讲透,得先看清这道题本身长什么样。整条流水线上,图要从一个陌生网页上的噪声图片,变成报告里一条可被检查的证据,中间隔着好几道关。每过一道关,就有一批系统在这里做了取舍,也在这里暴露了短板。

一道开放问题,是怎么变成一份图文报告的?

先给这道题一个最小的形状。用户丢过来一个开放问题,比如「分析欧洲海上风电的装机趋势和成本变化」。系统要做的不只是检索然后回答,而是一路走到一份带可追溯引用的长篇报告,中间穿插着与正文互相支撑的图。

整条链路可以画成下面这样。

注意最后那条从「最终核验」指回「多轮图文检索」的边。它不是一个装饰性的循环,而是这类系统和普通 RAG 的分水岭。

与 RAG、与单轮多模态问答的边界

普通 RAG 的检索目标是预先定好的:用户问了什么,就去检索什么,检索一轮或几轮,然后生成答案。多模态 Deep Research 不一样的地方在于,它的检索目标会随证据缺口动态变化。写到第三节发现「缺少 2024 年之后的海上风电度电成本数据」,系统才回头去搜这个具体的东西。搜索是被写下去的论证反过来驱动的。

和单轮多模态问答的边界在另一处。单轮问答里,图是输入,模型看一张图然后回答一个问题,答完就结束了。图文报告里,图是产出的一部分,系统得管理一整篇的结构、每张图的编号和引用、跨节的一致性,还要保证这张图出现的位置和它旁边那句话是同一件事。前者的状态是一次前向推理,后者的状态是一条持续演化的研究状态。

所以研究对象可以粗分成三类,看清这三类,后面每一章你都能立刻定位它在讲谁:

  • 搜索型智能体:核心能力是把跨模态的证据找回来、组合起来答对问题。代表是 MM-DeepResearch。
  • 报告生成型智能体:核心能力是把找回来的证据编成一整篇读得下去、且图文互相支撑的报告。代表是 Multimodal DeepResearcher、ViDR、TVIR-Agent、Deep-Reporter、Ptah。
  • 图文交错评测基准:负责在统一坐标系下量度上面两类系统。代表是 MMDeepResearch-Bench、TVIR-Bench、MMR Bench+、PtahEval、M2LongBench。

为什么单类工具不够

这三类系统的存在理由,来自一个很朴素的观察:只擅长一种工具的智能体,做不完这道题。

VL 推理智能体行为对照

图注:同一道 GAIA 题目(某动物 Wikipedia 页面在 2020 年前带「visual edit」标签的修订次数,正确答案 11)交给三类智能体。上栏的视觉型智能体走以视觉为主的推理链(分析图像边缘、纹理,再做文本推断),答成 0;中栏的多工具型智能体用一组工具循环(图像搜索、网页查看、视觉差异比对、页面浏览、网页搜索、交叉验证、证据汇总),答出 11;下栏的搜索型智能体先凭视觉猜「企鹅 / 海鸥」再去搜文本,答成「2 或 8」。这张图说的是单一工具类型不够用,不是说多工具型智能体在所有任务上都更强。WebWatcher

视觉型能感知却做不了跨模态的结构化推理,搜索型能检索却做不了需要结构化交互与代码计算的任务。这道题要的是多工具交替:先看图定位实体,再搜页面,再比对版本差异,再回到图上验证。这也解释了为什么整条流水线的上游是「搜索能力训练」,而报告侧又需要完全不同的另一套工程。WebWatcher

整张地图的主线

把七套代表系统摊开看,会发现它们的差别不在「谁更新」,而在「谁在流水线的哪一环上做了取舍」。沿着一份报告的诞生顺序,链路是这样铺开的:

视觉证据生命周期 → 搜索能力训练 → 生成图还是用源图 → 长文编排 → 过程验证 → 统一评测

每一环都会暴露出上一环答不了的问题。图有了一张,但系统会不会真去读它?读得懂,但搜得回来吗?搜得回来,但那么多来源要挑哪一张?图挑好了,但怎么编进文章不把叙事打断?文章编好了,但谁来保证它可信?

整条链上最难、也最没被解决好的,就是「图」这一环。文字证据的对齐有成熟的工具链支撑,图的证据对齐到现在还没有一套系统性的答案。下面每一章都会盯住这里的一个具体问题。

一张网图,凭什么能撑起它旁边那句话?

假设系统从某个研究机构网页上抓到了一张装机容量趋势图。它现在只是一张 PNG。要让它成为报告里一条可引用的结论,中间需要发生什么?

ViDR 这条路线给出了目前最完整的回答。它把视觉证据的生命周期拆成四个阶段,把一张噪声网图一路加工成可路由、可核验的证据对象。

ViDR 四阶段流水线

图注:ViDR 的四阶段流水线。Ⓐ 是带演化大纲的多模态研究,每一轮的搜索结果都会挂回大纲上对应的论断,支撑不足的地方被标记出来,成为下一轮检索的目标;Ⓑ 是图像富化,用一道五步漏斗把网页图片池压成少量证据原子;Ⓒ 是把研究大纲转成可执行的写作计划,并给每一节配上证据索引;Ⓓ 是分节写作,每节只拿到路由给自己的证据,写完还要过一道引用校验。图中没有任何 benchmark 分数。ViDR

从 100 张候选到 15 个证据原子

流程里最值得细看的是 Ⓑ 阶段内部那道漏斗。它接收的输入是搜索阶段攒下来的一大批原始网页图片,输出的却是一小撮结构化对象。中间经过五次收窄:

  1. 预过滤,直接扔掉 logo、图标、缩略图、内联 SVG 这类根本不可能当证据的东西;
  2. 启发式剪枝,文件名里带 logo、avatar 的资产图默认剔除,除非同一处还出现了 figure 或 table 这类词;
  3. 上下文分类,判断这张图该不该留、属于什么类型、相关度如何、是不是来自一手来源;
  4. 主题重排,结合当前大纲的上下文打分,并给出一个建议投放的章节;
  5. VLM 视觉分析,真正让视觉模型看图,抽取图里可见的标题、关键文字元素、一句简短的视觉摘要,以及可推导的证据原子。

容量上是这么收窄的:约 100 张通过上下文分类,重排后剩 50 张,20 张送进视觉模型分析,最终保留 15 个证据原子。ViDR

这条漏斗做的事情,和编译器前端处理源代码有点像。编译器的语义分析会把一堆没有类型的原始 token,变成带类型标注、带作用域、带依赖关系的中间表示,下游的优化和代码生成才有东西可依。这道漏斗做的也是同一件事:把「一张裸图」从无类型的二进制数据,变成带上来源、类型、适用章节和可支持论断的中间表示。下游的章节路由和引用校验,就是在这个中间表示上做的。证据原子就是这张图的 IR。不熟悉编译器也没关系,关键只有一句:图在进入下游之前必须先被结构化成可寻址的对象,否则后面所有环节都无从检查。

证据对象:全篇的统一比较单位

那这个「中间表示」到底长什么样?在 ViDR 里,一个证据原子包含四样东西:图里可见的标题、图中关键的文字元素、一句视觉摘要,以及把可见特征和支持的事实论断连起来的可推导证据。

把这四样东西再补上它所属的图片本身、来源网址、邻近网页文本和适用章节,就得到这篇专题后面反复要用的统一比较单位——证据对象(evidence atom):

组成部分回答的问题
图片本体到底引用的是哪一张图
来源网址这张图能追溯到哪
邻近文本原文在什么语境下使用它
视觉描述图里实际可见什么
可支持主张它能支撑哪一类论断
适用章节它该出现在报告的哪个位置

这六项缺一样,图就会退化成装饰。没有来源网址,读者无法核验;没有视觉描述,系统只是复述了图注;没有可支持主张,图就不知道该往哪挂;没有适用章节,图会被插到不相关的地方。后面每一套系统,本质上都是在这六项上做了不同的工程实现。

在 MMR Bench+ 的实际评测里,这套结构的价值被量得很清楚:ViDR 在源图整合维度上拿到 3.66,而四款主流闭源系统都停在 1.00 到 1.02 之间,因为它们的图无法被追溯到来源,评分只能给到下限。ViDR

图注路线为什么不够

这里有一个容易被低估的取舍:读图注,还是真看图。

只读图注成本极低,抓一下网页结构就能拿到作者写的那句话。但图注是作者对图的概述,不是图中可直接观察的事实。一张趋势图的图注可能写着「成本持续下降」,而图里真正可读的信息是坐标轴的量纲、曲线的拐点位置、哪一年开始走平。这些信息一句话图注覆盖不全,而报告里最容易出错的地方恰恰在这里:把作者的概括当成图里能直接看到的东西写出来。

让视觉模型真正看图,能检查坐标轴、标签、趋势、模块、颜色和空间布局。代价是引入视觉误读的可能,也要额外付费。ViDR 的选择是明确站后者,并且在 Ⓓ 阶段把「必须指出可检查的视觉地标」写进 prompt 的强制约束里:每个插图占位符都必须说明它支撑哪句话,并引用一到两个具体的视觉地标。写完之后,章节引用校验会程序式地删掉那些从未提供给本节、或者放错位置的图片引用。

这一步的意义在于:它把「图与文相邻」和「图与文相互支撑」拆成了两件事,并且给前者加了一道可执行的门槛。如果一张图在文中被引用,但系统说不出它支撑了哪句话、也说不出图里哪个元素支撑了那句话,那这条引用就该被删掉。

写到这,一张图成为证据的完整链路就清楚了:发现、保留来源、去重与质量过滤、视觉理解、角色标注、章节路由、插入、回核。这条链上的最小可观察单位是证据对象。ViDR 把这条链做得最完整,Ptah 把同一套结构在下游做成了可被验收函数检视的中间态,TVIR-Agent 则没有专门的富化漏斗,而是把视觉需求直接写进大纲。如果你想把这条链上每一步的判断方法和失败案例看得更细,可以读《一张图怎样才算证据:先看懂完整任务与主张—证据链》,这里只讲到能理解整条主线为止。

问题是,证据做得再漂亮,前提是得有人能把它找回来。这套富化漏斗的输入,来自上游检索。那上游的搜索能力,又是怎么被训练出来的?

会搜的智能体怎么练出来——搜得对,然后呢?

搜索能力不是天生就有的,尤其是在多模态、多工具、多轮的设定下。MM-DeepResearch 这篇工作把研究目标严格收敛到一件事:训练一个能跨模态、跨工具、多轮搜索并整合证据的智能体。它没有去碰最终报告的版式,把全部精力放在上游。

论文点名了三个痛点,然后对症下药地配了三个组件。

痛点组件
搜索密集型多模态 QA 数据几乎不存在Hyper-Search:从网页图文里合成需要跨模态搜索的问答
缺乏多轮多工具的有效搜索轨迹DR-TTS:分解工具专家,再用树搜索重组出轨迹
在线搜索 API 训练成本过高离线多模态搜索引擎:把检索环境搬进本地

Hyper-Search:把网页织成一张超图

第一个痛点的根子是数据。公开数据集里几乎没有那种「必须跨多个图文节点搜索才能答出来」的问答,而这类数据恰恰是训练多轮搜索的核心燃料。

Hyper-Search 的做法是先建结构,再从结构上出题。它把网页里的图像和文本联合建模成节点,用超边把跨模态的节点连起来,形成一张能表达多源依赖关系的超图。节点可以这样扩展:图像节点做反向图像搜索(图像到多个网页文本)和视觉相似搜索(图像到相似图像),文本节点则由多模态模型抽出 top-K 的 URL 与图像链接继续扩展。

有了超图,出题就有了两个难度层级:Level 1 要求答案来自问题节点所在超边内的其他节点,Level 2 要求答案来自跨超边的节点。生成的问答还会经过四类过滤规则筛掉不合格的:低质量图像、不需要搜索就能答的题、视觉无关的题、答案无法验证的题。

Hyper-Search 架构

图注:Hyper-Search 的三段结构。左侧把网页里的图像与文本建成带超边的超图,并按图像反向搜索、视觉相似搜索、文本到图像、文本到文本等关系向外扩展节点;中间从超图上生成两个层级的问答,同一条超边内部的是 Level 1,跨超边的是 Level 2;下方是四类过滤规则,用来剔除低质量图像、不需要搜索的题、视觉无关的题和答案无法验证的题。图中不含任何性能数字。MM-DeepResearch

DR-TTS:把工具拆给专家,再重组出轨迹

数据有了,还缺轨迹。传统的 prompt 合成主要针对单轮搜索,套到多轮多工具的交互上就不管用了。

DR-TTS 的做法是先拆后合。它把搜索工具分成信息型和知识型两类,信息型下又分文本到文本、文本到图像、图像到图像三种基于真实网页检索的工具。训练时按工具类型拆开,每种工具训一个专门的 expert。然后把这些 expert 重新组合起来,做联合的树搜索:树上的每个节点包含这一步的推理与规划、工具调用、以及工具返回的结果,按专家分叉递归展开。答案对了就剪枝停止,错了就把这个节点标记为终点,从后续扩展中剔除。

DR-TTS 工具树搜索

图注:DR-TTS 的五模块横向流程。从左到右依次是基础多模态模型、搜索工具定义(文本到文本、文本到图像、图像到图像等)、按工具分解训练出的专家、把专家重组后做联合树搜索(树上有正确与错误的叶节点之分),最右侧是一段多轮交互样例,展示推理、工具调用、工具返回、答案的交替序列。图中没有定量数字。MM-DeepResearch

用这套方法,论文合成了 1 万条训练轨迹。MM-DeepResearch

离线引擎与两阶段训练

第三个痛点是钱。在线搜索 API 的调用成本在强化学习阶段会被放大,因为 GRPO 这类算法需要对同一个 prompt 采样多条轨迹。论文给出的量级是单次训练可达数千美元,这个成本直接限制了大模型的实验规模。

对策是把检索环境搬进本地:文本用 E5 做嵌入,图像用 jina-embeddings-v4(Jina 的多模态嵌入模型),索引用 FlashRAG,语料预先收集好。训练时走本地引擎,不反复打在线 API。两阶段训练是 SFT 冷启动加 GRPO 多轮强化学习。强化学习的奖励设计成两部分的和:

$$R = \alpha R_{acc} + (1-\alpha) R_{format}$$

$R_{acc}$ 是准确率奖励,由一个强 LLM 比较最终答案和标准答案给出;$R_{format}$ 是格式合规奖励,确保输出符合工具调用的结构要求。这样设计的好处是,模型不会为了答对而放弃工具调用的规范,也不会为了格式漂亮而放弃答对。MM-DeepResearch

搜索分数立起来,然后钉死反差

这套训练的结果,是在四个搜索密集型基准上拿到了同尺寸最好的成绩。

MM-DeepResearch 主结果

图注:MM-DeepResearch-8B 在 SimpleVQA、LiveVQA、FVQA、InfoSeek 四个基准上与另外四个模型的对比,每个子图一个基准,蓝色柱按分数从高到低排列。8B 在四个基准上均为最高(SimpleVQA 65.9、LiveVQA 65.0、FVQA 69.2、InfoSeek 72.3)。这张图只覆盖这四个基准,不能据此推断该模型在其他评测上的表现。MM-DeepResearch

现在到了这一章最关键的地方。仔细看这四个基准是什么:SimpleVQA、LiveVQA、FVQA、InfoSeek,都是短答案的判别式问答基准,用准确率类指标(部分基准由 LLM-as-a-judge 打分)衡量。在这篇论文的评测里,没有出现长报告可读性、引用 grounding 或版面质量的评测维度。

这不是论文的疏漏,而是它的定位决定的。它是一个搜索能力训练基线,强在「答得对、搜得深」,不强在「写得出读得下去的报告」。这两个能力之间没有自动的传递关系。一个 agent 能在四个问答基准上做到最好,不代表它能把搜回来的证据组织成一篇有结构的文章,更不代表它知道哪张图该放在哪一段旁边。

这正是整篇专题要继续往下走的原因。搜索侧的能力可以被系统地训练出来,但它产出的是「答对题」的分数,不是「写报告」的分数。这种搜索能力日后会被 MMDeepResearch-Bench 当作搜索侧标杆横向衡量,但那也改变不了它不产出报告的事实。MM-DeepResearch

如果你想把数据合成的配方和轨迹搜索的训练细节看得更细,可以读《MM-DeepResearch:跨模态智能体怎样学会多轮搜索》。这里我们要接着问的是:假设证据已经找得回来,报告里的图到底从哪来?

报告里的图从哪来:现成源图,还是现画一张?

图有两条来源路线,这一章把它们摆在一起对照。

一条是从零生成图表:数据在网络和资料里,系统自己算、自己画。另一条是把源图当一等证据:不重新画,直接检索互联网上已有的图,加工之后嵌进报告。

两条路线不是新旧关系,是同一道题在取舍轴上的不同支点。

生成图路线:把图表变成可编辑的中间产物

Multimodal DeepResearcher 把「文本与图表交错报告」当作一个独立任务,整篇围绕一个核心难点展开:图表要怎么被结构化地表达出来,才能塞进 LLM 的上下文、并且被反复编辑?

它的框架分四个阶段。

Multimodal DeepResearcher 四阶段框架

图注:Multimodal DeepResearcher 的四阶段框架。A 是针对给定主题的迭代研究,用多轮检索和推理积累素材;B 是范例文本化,把人类专家写好的图文报告里的图,替换成结构化的文本描述;C 是规划,产出层级式大纲和一份可视化风格指南;D 是报告生成,先写出以占位符标记图位的草稿,再生成绘图代码、反复迭代修图,最后产出带图报告。Multimodal DeepResearcher

四个阶段里最关键的是 B 和 D。

B 阶段的核心是 FDV(Formal Description of Visualization,可视化的形式化描述)。 它的动机很直接:人类专家写的报告里有大量高质量的图,这些图不可能直接进 LLM 的上下文,那就把它们翻译成结构化文本。FDV 把一张图拆成四个视角来描述:整体布局(子图怎么划分、怎么排布)、绘图尺度(数据怎么映射到 x、y、颜色、大小这些视觉通道,以及坐标轴、图例、色标怎么标注)、数据(从原始数据到可绘图数据经过哪些映射、过滤和聚合)、标记(每个子图里每个图形元素的类型,以及它绑定了哪个字段)。

FDV 三栏示意

图注:FDV 的三栏示意。A 是英国和美国城市交通量的原始可视化;B 是按整体布局、绘图尺度、数据、标记四个部分写成的结构化文本描述;C 是依据这份描述重建出来的可视化。重建结果在结构上与原始图对齐,但论文只声称这是重建,没有声明二者完全一致。Multimodal DeepResearcher

D 阶段的核心是 actor-critic 迭代修图。 图先用代码渲染出来,actor 是负责写绘图代码的 LLM,critic 是一个看截图的视觉模型,它给出视觉反馈,同时浏览器控制台里的报错和警告作为硬性反馈一并回传。这个循环最多跑三轮,最后由 critic 从最近两次的结果里挑一张。

这套机制可以用一个开发者很熟的框架来理解:FDV 就是图表的源代码,渲染就是编译执行。 要改图,改的是这段结构化源码,而不是去挪像素。这个对应关系是成立的:FDV 里的数据视角对应源码里的数据变换逻辑,标记与尺度视角对应绘图语句,整体布局对应模块结构。正因为图被表示成了可读可写的形式,LLM 才能反复编辑它,而不是每次推倒重来。当然,这条类比只用来建立直觉,不懂编译也不影响理解。

代价必须如实摆出来。元素重叠是最高频的绘图错误,根源在于 FDV 信息密度过高,加上图例和标签摆放不当。幻觉拦不住:即使显式指示不要编造数据,数据不足时模型仍然会编,论文附录里就有一张错误的 choropleth(分级统计)地图,把数据缺失的区域涂红表示「指标下降」。忠实度在弱模型上会失守:图表评估里数据忠实度这一项,在 Claude 3.7 Sonnet 配置下是 9.83(满分 10),换到开源模型配置下降到 7.93,甚至被基线 DataNarrative 的 7.99 略微反超。成本翻倍:加入迭代修图后,单份报告平均耗时 767.20 秒,基线 DataNarrative 是 372.94 秒,视觉评论者迭代是整个框架最主要的算力支出。Multimodal DeepResearcher

源图路线:不重画,直接检索并用

另一条路线的判断完全不同:与其画一张新图,不如把互联网上已有的图找回来、加工好、插进去、并核验它真的支撑了那句话。

三种研究范式对照

图注:三种报告范式的对照。纯文本系统完全不使用视觉证据;图表生成系统会重新合成图,但丢掉了原始来源图片;源图 grounding 的路线则检索并让原始图片在报告中落地,只有在源证据确实不足时才生成分析图表作为补充。ViDR

这两条路线的强弱面正好互补。生成图强在叙事可控:需要什么样的图、要突出什么对比、要用什么配色,全都能按这一节的论证需要来定制。代价是数据血缘和忠实度得另外核验,因为图是新造出来的,没人替你保证它和真实数据的关系。

源图强在图与文的对齐可验证:图是真实存在的,来自某个可追溯的来源,所以「这句话是否被这张图支撑」变成一个可以检查的问题。ViDR 在 MMR Bench+ 的源图整合维度上拿到 3.66,而四款主流闭源系统都贴着 1.00 的下限,差距是结构性的。代价是检索质量受搜索源限制:搜不到合适的图,这一节就只能空着或者退回生成图。

ViDR 报告样例节选

图注:ViDR 生成报告的一节节选。版式上是 markdown 标题加正文段落,源图被嵌入在相应的论证段之间,每张图配有描述性说明,把图和它旁边那句话的论断连起来。这是抽象的流水线确实能产出图文交错报告的一份定性证据。ViDR

这两条路线的取舍轴是清晰的:一边是数据血缘,一边是叙事可控。想要每一张图都经得起追溯,就得接受检索结果的不确定性;想要每一张图都精准服务于叙事,就得接受图是新造的、需要另做忠实度核验。后面每一套系统,本质上都是在这条轴上取了一个位置,而不是谁淘汰了谁。

图有了,来源也定了。但一份报告要读得下去,光有图和文还不够,这两者得编在一起,还得让引用号、图号不打架。这就是长文编排要解决的问题。

图、文、引用,怎么编成一整本读得下去的报告?

一篇报告写到第三节,会碰到一个具体而琐碎的麻烦:第一节引用了一张图,编号是图 3;第二节也引用了同一张图,编号是图 1;第三节又需要重新编引用列表。每节各自维护自己的编号,写到末尾合并的时候就会打成一团。

这类问题看起来只是工程细节,但它决定了报告能不能读。而更根本的判断是:可读性不是末尾润色能补出来的属性。它必须在规划阶段就决定每张图的叙事角色,在写作时控制插入位置和上下文,在收尾时统一编号。这一章讲两条编排路线。

路线一:把视觉证据提前钉进大纲

TVIR-Agent 的流水线分四阶段。

TVIR-Agent 架构

图注:TVIR-Agent 的四阶段流水线。最左是结构化规划,把任务拆成带标题、摘要、视觉需求和研究笔记的大纲单元;中间是视觉资产实例化,图像搜索与图表生成两条并列的工具分支各自产出素材;右侧是顺序写作,逐节生成正文并插入视觉资源;最右是全局索引收尾,做跨节的引用去重和图号统一。TVIR

第一阶段最值得注意。规划器产出的每个大纲单元同时携带四类信息:章节标题、简短摘要、计划中的视觉需求、以及章节级研究笔记。研究笔记里逐条记着引用、来源网址和关键发现。

这一步的深意在于,它把「这一节需要一张什么样的图」提到了写作之前。图不是写到一半临时想起来的,而是规划阶段就明确写下的要求。写作时只要按图索骥去实例化这些需求就行。

第二阶段按视觉需求分两条并列的工具路径:图像搜索器处理人物、场景、建筑这类示意图,走图像搜索拿候选、启发式规则去低质量、视觉问答工具验证相关性、挑最匹配的;图表生成器处理数据分布和关系,走搜索抓数据、多源一致性核验、生成绘图代码、沙箱执行,并把源数据网址留下来作为可追溯的来源。它们之间是并列分工,不是上下游。

第三阶段顺序写作,每节同时读两类上下文:一份动态更新的全局上下文(已经写过的小节标题和摘要)加当前节的研究笔记。写作器根据视觉资源的描述决定插入点,并且每节自己维护从 1 开始的图号和引用号。这看起来是自找麻烦,实际上是为最后的全局归并留出干净起点。

第四阶段就是那个全局收尾。它先按网址和归一化内容对引用做全局去重,重排成统一的引用列表并改写正文里的引用标号;然后对全文的图和表重新顺序编号,更新正文里的图引用。

这个收尾阶段的作用,和编程语言里的链接器(linker)很像。各节写作产出的是独立编译单元,每个单元内部有自己的符号编号,从 1 开始。链接器的工作就是在最后一步把这些局部符号解析成全局一致,让所有引用指向正确的目标。这个对应关系是实在的:每节的局部图号对应目标文件里的局部符号,收尾阶段的去重与重编号对应符号解析,跨节一致性因此被压缩进一个独立的、可以重做的阶段,而不是散落在每节的写作逻辑里。不知道链接器是什么也不影响:要点只是把全局一致性交给一个专门的后处理阶段,比指望每节自己不出错更可靠。

这套设计的效果,可以用一个消融实验来验证。在 TVIR-Agent 上分别去掉不同组件:

配置视觉评估总分
完整系统78.6273.92
去掉研究笔记78.4273.52
去掉图像搜索器77.2372.53
去掉图表生成器60.9163.84

需要注意的是,这个消融只跑了 20 个任务,而且去掉图表生成器带来的视觉评估下降 17.71 分是在单一 backbone 上得到的结论。但即便把稳定性折扣算进去,量级上的反差依然很清楚:在结构化大纲把视觉证据钉死之后,自动出图能力是整篇的承重墙,去掉它整篇就塌了,而图像搜索器的影响要小一个数量级。TVIR

这也从侧面说明为什么第 4 章里的两条图源路线都值得认真对待,它们不是可选项。

路线二:在写作过程中动态控制上下文

Deep-Reporter 提供了另一个视角。它的判断是,长文的一致性不能只在收尾阶段处理,得在写作过程中持续维护。

它的框架由三个组件构成。

Deep-Reporter 架构

图注:Deep-Reporter 的三组件架构。左侧规划器把用户输入拆成若干节,每节由一个粗粒度的内容描述和一个细粒度的语义锚点清单共同定义;中间是检索与过滤,按内容描述和锚点同时发出叙事类查询与视觉类查询两股检索,再由过滤环节用模型判断候选证据的相关性;右侧是写作器,逐节增量生成,并把历史压缩进递归记忆向下传递。Deep-Reporter

第一个组件是双粒度清单。每一节由一个粗粒度的内容描述和一个细粒度的语义锚点清单共同定义:前者说这一节讲什么范围、围绕什么主题,后者列出具体要覆盖的事实和论据。粗粒度管方向,细粒度管到位。

第二个组件是双流检索加信息量过滤。按清单同时发出叙事类查询(找事实和统计)与视觉类查询(找图表和示意图),两股并行。过滤环节对每条候选证据判断它和本节清单是否相关:文本由语言模型判断语义蕴含,图像由视觉模型判断信息量,把装饰性图片剔掉,留下信息密度高的。

第三个组件是递归记忆。写每一节时,上一节用过的历史被压缩成两部分:一份递归压缩的全局摘要,加上上一节原文的尾部用于平滑衔接。生成过程写成:

$$R_k \sim P_\theta(\cdot \mid S_k, E_k, M_{k-1}, \rho_k)$$

这里的 $S_k$ 是本节的定义,$E_k$ 是过滤后通过验证的证据集合,$M_{k-1}$ 是压缩后的记忆,$\rho_k$ 是本节在全局结构中的位置索引。直觉上就是:生成这一节时,模型同时看得到本节要什么、手头有什么证据、前面写过什么、以及自己处在全文的哪个位置。

这条路线和 TVIR 的对照很有启发。TVIR 把一致性钉进大纲,靠末尾的统一阶段收口;Deep-Reporter 在写作过程中动态控制插入点和上下文,靠递归记忆维持长程衔接。两者不是替代关系,而是同一类问题的两种工程化路径。

还要提一句评测环境的稳定性问题。Deep-Reporter 配套的 M2LongBench 把开放网页检索换成了自包含的沙箱,语料预先抓取、预先索引,避免商业搜索 API 因为时间和地区不同返回不同结果,导致评测不可复现。这是个容易被忽略但很关键的对策:如果每次评测拿到的网页都不一样,那分数的高低就有一半来自运气。Deep-Reporter

写到这里,报告是能读下去了。但它可信吗?一篇文章读起来通顺、结构清晰、图文交错,并不等于每一句话背后都站着证据。

报告写完了——怎么保证每一句话都站得住?

先看一组失败模式,这决定了为什么「验收」必须是一个专门的工程环节。

图文报告的失败模式

图注:左侧是有图的报告版本,展示图文交错对报告质量的提升;右侧展示生成高质量图文交错报告面临的挑战,也就是图与文错位、图不支撑所在段落的论点、以及图片重复等失败模式。Ptah

图错位、图不支撑论点、图重复,这些都不是模型能力不足导致的偶发错误,而是流程缺了校验环节的必然结果。只要没有任何机制检查「这张图和这句话是不是同一件事」,错位就会稳定发生。

Ptah 这条路线把验证做成了贯穿全流程的验收函数。

三阶段,加一个贯穿始终的验收者

Ptah 架构

图注:Ptah 的架构。左侧规划阶段产出的是视觉感知的研究计划,除了章节级研究目标和预期证据类型,还明确写清视觉元素该出现在哪里、扮演什么叙事角色、用哪种形式;中部研究阶段为每个章节并行启动研究者,产出结构化研究包,并把源对齐图片加工成结构化的视觉工作记忆;右侧写作阶段让写作器联合生成文本与图片指令,并把图片请求仲裁到引用现有源图、继续搜索、生成新图三条路径之一。底部是六步细化流程,右侧的验收函数贯穿三个阶段,做规则层与模型评分层的双层检查。Ptah

第一个值得注意的设计是视觉工作记忆。它不是一份图片列表,而是把每张源对齐图片连同它的来源网址、邻近网页上下文、所属章节和预期视觉角色一起入库。这和上一章讲的证据对象是同一套结构,只是在这里被做成了可以在多阶段之间传递的中间态。它的构造流程是:原始图片候选先过规则层过滤,去掉低分辨率、重复、不相关、无信息量的;再过一个基于视觉模型的筛选器,按规划阶段写下的视觉需求来挑。

第二个设计是写作器的三选一。它嵌入的图片请求会在编排层被仲裁到三种操作之一:引用视觉工作记忆里已对齐的源图(首选,因为它有来源),当记忆不够用时去网上搜新图,当报告需要合成视觉时生成新图(数据驱动的走代码渲染,说明性的走文生图)。这个仲裁把第 4 章里的两条图源路线统一到了一个运行时决策里:它们不再是非此即彼的路线选择,而是按需触发的两种操作。

第三个设计是贯穿三阶段的验收函数。它做两层检查:规则层看协议合规、工具约束、结构化格式;模型评分层看检索是否覆盖了问题、章节是否自洽、视觉元素与论点是否相关。任一阶段失败就回退修订,规划阶段失败还会触发追加搜索。

可验证性是测试时扩展出来的

初稿写完,系统并不会直接交付,而是按验收反馈走六步细化:逐节改进清晰度、证据覆盖和引用保真;对每个视觉元素做保留、删除、或带指令编辑的三选一;做全局的组织、跨节一致性和图文对齐;序列化成带布局与样式规格的页面;调整页面结构、样式一致性和渲染可读性;最后在浏览器里渲染成用户可见的报告。

这才是这套设计的核心论点:可验证性是用测试时算力换来的。它不是模型训练出来的某种能力,而是流程在交付之前反复自我检查的结果。

两个数字能说明这个环节有多关键。去掉验收函数之后,引用准确率从 87.53 直接跌到 30.29,任务还有相当一部分在规划或研究阶段就停摆。去掉那六步细化之后,图片生成失败率从 0.12 涨到 0.38。换句话说,那 87.53 的引用准确率不是模型本来就有、验收只是锦上添花;它是这套验收流程的产物。Ptah

代价也要讲清楚。测试时扩展意味着模型调用次数显著上升,多阶段之间的状态同步变复杂,某一阶段的错误还可能在后续阶段级联放大。这是用算力换可信度,不是免费的。

轻收尾与重验收

把这一章和上一章放在一起看,会看到一条清晰的谱系。

TVIR 的收尾是规则式的轻收尾:去重、统一编号,做完就交付,不回头改内容。Ptah 的验收是钩子式的重验收:贯穿三个阶段,随时可能触发回退和重做,一直迭代到通过为止。还有第三条更极端的路,2026 年 8 月的 Wyvern 选择在完稿之后把文本拆成原子声明,逐条做自然语言推断核验,不支持的声明就地修订或删除。三种做法都在回答同一个问题:怎么保证报告说的每句话都站得住,只是介入的时机和粒度不同。

如果你想把多智能体工作记忆、验收函数和修订循环的细节看得更细,可以读《Ptah:把验证做成多智能体流程的验收函数》。这里我们已经把一个关键结论立住了:可信度可以是流程产出的,验收函数把「每句话都有证据」从一句口号变成了可检查的中间态。

那么最后一个问题就来了:怎么证明一份报告真的更好?「流畅」「可信」「图文一致」「版面质量」这几件事,能不能拆开来分别量?

怎么证明「这份报告真的好」——以及还剩什么没解?

评测这件事在大语言模型时代有个反复出现的陷阱:拿一个总分数论英雄。报告写得通顺、引用站得住、图文配合得当、版面读得下去,这四件事被压成一个数字,然后排名。问题是它们的提升路径完全不同,一个系统可能文笔极好而引用全是错的,另一个可能引用极准而整篇读起来像零件清单。

图文交错报告评测要做的,就是把这几件事拆开。

三段式的统一坐标系

MMDeepResearch-Bench 是目前覆盖系统最多的统一评测基准,它把一份报告送进三段并行的处理。

MMDR-Bench 评测流水线

图注:MMDeepResearch-Bench 的评测流水线。报告输入后并行经过两个模块:一个负责报告质量,看可读性、洞察力和结构完整性;另一个负责引用 grounding,把引用拆成原子论断去比对实际支持程度。两者都通过之后,才进入第三段视觉完整性检查。MMDeepResearch-Bench

三段各自的职责是:

  • 报告质量这一路看三个与任务无关的维度:可读性、洞察力、结构完整性。它的特点是双通道融合,一路从词汇多样性、章节结构、句长分布、格式合规这些轻量特征里算分,完全可复现、不依赖评分模型;另一路由评分模型打分,两路按只取决于可观察信号的系数融合,避免评分模型对不同模型家族产生偏好。
  • 引用 grounding这一路把报告里的引用标记解析成网址,抽出原子论断与引用配对,再去取回被引内容,逐条判断是否被支持。四个指标里,一致性看每条引用的实际支持强度,覆盖度看论断是否都引上了,文本保真度看报告是否真的在回答问题,而视觉证据保真度看论断是否与任务特定的视觉真值对齐。最后一项是硬约束,判定不通过就强制失败。
  • 视觉完整性这一路先解析出报告里的多模态条目,按视觉类型路由到不同的评分通道(示意图、数据图表、照片各有各的评判标准),每条在图文主题一致性、数值读取准确度、复杂视觉问答质量三个维度上打分。

整体分数的权重是:

$$\text{Overall} = 0.2 \cdot \text{FLAE} + 0.5 \cdot \text{TRACE} + 0.3 \cdot \text{MOSAIC}$$

引用 grounding 拿到最重的一半,理由是引用有据可依是深度研究最核心的要求;视觉完整性拿三成;报告质量拿两成,因为写作质量的关键程度相对较低,而且部分已经被另外两段间接覆盖。这个权重在多次扰动下排序不变,说明它不是拍脑袋定的。MMDeepResearch-Bench

纯文本评测覆盖不到什么

要理解为什么必须新增视觉维度,最好的办法是看一个已经很成熟的纯文本评测框架缺了什么。

DeepResearch Bench 是公开的文本型深度研究评测里第一个面向博士级任务的端到端基准。它有 100 个任务、覆盖 22 个领域,走两条互不重叠的轴:一条评报告质量,用四个正交维度加动态权重,再用一份参考报告做相对打分;另一条评信息检索与引用可信度,把论断与引用网址配对后逐条判断是否被支持。

DeepResearch Bench 框架

图注:DeepResearch Bench 的框架全览。左侧是数据的分布分析与任务构造流程;中间是报告质量评测,先由领域知识固定四个正交维度,再动态生成权重与评分标准,最后用参考报告做相对打分;右侧是引用可信度评测,从报告中抽取论断与引用网址配对、去重、抓取网页正文,再逐条判断支持与否,聚合成引用精度与有效引用数两个指标。DeepResearch Bench

这套框架已经相当成熟,而且有一个人审一致性的背书:它的报告质量轴与人类专家的一致性,甚至超过了人类专家之间的相互一致性。它还很敏锐地把引用拆成两个会互相背离的指标:一个系统可以引用数量极多而精度一般,另一个可以引用不多但条条准确。这两件事确实应该分开看。DeepResearch Bench

但整套框架里,没有任何一个维度在测图文对齐或图片位置。一张图有没有被正确使用、放在该放的位置、被引用时是否真的支撑了那句话,这套框架完全看不见。这不是它的疏漏,而是它的任务边界:它评的是纯文本报告。

这也解释了我们开头那个反常现象。当评测把「图」这一环纳入计分之后,会发现很多系统在这一环上的得分贴地。MMR Bench+ 的源图整合维度里,四款主流闭源系统都停在 1.00 到 1.02 之间,几乎等于不参与这项评分。这不是说它们完全不用图,而是说它们用的图无法被追溯、无法被路由、无法被核验到具体论断上,于是在这套评分里等同于没有。

好文笔 ≠ 好引用 ≠ 图文一致

把上面这些评测放在一起,会收敛到一个共同结论,也是这篇专题最重要的一句判断:好文笔、好引用、图文一致,是可以彼此分离的三件事。

这不是修辞,而是有具体证据的。同一模型加上视觉能力后,并不单调提升,细节级别(数字、日期、标签、表格单元格)的误读在视觉保真度这一项上反而明显上升。从纯文本系统升级到带检索的深度研究系统后,证据聚合能力提升了,但实体级别的错误也在上升,多轮检索合成过程中出现了实体错配。也就是说,多模态对齐和引用 grounding 可以朝相反方向走。识别一张图里有什么,和准确读出图里的数值,也是两种不同的能力。

于是「图还没用起来」这件事有了更精确的解释。它不是说系统不使用图,而是说图还没有被当作可核验的证据来使用:搜得到但读不准,读得准但接不回论断,接得回但放在错误的位置,放对了但没人检查它是否真的支撑了那句话。

2026 年 8 月还在补什么

这个方向到 2026 年 8 月仍在快速演进。Wyvern 是那个月新出的一个例子,它的结构是三模块加 22 个智能体,粒度上比同领域的其他系统细得多。

Wyvern 三模块架构

图注:Wyvern 的三模块水平架构。左侧搜索模块由 8 个智能体组成,负责查询生成、抓取、解析、完整性评分、补充搜索决策、链接扩展、摘要与离群过滤;中间报告生成模块由 10 个智能体组成,覆盖大纲合并、章节扩写、图像描述、选择、放置、总览表构造与最终润色;右侧 grounding 模块由 4 个智能体组成,做原子声明分解、自然语言推断、声明修订与标题对齐。箭头表示数据流,不表示严格的执行顺序。Wyvern

它的图像处理流程被拆成三个独立的智能体调用,这是一个值得注意的设计:第一个只看文本线索(文档标题、摘要、图注、正文里提到这张图的段落)为每张候选图生成描述;第二个看所有描述加全局大纲,挑出信息量最高的图并分配到章节;第三个则在实际写好的章节正文对照下重新检查相关性,剔除跑题的图,然后生成图注并改写正文把图融进去。

第二步和第三步的差别是关键的。看大纲做选择,判的是「这张图和这个章节的主题相不相关」;看正文做重检,判的是「这张图和这一段实际写出来的话相不相关」。后者才是真正决定图会不会错位的那一步。

它的第三条线是声明自动修订:完稿之后把段落拆成原子声明,先与引用摘要做一轮自然语言推断,被标记的再与全文做第二轮推断,然后在不支持的声明上就地修订或删除。去掉这一步,引用召回率从 73.79% 掉到 60.92%,说明这一环也是承重的。Wyvern

还没解的问题

这些近月工作确实在补洞,但它们自己也承认洞还在。把散落在各篇里的自述和评测结果汇总,未解问题大致是这几类:

  • 细粒度数值读取:模型能识别图里有张图表,但准确读出图里的具体数值、日期、标签仍是薄弱环节,这也是视觉保真度失败分析里最突出的类型。
  • 复合图与表格的蕴含判断:一张图里有多个子图、或者图本身是个表格时,判断「这句话是否被这张图支撑」变得困难得多,因为它不再是单点读取,而是需要跨子图组合推理。
  • 生成图的数据血缘:从零生成的图表在叙事上很灵活,但数据从哪来、经过了什么变换、最终呈现是否忠实,都需要另外的核验机制。
  • 跨节证据一致性:同一组证据在不同章节被引用时,表述是否一致、有没有互相矛盾,目前缺少系统性的检查。
  • 自动评分与人评偏好的差距:这是最顽固的一条。有研究报告,两个自动评分模型在部分对比上表现出 30% 以上的顺序偏见,也就是说比较 A 和 B 还是比较 B 和 A,给出的结论会不一致。
  • 源图的版权与持久链接:图是从外部网页抓来的,来源页可能失效或改版,商业部署时还有授权问题。这些在论文里通常只占一句,但落地时都是硬约束。

一张通用的定位标尺

走到这里,整条链路闭合了。回到开头那个问题:一份图文报告里,一张图凭什么能撑起它旁边那句话?

答案是,它得走完一整条链路:被人搜回来,被理解成带来源、类型、适用章节和可支持论断的证据对象,被路由到正确的章节,被写进一段真的在描述它的文字,最后被某个验收环节检查过。这条链上任何一环断掉,图和文就只是相邻,不算相互支撑。

于是判断一套新的图文报告系统时,就有了一个通用的标尺。问它五个问题:

  • 搜索:它怎么把跨模态证据找回来,这个能力是训出来的还是拼出来的?
  • 图源:它的图从哪来,是检索源图还是生成图表,在数据血缘和叙事可控之间取了什么位置?
  • 编排:它怎么决定每张图出现在哪里,一致性是在大纲阶段钉死的还是在写作时动态维护的?
  • 验证:它有没有一个专门检查「每句话都有证据」的环节,这个环节介入得有多深?
  • 评测:它用什么维度来衡量自己,这些维度能不能把文笔、引用、图文一致分开测?

五个问题问下来,一套系统在整张地图上的位置就清楚了。而这五环里最难、最没被解决好的仍然是图这一环:评测已经在计分了,规则已经写出来了,但主流系统在源图整合上还贴着下限,视觉在有些配置下还是负资产,一批明确的难题还摆在桌上。

这既是这个方向目前最明显的缺口,也恰恰是它接下来最值得下注的地方。

参考文献

本专题引用的核心资料如下,建议深入学习时阅读原文:

  1. WebWatcher: Breaking New Frontier of Vision-Language Deep Research Agent — arXiv:2508.05748
  2. MM-DeepResearch: A Simple and Effective Multimodal Agentic Search Baseline — arXiv:2603.01050
  3. Multimodal DeepResearcher: Generating Text-Chart Interleaved Reports From Scratch with Agentic Framework — arXiv:2506.02454
  4. ViDR: Grounding Multimodal Deep Research Reports in Source Visual Evidence — arXiv:2605.13034
  5. TVIR: Building Deep Research Agents Towards Text-Visual Interleaved Report Generation — arXiv:2606.02320
  6. Deep-Reporter: Deep Research for Grounded Multimodal Long-Form Generation — arXiv:2604.10741
  7. Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation (Ptah) — arXiv:2605.29861
  8. MMDeepResearch-Bench: A Benchmark for Multimodal Deep Research Agents — arXiv:2601.12346
  9. Wyvern: An Agentic Framework for Generating Grounded Multimodal Reports — arXiv:2608.14446
  10. DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents — arXiv:2506.11763
纯文本系统登顶图文报告榜:Deep Research 的图还没用起来