BloomBloom
发起研究

网页智能体行动前，为什么“看清后果”比“预演下一页”更管用？

网页智能体为什么总是"走一步看一步"地翻车

想象这么一幕：你让 AI 替你订一张不可退改的机票，目的地东京，出发日期 12 月 15 日。它一路都做对了，填好了出发地、目的地和乘客信息，屏幕上只剩下日历里最后一步。结果它点向了 12 月 17 日旁边的日期标签，然后毫无察觉地一路点到了付款页。等你拿起账单，票已经出票，日期是错的，退不掉。

这幕事故的根子不在"点错"本身，而在点错之前模型从没比较过后果：要是它在按下日期标签前，先把"点这里"和"点那里"各自会带来什么结果看一眼，这单票就不会错。如何让网页智能体在行动前比较后果，正是这篇论文要回答的问题。下面每一段材料，都是对这一问的一处注脚。

先量一量这一问的规模。WebArena 在 812 个长程网页任务上测过当时最强的闭源模型：GPT-4 的成功率只有 14.41%，人类是 78.24%，中间隔着五倍多的鸿沟 WebArena。把同样的问题搬到真实网站上，WebVoyager 用 GPT-4V 跑 15 个站点、643 个任务，成功率也只有 59.1%，失败案例里典型的就是点错数字标签、提前终止导航这类反应式错误 WebVoyager。失败如此普遍，恰恰说明"行动前比较后果"的缺失不是哪家模型的运气问题，而是整条技术路线共同的缺口。

再拆一拆这一问难在哪。这一类任务天生带三重困难。第一，多步决策：一个任务往往要跨多个页面、连续执行很多步操作，前一步的小错会一路累积放大，最后全盘崩掉，研究者管这叫错误累积。第二，部分可观察：智能体只能看到当前页面，看不到"如果我点这里，下一页会变成什么样"。第三，不可逆动作：下单、付款、改隐私设置，这些动作一旦执行就退不回去，你不可能像在游戏里那样存档读档。ReAct 式的智能体把"思考、行动、观察"循环往复 ReAct，本质上就是走一步看一步。这里的"走一步看一步"不是贬义，它描述的是范式：每一刻都只根据眼前这一步做局部最优，永远不回头。换句话说，每一个动作都是在没看过后果、更没比过后果的情况下做出的，而这正是"行动前比较后果"这一问要补的那块空地。

再算一算答不好这一问的代价。网页智能体正在进入真实生活，订票、购物、填表、改订阅，在这些场景里，一步点错的代价是真实的钱和退不掉的服务。所以 14.41% 这个数字不是在说某家模型的实力，而是在说整个范式还欠着一块能力：行动之前想清楚后果的能力。

这一问可不可测？答案是可测。WebArena 的沙箱把这类任务标准化了：智能体在自托管的购物站、论坛、代码托管站、文档站里执行任务，完成度由程序化打分器校验，不需要人肉判分。

图注：WebArena 的环境设计：四类自托管网站（购物、文档管理、论坛、代码托管）加地图等工具资源，任务结果由程序化打分器自动校验，让"网页任务"第一次可以在多年窗口里公平复现 WebArena.

于是这一问有了度量衡：在这套可复现的环境里，谁能在行动前比较后果、比较得准不准，第一次变成了可以反复测量、公平对比的指标。

那么，这一问看起来有一个很直接的答案：如果动手之前能先在脑子里预演一遍"这个动作会带来什么后果"，很多错就能在造成损失之前被发现。这个预演模型就是世界模型。可它到底应该被训练成什么样？答案并不显然。

最直觉的解法：生成式世界模型，以及它错在哪一环

想解决"走一步看一步"，最直觉的办法是让模型在动手前先预演：输入当前页面和动作，输出"点击之后页面会变成什么样"。这种模型有个名字，叫世界模型（world model），本质上是环境对动作如何响应的预演器。要澄清一点：这里的世界模型是 LLM 的文本世界模型，预演的是网页状态，不是机器人领域那种生成画面的像素级模型。

这个方向已经有人做了很久，而且各有各的"预演格式"。WMA 把页面变化压缩成一张增删改清单（UPD/DEL/ADD），再让模型改写成自然语言描述 WMA。WebDreamer 更进一步，把变化压成一句简洁的自然语言摘要 WebDreamer。最新的 WebWorld 干脆用 106 万条真实浏览轨迹训练大型模型，直接输出完整的结构化页面树（accessibility tree，可访问性树，网页语义结构的描述）WebWorld。在另一侧，Mind2Web 用 137 个真实网站上的动作序列验证了另一种数据生态，真实网站也能成为训练的底料 Mind2Web。

注意这三条路线的共同点：它们都在训练模型"复现下一状态"。不管下一状态是摘要、清单还是完整页面树，模型的任务都是把某个固定格式的字符串预测出来。这篇论文把它叫作"固定格式监督式 next-state 预测"，并指出了一个关键错位：复现得像，和帮得上决策，是两回事。

论文给了一个具体的对照。在 WebArena Reddit 的一个决策点上，查询动作是"点击 Choose one… 下拉框"，三种世界模型各自的输出高下立判。

图注：同一决策点上三种世界模型的输出对比（查询动作是点击 Reddit 页面上的组合框）：判别式模型点出"组合框展开、显示论坛列表"这一具体变化，WebDreamer 描述成了另一个动作的后果，WebWorld 输出一段基本照抄当前结构的 AXTree。左侧是该页面的浏览器截图 DisCWM.

反直觉的地方在于，这两个生成式模型的失误不止于预测本身。WebDreamer 把"点击后页面会怎样"描述成了另一个动作的后果，WebWorld 则输出一段基本照抄当前结构的 AXTree，在这个例子里它们确实没有预演准动作的后果。可更隐蔽的错位还在后头：即便哪个模型把输出生成得形式上接近目标状态，固定格式的复现也未必提供候选区分所需的信息。next-token 预测奖励的是"抄得准"，而下游决策需要的是"分得清"。这就是生成式世界模型的目标错位：它练出来的能力，恰恰不是决策时最需要的那种能力。

核心解法：把"为决策服务"直接变成训练目标

这篇论文的做法，是把训练目标直接对准"服务决策"，并给它起了一个可以度量的名字：predicted-state matching（预测状态匹配）。思路一句话：让世界模型输出的不是一个固定格式的字符串，而是一个表征；然后由一个判官（judge）来判断结果。判官手里只有三样东西：预测出的表征、动作的真实结果状态、另一个动作的替代结果状态，它要回答的问题是"这个表征更像是谁的结果"。

关键设计在这里：判官看不到任务指令、看不到交互历史、看不到当前状态、也看不到被查询的动作本身。它手里只有那三样东西。这就逼着表征自己携带"动作到底造成了什么变化"的信息，否则判官无从判断。试试写一段模棱两可的通用描述，比如"页面有变化"？判官拿它去对比两份结果状态，根本分不出谁是谁，奖励归零。于是模型被迫去捕捉那个具体的、能区分真假的差别。

这像一场只凭线索认卷的考试。模型交上去的不是"标准答案"，而是一句描摹"动作之后页面什么样"的线索；考官手里只有这句线索和两份答卷，一真一假，它必须认出哪份才是线索描述的那份。想让考官得分，模型唯一的办法是把线索写得只像真的那份。判官看不到任何别的背景，想作弊都没门 DisCWM。

形式上，奖励写成 R = R_match + λ_fmt·R_fmt。前面的 R_match 是"判官挑对了得 1 分"，后面的 R_fmt 只要求输出非空、套在合法标签里，防止模型偷懒退化成空话，主实验里 λ_fmt 取 0.4。训练环节用的是 GRPO 强化学习，奖励就是上面的 R，具体超参在附录里，不影响主线。训练期的判官实例是 Qwen3-32B。到这里必须澄清一个最容易混淆的点：判别式和生成式的区别不在模型架构，而在训练目标。同一个底座、同一份数据，只换目标，效果天差地别，后面实验部分的数字会证明这一点。

图注：两种训练目标的对照：上半是标准做法，模型生成的目标状态与真实状态算 SFT 损失；下半是本文做法，模型产出的表征与真结果、替代结果一起进入判官，由判官判决表征更像哪个结果，构成判别奖励 DisCWM.

这样的目标要拿什么数据来练？论文从 Go-Browse 在 WebArena 五个域上采集的约 2.6 万条线性轨迹出发，其中 9,504 条成功 Go-Browse. 原始轨迹是单线的，但不同轨迹可能重访同一个页面状态。论文做了一次关键的"拼图"：把被多条轨迹访问过的状态合并成一张状态-动作图，节点是页面状态，从同一个状态出发的每条边是一个动作和它观测到的结果。同一个状态上的多条边，就是天然的"分叉点"：同一个起点、不同动作、不同结局。每个分叉点再拆成一对样本：给定查询动作，配一个真实结果状态和一个替代结果状态。注意，查询动作和替代动作没有好坏之分，目标只是让模型区分"谁是谁的结果"。

这套流程产出了 7,730 个分叉决策点，来自 2,839 条轨迹，一共 30,920 个配对样本，按域名分层切分训练和评估，保证分布对齐。

图注：分叉数据的构造三步：(a) 原始线性轨迹里，同一页面状态被多条轨迹重复访问（黄色标注）；(b) 把重复状态合并成状态-动作图，同一状态出发的多条边就是分叉点；(c) 每个分叉点拆成"真结果（绿）vs 替代结果（红）"的配对样本 DisCWM.

推理时它怎么用：给动作排序器补一双"看得见后果"的眼睛

训练好之后，这个表征在推理时怎么用？论文的态度很明确：世界模型不去当 policy（策略），它只是一只"眼睛"，给已有的动作排序器补充一个别人看不到的信号。排序器通常是 process reward model（PRM，过程奖励模型），它拿到任务、历史、当前状态和几个候选动作，输出"哪个动作更好"的偏好。论文的接口很干净：把世界模型预测出的表征塞进 PRM 的输入里，和候选动作并排；对照组就是去掉这个表征。这样"有没有 next-state、用哪种 next-state"就能一对一地比。

端到端的结果最有说服力。三档数字用同一条 GPT-4o 流程跑在 WebArena-Lite 上：最朴素的 ReAct 式一步一选，13.94%；改成先采样 5 个候选动作再排序，21.82%；在排序器输入里加上判别式表征，28.48% DisCWM。分解一下：+7.88 个百分点来自"多采样几个候选再排序"，+6.66 个百分点来自"给排序器补上 next-state 判别信号"。换句话说，世界模型的价值是叠在已有候选排序增益之上的，它不是替代排序器，而是给排序器补上它原本看不见的那块信息。

注意这三档的递进方式：先让同一决策点上多几个候选出身（采样），再让排序器在候选之间做选择，最后给排序器一副"看得见后果"的眼镜。判别式表征加的正是最后一层，它不生产新候选，只把每个候选的结果差异摆到排序器面前。这也是论文接口设计的苦心：插进去的是表征，拔掉的是信号，其余一切不变，所以每一分增益都能干净地归因。

为什么"先模拟后果再行动"这条路线值得走？看三种策略的对比就明白。

图注：三种智能体策略的对比：反应式只选眼前最优；树搜索想靠真实交互回溯，但网页上的不可逆动作让回溯常常不可行；基于模型的规划在模拟中先推演后果（云状节点是模拟输出）再执行 WebDreamer.

反应式策略只选眼前最优，常常走进死胡同；树搜索想靠真实交互回溯，但网页上大量动作不可逆，回溯不现实；基于模型的规划在模拟里先推演再执行，代价是模拟得准不准。WebDreamer 也走这条路，但它的模拟是生成式的：长程上模拟两步以上，不同候选的模拟轨迹越来越难区分，错误开始累积，论文自己也承认这是在长程规划里绕不开的坎 WebDreamer。判别式表征恰好补上这一环：它训练的目标就是区分候选，所以它递给排序器的，是专门为区分而生的信号。

三组对照实验：证明是"目标"在赢，不是规模在赢

到这里必须回答一个更狠的问题：涨的这些点，到底是判别式目标的功劳，还是数据更多、模型更大的功劳？论文用三组对照实验把这个问题问透了，答案都指向同一个方向。

第一组，留出数据（held-out，指没有参与训练的分叉点）上的匹配准确率。最值得读的是一行对照：Full AXTree target，47.77%。这一行同样用 Qwen3-8B 微调、用同样的数据，唯独监督目标还是老式的"生成完整 AXTree"。仅仅把目标换成 predicted-state matching，对它在 5 个域名上全部反超，整体冲到 80.80%，也压过 WebDreamer-7B 的 74.51%、WebWorld-8B 的 70.17% 和直接提示 Qwen3-8B 的 62.86% DisCWM。数据没变、模型没变，变的只是"为谁服务"。顺便说，直接用 GPT-4o 提示去判别也只有 49.40%，接近瞎猜，可见这个任务本身不简单，判别式目标带来的提升是实打实的训练成果。把判官从 Qwen3-32B 换成 GPT-4o 和 Llama-3.1-70B，判别式表征照样领先，81.26% 和 79.31%，说明它没有 overfit 到某一个判官身上。

第二组，在 WebPRMBench 上测排序能力。这是 1,150 个步级偏好样本、覆盖四个环境的评测基准 WebArbiter。三行数字的唯一变量，是排序器看到的 next-state 来自哪里：

排序器的 next-state 来源Pairwise 平均BoN 平均
无 next-state（no-state）82.0255.80
加 WebWorld 生成的 state85.4867.63
加判别式表征（本文）89.3672.70

Pairwise 涨了 7.34 个点，BoN 涨了 16.90 个点。BoN（Best-of-N，要求正例一次压过全部负例才能得分）的增益远大于 Pairwise（两两比较），这正好对上设计直觉：判别式表征专门帮排序器区分多个候选。同样的输入位置上，加 WebWorld 的生成式 state 也能涨，但涨得少。顺带一提，PRM 路线内部还有别的分支，比如 Web-Shepherd 就用 checklist 给候选动作打分 WebShepherd。它与判别式表征是互补关系，不是竞争关系。

第三组更极端：冻结的排序器，完全不再训练。光把判别式表征当作额外上下文塞进输入，Qwen2.5-7B 排序器的 Pairwise 就从 77.61 涨到 80.06；换成 WebWorld 生成的 state，反而掉到 75.61。这说明"判别式表征提供额外信息"这件事根本不依赖任何再训练。它还解释了为什么判别式表征这么短：平均 91.6 个 token 一个状态，而 WebWorld 要 412.7 个 token，更短、更准、信息密度更高。

读这三组数字时要把口径拎清：所有"涨点"都是绝对百分点，对照的都是同条件下换目标、换输入的基线，不是跨环境搬数字。

它改变了什么，边界又在哪里

这篇论文的意义，可以浓缩成三句话。

第一，它把"世界模型应当服务于下游决策"从一句口号变成了可度量的目标。匹配准确率就是那把尺子：不关心你复现得像不像，只关心你能不能帮判官分清真假。第二，它把世界模型的角色从"下一页面的抄写员"换成了"为决策服务的判别器"。抄写员的工作是复述，判别器的工作是区分，区别不在能力，在目标。第三，它提供了一个与表征格式无关（representation-agnostic）的评估协议：任何世界模型，不管输出是摘要、清单还是页面树，都能丢进同一个判官流程里公平比较。"世界模型好不好"第一次有了不依赖具体格式的评价尺子。

同时，作者自己写下的三条局限值得原样记住。其一，目前只在 WebArena 和 WebArena-Lite 上、配 GPT-4o 这一个 policy 验证过，换环境、换策略是否成立未知。其二，判官本身是有偏的 LLM，匹配准确率本质上是"用模型评模型"，是个代理指标。其三，分叉数据来自 Go-Browse 实际观测过的动作，不是对所有可能动作的穷举，监督密度受探索历史的限制 DisCWM。

这三条局限恰好指向前沿的活水。多模态方向上有 VisualWebArena，910 个视觉任务等着判别式范式去推广 VisualWebArena。长程方向上有 WebDreamer 自己承认的"模拟两步以上就累积错误"，判别式表征稳不稳，还要在更长的 horizon 上检验。推理方向上，WebArbiter 这类 reasoning-first PRM 先讲道理再下判断，与判别式 next-state 信号是两条可以并行的输入 WebArbiter。论文自己也声明实验严格停留在 benchmark 内，不支持不受限的自主部署。

把这条脉络放到时间线上看，网页智能体正站在从"反应式"到"规划式"的转弯点上：WebArena 定义了任务，ReAct 定义了行动方式，生成式世界模型证明了方向没错但目标没对准，而判别式目标第一次把"预演"和"决策"焊成了同一个训练目标。这一步踩实了，后面的长程规划、多模态推广才有地基可立。

回到开头的机票。判别式世界模型没有发明什么新魔法：它不预测整张页面，只预测一个能让排序器区分不同候选动作后果的表征。它把"预演下一页"那个目标掰正了一毫米，不用复述得像，要用得上。可就是这一毫米，让排序器第一次真正"看见"了动作的后果。

想深入可以读原文：Discriminative World Models for Web Agents — arXiv:2609.02885

参考文献

网页智能体行动前，为什么“看清后果”比“预演下一页”更管用？