Route Anything：通用 AI 系统的模型与策略路由研究

速览

一、路由的收益可以量出来，而且比直觉小

这篇论文最该被记住的数是 5.4。在同一批测试输入上，逐输入事后挑出表现最好的候选，平均分是 87.98。完全不路由、固定用一个候选，平均分是 82.60。两者相差 5.38 分。即便允许每个 benchmark 事后挑最好的那个固定候选，也只到 82.62。真正训练出来的路由器拿到的是另一个数：在 16 个 benchmark、3,444 条输入的子集上，从 79.68 提到 79.98，多 0.30 分，约占该子集 oracle 收益的 6%。把这几组数放在一起，论文的立场就清楚了：路由确实有收益，但收益的上限不大，而且绝大部分不在「把路由器训练得更聪明」这一侧。

先解释 oracle。它是逐输入事后最优，也就是先看到结果才知道该派谁，因此是上界而不是可部署方案。它的用途只有一个：告诉你这条路一共值多少分。此前的路由研究大多集中在文本模型之间的成本节省。2023 年的 FrugalGPT 证明把 query 依次送过从便宜到贵的模型链、够用就停，可以大幅削减 API 开销；2024 年的 RouteLLM 用人类偏好数据训练一个二选一的路由器，在强弱两个模型之间切换。这两条路线都只处理文本模型，候选同质、计价单位单一。到 2026 年，视觉语言任务上的路由已经推进到执行型 VLM 场景，候选扩到 11 个模型、定价跨度约 62.5 倍，但仍在单一模态族内。真实系统不是这样：一边是语言模型，一边是图像、视频、语音生成器，还有控制机器人的策略；有的按美元计费，有的按策略执行时间计费。FrugalGPT RouteLLM SCOPE-Router

Figure 1 把候选池、决策规则和收益刻度放在同一张图里。

图注：论文 Figure 1。(a) 五类输入经标注 arg max v − λc 的路由器分派到语言模型、图像/视频/语音生成器与机器人策略；(b) 哑铃图对比每 benchmark 最佳固定候选与逐输入 oracle，右侧标出 +0.7 到 +18.9 的差距，末行 All 为 +5.4；(c) 四个效率分量。Route Anything

异构候选池不是修辞。图里的路由器只做一个动作，按 v − λc 排序；候选可以是模型、生成器，也可以是一段「先调便宜模型、验证、不合格再升级」的执行计划。这个统一动作让「派语言模型」和「派机器人策略」变成同一个问题，也让后面的价格与效率有了共同单位。

收益的分布很不均匀，而且最佳候选会随输入变化。按输出组拆开，语音 0.7 分、图文 QA 2.7 分、文本 QA 4.3 分、图像生成 5.0 分、代码与办公 agent 8.1 分、机器人 18.4 分、视频生成 18.9 分。路由的钱明显集中在视频与机器人这两组。视频这一组只有 158 条测试输入，样本基础很薄；机器人是 2,000 个场景。5.4 分这个总账要分两层读：作为整体它很小，作为「视频和机器人上还有近 19 分空间」它又很大。

二、统一语言：每个状态挑「值减价格」最大的候选

论文把路由写成一个逐状态比较的问题：给定价格 λ，最优策略就是在每个状态里挑 v(s,u)−λc(s,u) 最大的那个候选。对每条输入 x，系统有一个候选菜单 U(x)；路由器看不到完整的 x，只能看到一个状态 s=σ(x)，比如 prompt 文本、任务元数据、几张摄像头画面。候选 u 在该状态下的期望质量记作 v，期望成本记作 c。价格 λ 的含义是「你愿意为一美元，或者机器人场景里的一秒策略执行，放弃多少分」。

这个形式化看起来只是把常识写成公式，但它带来两个不那么常识的结论。第一，效率提升和质量下限是两个独立条件。论文用 η 表示平均质量除以平均资源消耗，用 η_B 表示参考策略的同一比值。效率差可以写成一个分解式，其中 Q 是相对参考的质量变化，S 是节省的资源。效率提升的条件是 Q+η_B·S>0，而质量不低于 −ε 是完全另一个条件。论文给了一个自设反例：一个只有 15% 正确率、成本却只有十分之一的候选，效率是参考的 1.5 倍，质量变化却是 −0.85。只看效率倍数，你会选出一个质量崩掉的路由。

第二，价格是有量纲的。在代码测试床上，Opus 4.6 的准入价格 λ^B 是 100 分/美元，零损失下限对应的价格是 144，效率最优价格 η* 是 1022。三个数排在同一条线上说明：价格一旦高过 100 分/美元，任何会调用 Opus 4.6 的候选都无法在任何一个状态上胜出；零损失路由的价格是 144，已经高过这条线，所以它也不调用 Opus；价格抬到 1022 才把效率推到最高。这也解释了一个容易误读的现象：效率最优的路由器从不调用参考模型 Opus 4.6，不是因为它不会，而是因为在这个价格下调用它不划算。Route Anything

讲解：价格抬高，哪些候选会出局

编排结构本身有三种常见形态。路由是一次性选一个，级联是按顺序升级，cascade routing 则是每一轮都重新路由。三者的结构差异可以用一张图看清。

图注：Dekoninck 等的 Figure 1。左栏 Router 从三个模型中选一个；中栏按 m1→m2 的顺序逐级升级；右栏 cascade routing 在每一轮重新选择并决定是否停止。图中不含价格、预算或实验数字。Unified Routing

本文的价格与效用框架是从这一族结构里抽象出来的，但价格来源不同。Dekoninck 等人把 λ 当作预算 B 的拉格朗日乘子，预算先给定；本文用「参考策略加容差 ε」反过来定价格，并额外给出有限样本下的认证。两套 λ 不能混用。另一条独立的理论线把投票、路由、级联收成同一族「电路」，但设定是二元分类与同族模型重复查询，不能直接外推到跨模态候选池。Circuits

三、要让数字可比，所有候选必须跑同一批输入

矩阵的规模是这篇论文最容易被记住的部分，但真正决定它能不能用的是一条更朴素的原则：同一个 benchmark 上，每个候选都必须在同一批输入上有分数。没有这条，逐输入事后最优根本无法计算，因为你不知道在缺失的那些输入上谁更好。

按这条原则造出来的矩阵包含 25 个 benchmark、7 个输出组、452 个候选配置、374,401 次打分，覆盖 103,307 个任务；每个候选池只有 3 到 7 个候选，按来源组 70/10/20 切分，同源同题绝不跨 split。但论文的 Table 1 只报了 24 个 benchmark、19,814 条测试输入。差的第 25 个是 SciCode，被剔除的原因是它的后续步骤会引用模型自己早先写下的代码。一旦某一步的输入取决于上一步选了谁，「所有候选跑同一批输入」就不成立了，oracle 也随之失去定义。25 / 452 / 374,401 和 24 / 19,814 是两套口径，不能混着引用。

这类矩阵在工程上长什么样，可以看 CodeRouterBench 的构造流水线。

图注：Agent-as-a-Router 的 Figure 3。Phase 1 把异构编码 benchmark 标准化为约一万个任务；Phase 2 让八个前沿模型分别经 sandboxed pass@1 与 LLM-as-Judge 打分，汇成观测矩阵 O_ij=(s_ij, κ_ij)；Phase 3 比较各路由策略的性能与成本。图中无分数或成本数值。Agent-as-a-Router

第一阶段统一任务，第二阶段让所有候选跑同一批 prompt，得到每个格子上的分数与成本，第三阶段才在这张矩阵上比较策略。本文的文本 QA 测试床来自 RouterBench，那是 2024 年就公开的同款标准件，11 个模型、36,497 条 prompt、四十余万条预生成记录，还配了 Zero router 基线与逐样本 Oracle。这类尺子的形状在 2024 年就定了，这篇论文做的是把尺子加长到七个输出组。RouterBench

还有一条比「同一批输入」更容易被忽视的规则：比较必须相对一个匹配的固定候选。论文 §4.4 给了一个很干净的反例。Opus 5.5 在 7 个 benchmark 上缺分，其中 HLE 的 1,122 条输入里缺 11 条。如果要求基线模型在每条训练输入上都有分数，这个强模型就会被排除，合并基线从 68.30 掉到 65.52。于是同一个按结果训练的路由器，成绩从 −0.40 分变成 +2.38 分。HLE 上缺的这 0.98%，让结论的符号翻了。这不是小数点问题，是评测设计问题。Route Anything

这个问题不是这一篇论文独有的。一份覆盖到 2026 年 8 月的综述也把「评测口径不统一」列成这个领域的结构性问题。没有同一批输入和匹配基线，各家报的效率倍数无法放进一张表比较。Routing survey

四、天花板由路由器的视野决定，而它该学的是结果

5.4 分里真正能拿回来的部分，比 5.4 小得多；拿不回来的部分，主要不是路由器不够聪明，而是它看不到。论文用一条不等式把这个直觉固定下来，并把它称为信息阶梯：benchmark 级的最佳固定候选不高于更细状态的路由，更细状态不高于看到完整输入的路由，最右端是 per-input oracle。每往右一格，路由器看到的信息更多，可达的上限就更高；最后一格到 oracle 之间的差距，是任何可观测状态都预测不了的结果噪声。

论文还量了每个粒度能回收多少。

图注：论文 Figure 3。三行横条：按 benchmark 粒度回收 0.4%，按能力类型回收 8%，按任务×场景回收 23%，其余标为 within types。粒度越细能回收的 oracle 差距越多，但大头始终留在类型内部。Route Anything

以 24 个 benchmark、19,814 条输入为底，按 benchmark 粒度事后挑最佳只能回收 oracle 差距的 0.4%。换到 107 个叶的能力类型树，18 个 benchmark、5,034 条输入，回收 8%。换到机器人按任务×场景条件，回收 23%。粒度越细回收越多，这条趋势很清楚；但即使细到任务与场景的组合，仍有 77% 的差距留在类型内部。注意这些百分比是「事后按该粒度挑最佳能回收多少」，不是学习路由器的实测成绩。

「结果噪声」很容易被读成「路由器再练练就行了」，一场考试可以说明它为什么不是。想象一场考试，固定策略是每次都派同一个学生去答，oracle 是每道题都派事后答对的那个人。两者相差 5.4 分。但就算你认识班上每个学生、也看得到题目，你仍然预测不了谁今天状态好、哪道题会手滑。这一部分差距不是换一个更聪明的班主任能拿回来的，它来自结果本身的随机性。论文把它写成一个期望式，只有当「几乎必然有某个候选最好」时这个间隙才消失。这也解释了为什么 learned router 只拿到 0.3 分：它面对的不只是预测难度，还有一块原则上不可预测的方差。

机器人那一组最能说明「结构上有差异」和「统计上说不清」可以同时成立。

图注：论文 Figure 4。左组为干净场景，ME-Dex 78.4、PatchWAM 81.7、Router 81.6；右组为随机化场景，62.5、45.6、61.5；图下注明 24% less policy time: 11.05 对 14.51 秒每场景。Route Anything

干净场景里 PatchWAM 81.7、路由器 81.6、ME-Dex 78.4；域随机化场景里 ME-Dex 62.5、路由器 61.5、PatchWAM 45.6。路由器确实学会了按场景切换，929/1000 的干净场景交给 PatchWAM，842/1000 的随机化场景交给 ME-Dex。但总体 71.55% 对固定策略 70.45%，只多 1.10 分，配对 95% 区间是 [−0.40,+2.55]，含 0。与此同时，策略执行动作的时间开销，也就是 policy time，从 14.51 秒降到 11.05 秒，少 24%。这 24% 是时间，不是成功率。条件级路由最高只到 72.1%，离 oracle 的 88.85% 还有约 17 个百分点，这部分要靠预测具体场景上哪个策略会成功，而它正落在不可约的那一段里。

训练目标的选择在这里变得关键。在机器人这一组数据上，学「哪个候选会赢」的分类器只有 42.80%，学「每个候选的结果会是多少」的回归器有 71.55%。根因不是模型容量，是标签：94% 的赢家标签由延迟平局规则决定，31,408 条成功训练结果里有 24,556 条变成了错误的分类目标，分类器于是学会偏好「快而常失败」的策略。RouteLLM 就是「只保留赢家身份、丢掉模型回答」这条路线最完整的代表。换成结果回归之后，收益依然有限。外部研究给出过一个上界，预测器相对自置信度的优势被候选次优性与预测器容量共同夹住；另一份跨语言实证显示，置信度类信号在知识题上接近无效，MMLU-ProX-Lite 上的 AUROC 平均只有 0.510。0.3 分不是「路由没用」的证据，它是这两条界夹出来的一个观测值。Perf. prediction Who Pays

讲解：学赢家还是学结果，差在标签

五、8.82× 要按测试床逐个读，尺子本身不对外

论文里的 8.82× 最容易被读成「成本降到八分之一」，它不是。它是四个测试床上相对效率 η/η_B 的算术平均，四个数来自两种资源、四种参考对象，而且图像生成这一行确实掉了质量。

25.5× 与 7.1× 说的是「更便宜的路线已经够用」；1.35× 那一行质量掉 0.47 分；1.33× 按秒算。把这四个数平均，就像把身高和体重相加再除以二，得到的数只能当概览，不能当单一指标。论文说「质量损失低于 0.5 分」，这句话按点估计成立，但它同时意味着图像生成这一路的质量确实在下降，而不是「无损省了 1.35 倍」。Route Anything

还有一层容易被忽略：拟合出来的质量下限不是保证。在代码测试床上，把数据重新拟合到一半探测任务后，零损失下限在测试集上只有 200 次划分中的 12.5% 成立。改用 Proposition 5 的固定序列检验，在另一半输入上认证同一条候选序列，200 次全部成立，中位效率 19.4×。一个是拟合下限，一个是可认证下限。两者的区别不是统计技巧，而是「在训练估计上说没事」和「在没见过的输入上验证过没事」的区别。认证的流程是沿价格路径从 λ=0 升到 η*，逐个候选做检验，首个失败就停并回落到参考策略。

最反直觉的一条在 §5.2。加验证器、失败重试看起来是免费的午餐，实际上不是。42 个有序模型对里，第一个失败后第二个的成功率全都更低，中位比值 0.49。一个免费的 compiler gate 能把效率推到 4.09×，但要损失 2.4 分；按列表价计费的 LLM judge 只有 0.30×。重试与验证只有在净收益超过它替代掉的那个候选时才划算，而这个条件经常不成立。

这篇论文的边界同样要写清楚。全模态轨迹矩阵是专有数据，不公开；公开的回放包只覆盖早期的代码与文本实验，所以论文 §3 与 §4 的跨模态结论外部无法独立复现。可以复核的是代码与文本两个价格测试床的回放，其中 RouterBench 需从上游另行取数。论文最后把方法收成三条规则：在同一批输入上比较候选，并相对匹配的固定候选度量收益；用逐候选结果训练路由器，并在任务类型内部找收益；先定参考与容差，再排序路线并在独立输入上认证下限。官方仓库

更长远的一个开放问题是，基础模型变强之后，预测器相对自置信度的额外价值会缩小，路由能赚的那部分可能继续变薄。这篇论文最值得带走的不是 8.82×，而是这套语言和这三条规则。它们让下一个路由系统在报数之前，先知道自己比的是什么。

想深入可以读原文：Route Anything: A Study of Model and Policy Routing for General-Purpose AI Systems，arXiv:2611.05275。

参考文献

1. Route Anything: A Study of Model and Policy Routing for General-Purpose AI Systems，https://arxiv.org/abs/2611.05275
2. Route Anything 官方代码仓库，https://github.com/InfRec-Cardinal/route-anything
3. Agent-as-a-Router: Agentic Model Routing for Coding Tasks，https://arxiv.org/abs/2606.22902
4. SCOPE-Router: Cost-Aware Open-Set VLM Routing for Execution-Oriented Tasks，https://arxiv.org/abs/2608.12127
5. Predictable performance is suboptimal, and what it means for model routing，https://arxiv.org/abs/2610.31428
6. Circuits of LLM Classifiers，https://arxiv.org/abs/2610.30076
7. RouterBench: A Benchmark for Multi-LLM Routing System，https://arxiv.org/abs/2403.12031
8. FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance，https://arxiv.org/abs/2305.05176
9. RouteLLM: Learning to Route LLMs with Preference Data，https://arxiv.org/abs/2406.18665
10. A Unified Approach to Routing and Cascading for LLMs，https://arxiv.org/abs/2410.10347
11. Dynamic Model Routing and Cascading for Efficient LLM Inference: A Survey，https://arxiv.org/abs/2603.04445
12. Who Pays for Efficient Inference? Confidence-Based Small-to-Large LLM Routing Across Tasks and Languages，https://arxiv.org/abs/2610.23249