换掉基准，开放权重的差距从 3 分读成 12 分

2026 年 10 月 27 日，Artificial Analysis 把 Intelligence Index 升到 v5，「开放权重落后多少」这个读数从 v4.3 的 3 分变成 v5 的 12 分。模型没有退步，变的是尺子。同一个星期，IBM CEO 在财报电话会上说开放权重的 token 价只有前沿模型的一成到四分之一、效果能到九成。两句话并不矛盾：一把尺子量能力横截面，另一把量每任务总代价。差距的读数取决于尺子，选型取决于阈值。

换掉基准只改了读数：差距从 3 分变成 12 分，模型本身没变

新口径下的快照是这样的：榜首 Claude Opus 5.5 (max) 58 分，最高的开放权重模型 Kimi K3.1 Pro 46 分，而官方在它旁边标注了「weights not yet released」；真正已经发布权重的最高分是 DeepSeek V4.1 Flash 1017 (max) 与 GLM-5.3 (max) 的 32 分，比榜首低 26 分，还被更便宜的 Claude Haiku 5.5 (max) 的 36 分超过AA Index v5。落后 12 分的那个「开放权重榜首」，权重根本还没发布，这一层在转述里通常被丢掉。

先用一句话校准术语：开放权重只意味着推理所需的参数文件公开，训练数据、训练代码与许可条款仍可能不公开。OSI 的判别标准写得更直接，「Open Source models」与「Open Source weights」必须同时给出用于导出这些参数的数据信息与代码OSAID。本文后面一律用「开放权重」，不用「开源」。

v5 换的东西可以逐项列出来。指数由 9 项评测构成，四类各占 25%；其中 5 项落在私有测试集或留出答案上，合计 60% 权重，这个比例用方法学页的 Private 列可以独立复算。换入 FrontierCode 2.0 与 Terminal-Bench-Science，升级 HLE-Diamond、AA-Omniscience v1.1 与 CritPt v2 硬子集，移除 GDPval-AA v2.1、SciCode、AA-LCR v1.1AA Index v5。

官方只对升级项给了理由：AA-Omniscience v1.1 过滤掉饱和题、移除 v1 公开集的 600 题；CritPt v2 从前沿模型五次尝试全对的题里剔掉 30 道；HLE-Diamond 换成精修的 1000 题。被移除的那三项，官方没有给逐项理由，这里也只能原样写成「官方未说明」。

读数长什么样，一眼能看出来：

图注：2026-10-27 公告时点的 v5 全榜快照，29 个模型按 58 到 6 分排序。前五名全为闭源；开放权重簇从 46 分（Kimi K3.1 Pro，权重尚未发布）才开始，已发布权重最高 32 分，被更便宜的 Claude Haiku 5.5（36 分）超过。图例区分的是权重开放与商用受限，不等于开源，分数也只在 v5 口径内成立。AA Index v5

跨版本能不能比，需要区分两个层级。官方逐基准标注了「Scores are not directly comparable」，比如 AA-Omniscience v1.1 与 v1、HLE-Diamond 与原 HLE；至于指数总分跨版本不可比，官方没有明文，这是从构成与权重全变推出的推断，写的时候应当带上推断语气。所以准确的说法是：v5 口径下读数为 12 分，同一机构此前在 v4.3 口径下测得 3 分，两者之间没有官方换算方法。

这条新闻当天被压缩成了一句「开放权重更落后」。原帖发于 2026-10-28T02:59Z，作者本人在同一句里写了「Take with a grain of salt」，并把它限定为 general vibes；所有数字其实来自它引用的 AA 官方帖，不是转述者的独立测量Mollick 帖。一条被大量转述的新闻，原帖自带免责声明，转述时往往只留下前半句。

污染会抬高分数，却几乎不改名次：这才是换尺子的入口

「污染让分数虚高」这句话混了两件事：污染是否抬高绝对分数，以及污染是否改变模型之间的顺序。这两件事可以分离，因为排行榜的下游用途几乎全是比较性的，而重排名次需要差异性污染，也就是让部分模型获益更多。一个 2026 年 7 月的预印本把污染重述成测量不变性被破坏：同一道题的原题与等义改写题做配对，记住了原题的模型在原题上显著更好，只有能力的模型两版表现相同Contamination。

先证明尺子灵敏，再谈榜有没有动。作者用已知污染剂量的受控微调模型标定工具：负对照在零附近，泄漏条件随剂量单调升高。

图注：横轴是六个已知污染条件，纵轴是基线校正后的污染信号（准确率点），量的是受控微调模型，不是真实公开模型的污染量。负对照（仅合法训练集）落在零线附近，泄漏条件随剂量依次升高，说明这把尺子能按剂量方向检出污染。Contamination

标定过了，主结论才有分量：47 个公开模型、3,691 道题上，标准榜与改写控制榜的名次相关系数 0.997，最大单模型名次变化 3 位；188 个「模型 × 基准」组合里，只有 3 例在两条独立参照轴上都超过最小可检测效应。

图注：名次斜率图。左列是原题标准评分下的名次，右列是改写控制评分下的名次，纵轴是名次不是分数。线几乎水平，说明顺序几乎不变；但最大单模型名次变化仍有 3 位，不能说「完全没变」。Contamination

这个结论的边界必须跟着走：只覆盖 ARC、GSM8K、HellaSwag、MMLU 四个经典基准与 47 个公开模型，论文全文从未讨论开放权重与闭源的对比。所以「以前开放权重看起来打平，更可能是部分评测适配」这句话属于推论层，不能当成论文结论；在同一批模型上，差异性污染中位数为 0.000，说明「污染对所有模型均匀」是需要实测的前提。

换到私有留出集也不是白拿的真值。一篇把「题目与维度权重是否公开」当作唯一被操纵变量的仿真研究给出机制：差距的变化量约等于「该基准的留出权重减公开权重」乘以一个常系数，因此收益落点由套件构成决定。13 个虚构基准上，从全公开换到全私有时有 10 个基准的「分数与满意度」差距缩小，3 个反而扩大，扩大的那 3 个在 10/10 个种子上都扩大AI Eval Ecosystem。作者自己写明这是 hypothesis generator、预测不了任何真实市场，13 个基准的维度载荷是手写的，所以「哪几个会扩大」不是对真实基准的预测。它支持的判断只有一条：换私有留出集会把误差挪到别的维度上，位置由套件构成决定。

「落后多少」要先问是哪把尺子：12 分、4 个月，以及同一指数给过的 39 和 25

另一家机构把同一件事读成时间差。Epoch AI 用 ECI 口径测出，2026-01-01 到 2026-05-28 的窗口内最强开放权重模型平均落后闭源前沿 4 个月，折合 8 个 ECI 点（90% 置信区间 7–11）；把判据换成点估计必须严格更高，这个数字放大到 6 个月。核心读数窗口止于 2026-05，2026-09 与 10 的更新只有按领域的子刻度，比如网络能力落后 6–7 个月Epoch ECI。

图注：ECI 阶梯折线，纵轴是 Epoch Capabilities Index 分数（110–160），横轴是发布月份（2023-01 到 2026-01），青色为闭源、品红为开放权重。差距在这把尺子上表现为水平方向错开一段距离。图里读不出「4 个月」，那是逐日推进算法加 bootstrap 算出来的，图中也不含任何 AA 分数。Epoch ECI

12 分与 4 个月之间没有换算关系。ECI 的刻度是任意的，锚在 Claude 3.5 Sonnet = 130、GPT-5 = 150，官方明说绝对值本身没有意义，与基准准确率也不线性；AA 的分只在各自版本内成立。两者的构成、归一化与统计窗口全不同，并置只能是两把尺子各报各的读数，任何跨口径相减或换算都是误用。

同一把尺子换一个版本，读数也会漂。Meta 发布开放权重模型 Muse Spark Open 时的官方标题是「The Most Capable US Open-Weight Model to Date」，三重限定分别是美国、开放权重、截至发布日；它从没说过「最强」，也没说过「开源」。模型卡自报的 Artificial Analysis Intelligence Index 是 39，而方法学 PDF 交代，这个数取自 AA 的 v4.3、数据日是 2026-10-07；AA 官网 v5.0 口径下同一模型是 25Muse Spark。两个数属于两把尺子，不能相减，也不能写成「下降 14 分」。

图注：Meta 官方 scorecard 原始表格，8 个模型列，按 Agentic、Knowledge & Reasoning、Coding、Multimodal 分组。读者可以直接看到 Muse Spark Open 在通用指数一行以 39 落后 GLM 5.3 的 45 与 Kimi K3 的 44。整表由厂商组装，多数数字抄自第三方榜，部分列是对手自报；表里的 39 来自 v4.3，不可与 v5.0 的 25 相减。Muse Spark

这张表还教了两件事。一是它把 Muse 自己排在 GLM 5.3 与 Kimi K3 之后，说明「最强」是被限定过的表述，不是总分第一。二是表里仍在用 GDPval-AA v2 与 SciCode，正是 v5 已经弃用的那一类评测，而各模型列的推理档位与 harness 互不相同，Meta 自己也承认评测设置没有针对第三方模型调优。厂商自报的横评是一堆口径拼起来的，不能当独立复测读。

九成有效、一成到四分之一的 token 价，账本上还有一栏写着「谁控制它」

采购方的账本可以拆成四个证据强度不同的部件，逐个看才不会被话术带走。2026-10-21 的 IBM 财报电话会上，CEO 给出的第一个数字是成本比：平均大型企业两三个机架起步，跑开放权重模型的 token 成本是前沿模型的 25% 到 10%，计算主体明确写着「Our computation」，比较对象只是 token 价，不含机架折旧、电力、运维与许可IBM 3Q26。

第二个数字是质量比，「90% as effective」。这是一句口头概括，没有点名任何基准、样本或时间窗，不能与 AA 的 58 分并列成同一量纲。第三个是够用任务清单，摘要邮件、审阅合同、回答客服通话、撰写邮件，限定语是「the vast majority」式的经验判断，没有任务样本与失败率。第四个是自托管运维：缺的是内核工程师、网络、GPU 组网与缓存，这是卖方自陈，而 IBM 同时卖主机、OpenShift 与 watsonx 家族产品。同一页里还有「four times more expensive」这种更粗的倍数表述，与 25%–10% 并存，原文没有调和，不要合并成一个数字；同场电话会里的「2-to-15x TCO」是主机经济性，与开放权重部署无关。

那句「复用已处理上下文、更高效利用现有 GPU 基础设施」在机制上指的是什么，可以看这张架构图：

图注：llm-d 推理系统架构图，来自 llm-d 项目官方文档站（IBM 是共建方之一，不是 IBM 官方发布物）。client 流量经 Router 进入推理池，Prefill 与 Decode 分离部署，共享与独立前缀缓存接在两侧，最后落到节点。图里没有任何延迟、吞吐或成本数字，不能用它佐证电话会里的成本倍数。llm-d

账本还有一栏是采购方不会主动提的：谁控制它。Hugging Face 在 2026 年 7 月遭遇自主代理攻击后，先用商业 API 背后的前沿模型做日志分析，结果被供应商的护栏挡住，因为护栏分不清事件响应者和攻击者；最终改成在自有基础设施上跑一个开放权重模型完成取证Delangue。这条事实链的动机是数据与凭据不出域，不是省钱。顺带一个判别提示：有许可权利把模型跑在自己的机器上，离「开源」还差数据信息与代码两项，许可差异留到最后一节。

最花钱的那个调用，恰好不需要前沿模型：「够用」要按调用点量出来

「够用」是任务分布的属性，不是模型的属性，这一点可以测。一项在一个真实部署的家庭自动化系统里做的实验，把用户一次交互拆成五个调用点：intent 是 10 token 预算的静态闸门，每轮都跑；actuator 把语言映射成针对站点实时实体注册表的服务调用，提示平均 28k token；planner 与 codegen 构成唯一的生成链CallSites。

图注：一次用户交互被拆成五个调用点：intent 是 10 token 的静态闸门，actuator 的提示平均 28k token，planner 与 codegen 是唯一的生成链，OTHER 分支是普通对话、未被评估。图里没有模型名、准确率和成本数字，它只说明结构差异。CallSites

280 个案例、9 个模型、2,520 条计分调用跑下来，能力排序在调用点之间不一致，而且不随规模单调。三个直接反例：Qwen3.5 4B 在 actuator 上 50.9%，低于自己 2B 兄弟的 62.1%；Gemma4 26B 在代码生成上 80.0%，低于 12B 的 84.0%；托管的 Claude Sonnet 5 在 planner 上 84.0%，低于本地 Gemma4 26B 的 88.0%，差距集中在 Sonnet 5 为站点根本不支持的请求编出流水线的那 20%。配对检验显示，最好的本地模型在五个调用点中有四个与两个托管模型统计上不可区分，只有代码生成把二者分开（对 Haiku 4.5 的 p=0.039，对 Sonnet 5 的 p=0.002）。落到账本上最刺眼的一行：81.3% 的托管支出落在 actuator，而这正是中型本地模型已经能到 95.7% 的地方，最花钱的调用不是最需要最强模型的调用。

聚合准确率还会掩盖执行安全上的失效，而且失效方向相反。Gemma4 E2B 在站点并不拥有的设备上有 87.2% 的请求真的执行了动作；Qwen3.5 0.8B 对全部 116 个 actuator 案例返回同一个空数组，它的 0.0% 过度执行率与 0.0% 执行准确率是同一件事。论文自己划的边界：单一框架、两个安装、单一未盲评审者，调用点的分类法可以迁移，绝对数字不可迁移。

token 价之外还漏了一行：卡和电。第三方实测显示，能力相近的配置能耗可以相差 27 倍，Granite-4.2-30b 开思考得 77.6 分耗 1,307 Wh，Gemma-4-26B-A4B 不开思考得 79.5 分只耗 49 WhEnergyEff。

图注：三个显存档位的能力-能量散点（32G、96G、512G），横轴是每次尝试的实测能耗（Wh，对数刻度），纵轴是七基准平均分。同分档内能耗可以差到数十倍，阶梯线是帕累托前沿。三块面板的平台与权重格式不同，不能跨面板比较读数；横轴是 Wh 不是美元。EnergyEff

把卡和电放进账本，比例会与「token 价一成」完全不同。等吞吐口径下，所需加速卡购置成本约 2.4 万到 3.4 万美元，而对应年电费只有 0.5 千到 1.7 千美元，买卡比电费高一个量级，这还没算主机、冷却、维护与人力。

图注：跨四个 96 GiB 平台的对照，上下两排共 8 个子图。下排是账本里最容易漏掉的一行：加速卡价格、等吞吐下的硬件成本、对应年电费。论文自述这不是完整的 TCO，价格是二手挂牌快照，电价按每度 0.20 美元且连续运行计算。EnergyEff

还有一个方法学警示：拿生成 token 数当能耗代理，会排错 18–24% 的配置对。按 token 单价乘 token 数去估自托管成本，误差不是小数。以上数字都限定在论文所测平台与饱和批处理下，batch size 为 1 时每 token 能耗平均高 6.6 倍，不能外推到任意机房。

12 分的能力差和一成的价格差可以同时成立，选型要落在你自己的阈值上

两把尺子能同时给出相反印象，因为它们量的不是同一个量。官方那张散点把两条轴放进同一张画面：纵轴是指数分，横轴是每任务成本。

图注：能力与每任务成本的散点，纵轴是指数分（0–70），横轴是每任务成本（美元，对数刻度，约 0.2 到 80 美元），左上浅绿色是 Most attractive quadrant，黑虚线是帕累托线。横轴只含被测模型自身的调用花费，不含评分模型调用、文档预处理与 OCR，也不是企业部署总成本。AA Index v5

12 分的能力差与「一成到四分之一」的价格差各自在一条轴上成立，可以同时为真。这张图只能说明同一批模型在两轴上的落点不同，不能直接算出一条性价比结论，因为横轴既不含评分模型调用，也不含自托管开销。

读数还会自我放大，所以换尺子同时改变了读数与被测行为。一项针对 2025 年 Chatbot Arena 的系统分析发现，允许少数厂商私下提交多个变体、只公开最高分，会让上报分数成为多次估计里的极值：模拟中测 20 个非同一变体，最高可选分数约抬升 50 分；作者提交两个完全相同的 checkpoint，最终分数分别是 1052 与 1069，中间隔着 4 个其他模型Leaderboard。

图注：四格信息图，覆盖数据访问份额（闭源 61.4%、开放权重 29.7%、开源 8.9%）、榜单过拟合风险、手工挑分与模型静默下线。这些是 2025 年 Arena 生态的份额估计，不是能力分数，也不是 2026 年的读数；64% 指被静默下线的模型里开放权重或开源所占比例，与「开放权重模型的弃用率」是两个分母。Leaderboard

这份证据的时间边界必须说清：全部数据止于 2025 年 1 到 4 月的 Arena 生态，不提供任何当期开闭能力差读数，作者机构本身也是开放权重模型的发布方。它支持的表述只有一句：评测一旦成为奖励，参与者就会朝有利于评分的方向调整行为。

四种声音各答一个问题，混在一起就会互相误解。评测机构答「测得准不准」，独立第二机构答「同一差距换把尺子读多少」，采购方答「划算不划算、谁控制它」，模型厂商答「这一代领先在哪」。四者都有一手材料，也都有各自的边界：机构未说明移除理由，采购方数字未点名基准，厂商自选列与自选 harness。把它们当成对一个问题的四种答案，是这一轮争论里最常见的读法错误。

落到自己的选型上，顺序比结论重要：

许可是第一道筛子，因为它筛掉的是根本不能用的模型。OSI 的四项自由（使用、研究、修改、分享）加上数据信息、代码、参数三要素，落到条款上就是四条轴：能否商用、能否再分发、要不要署名、多大规模会触发额外条件。同样是「开放权重」，DeepSeek-R1 是 MIT，Qwen3 与 Gemma 4 是 Apache-2.0；Kimi K2 是加了规模触发的 Modified MIT，月活超一亿或月收入超两千万美元要在产品界面显著展示模型名；Llama 3 与 Llama 4 要求「Built with Llama」署名，并把模型名以 Llama 开头，超过 7 亿月活须另行向 Meta 申请OSAID。这一栏在 token 价的对比里完全看不见。

第二道是阈值，按调用点分别测，用自己的验收集，别用公开榜单代替。要同时看过度执行率与静默率，只看聚合准确率会漏掉「该不动的时候动了」和「该动的时候什么都不做」这两类相反的失效。第三道才是成本，比每任务总代价，不是 token 单价：卡、电、运维人力与许可工程量都要进去。

仍然开放的争议有几处值得记住：私有基准的可审计性（谁来信这个分）、评测机构自身的激励、厂商自选列与自选 harness，以及自托管实测能覆盖的平台与服务态都还窄。「付前沿溢价」和「锁定开放权重」都只是这两把尺子上的一个位置，不是立场。真正要写下来的，是你每个调用点上的阈值、你的验收集，以及每一行成本的口径与日期。

参考文献

1. Announcing Artificial Analysis Intelligence Index v5 — https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v5
2. Ethan Mollick 在 X 上转述 AA v5「开放权重更落后」及其回复线程 — https://x.com/emollick/status/2115277286123704654
3. Open models lag state-of-the-art closed models by 4 months（Epoch AI Data Insight） — https://epoch.ai/data-insights/open-closed-eci-gap
4. IBM 3Q26 Earnings Call Transcript — https://www.ibm.com/downloads/documents/us-en/17f55bd310d5fdd0
5. Clément Delangue 在联合国安理会 AI 简报会上的发言 — https://ceointerviews.ai/interview/2926388/
6. Introducing Muse Spark Open, The Most Capable US Open-Weight Model to Date — https://research.meta.ai/blog/muse-spark-open
7. The AI Evaluation Ecosystem — arXiv:2610.09296
8. Contamination Inflates Scores but Rarely Reorders Large Language Model Leaderboards — arXiv:2609.02899
9. Not Every Call Needs a Frontier Model: Per-Call-Site Evaluation of Small Language Models in a Deployed Agentic Home-Automation System — arXiv:2610.09021
10. Measuring the Inference Energy Efficiency of Open-Weight LLMs across Benchmarks, Reasoning Modes, and Hardware — arXiv:2610.14389
11. The Open Source AI Definition 1.0（Open Source Initiative） — https://opensource.org/ai/open-source-ai-definition
12. The Leaderboard Illusion — arXiv:2504.20879