AI天气模型能说出不确定性从哪来:第一天预报,仅七分之一来自观测

沿海城市的气象台收到一份 AI 预报,只有一行字:“48 小时后台风中心将经过本市边界”。就这一行。撤,还是不撤?撤了,几百万人停工停课、港口关闭,台风若拐了弯就是天文数字的损失;不撤,台风真的过境,抗灾的黄金窗口就被白白浪费。决策者需要的从来不是“会不会登陆”这个是非题,而是“登陆概率多少、时间带多宽、强度多不确定”。一个确定的数字逼着人在两个极端里二选一;而一群数字,比如 50 个集合成员散开成的分布,却能把“不确定”变成可以计算的东西:六成概率、六小时误差带,撤与不撤的盈亏是可以摆上桌面的。天气预报的不确定性,从来不是“精度不够”的残次品,而是决策者真正消费的商品。而比“给出不确定性”更难的,是说清它从哪来:哪几成是观测没看准,哪几成是模型自己没学够。

气象学里,“预报必须带不确定性”早已是共识,而且有一套成熟的度量来检查它可不可信:spread-skill ratio(离散度-技巧比)。它把集合成员的离散度,除以集合均值的实际误差,等于 1 表示集合“散开的样子”和真实的误差刚好匹配,预报对自身的不确定程度既不夸大也不隐瞒。这个比值离 1 太远,意味着预报要么过度自信、要么过度保守,两种都是决策层面的危险品。业务集合的做法,是扰动初始条件或模式内部过程几十次,跑出几十条略有不同的轨迹,用这些轨迹的离散度来代表“可能的世界”。气象学由此沿袭了一条几十年的直觉:短时效的预报不确定性主要来自初始条件,也就是“我们不知道大气此刻的精确状态”,观测和同化的误差是主角;模型自身的局限要到更长的时效才压过观测。

这篇 2026 年的 arXiv 预印本,在其组件对齐的归因下,挑战了这一常见直觉。组件对齐,是说不确定性按 encoder 与 processor 两个组件分别记账;按这个口径得出的结论,不是对真实不确定性来源的完整还原。

图注:同一个决策,两种预报形态的差别。确定性单点输出把“撤或不撤”压成二选一;集合输出的离散度让损失可以两边掂量,不确定性由此变成可交易的信息。

问题来了:过去五年里,天气预报正被 AI 模型重写。它们又快又便宜,其中一条新路线尤其激进,端到端地直接吃原始观测出预报。而恰恰是这条线,既不给校准过的不确定性,更说不出不确定性从哪来。这份预印本的办法,是把 Aardvark 的 encoder 与 processor 分别随机化:一个随机源绑定一个组件,总方差由此拆成观测与模型两笔账。先点名全篇最反直觉的结论:在第 1 天这个传统上由初始条件主导的时效,能追溯到观测的分量至多七分之一,其余七分之六来自学到的动力学本身 E2E 不确定性。随机化的细节、拆账的算法、拆完的验证,都留给后文展开。凭什么让一个只吐出一个数字的系统,去支撑疏散级别的决策?

端到端 AI 预报又快又省,不确定性却整个缺席

决策者买的从来不是单个数字,而是一团能做盈亏计算的分布。天气预报为此攒了几十年的直觉:短时效的不确定性主要来自初始条件,也就是我们不知道大气此刻的精确状态,观测与同化的误差是主角,模型自身的局限要到更长的时效才压过观测。可这套直觉一碰上端到端 AI 这条新线就失灵了:它又快又省,却既不给不确定性,也说不出不确定性从哪来。这篇论文要解决的正是这一个问题:让端到端预报既给出不确定性,又把它归因到观测与模型两笔账上。

先看这条线的骨架:Aardvark Weather,2024 年由剑桥大学等机构提出的端到端预报系统,把整套传统流水线压成三个组件。encoder(编码器)吃进原始观测,输出一个对大气当前状态的估计;processor(处理器)以这一天为起点,自回归地一步步把状态推到未来 10 天;decoder(解码器)最后把网格上的预报落到台站坐标。为什么一定要先拼出这个估计?因为第 1 天的天气由现在决定,而现在只能从零散的观测里拼出来。拼得越准,短时效预报越好;拼不准的地方,就是观测侧不确定性最早冒头的地方,也是后文 encoder 那一侧随机源的安放位置。

“端到端”三个字的份量在部署方式上。传统数值天气预报(NWP)有一个绕不开的中间环节叫数据同化:观测点零散地撒在地球上,必须先编成一张整齐的大气分析场,才能喂给数值模式。Aardvark 部署时不碰任何 NWP 产品,直接吃原始观测,整个同化环节被 encoder 内化掉了。省掉中间环节换来速度:完整预报在 4 块 A100 上约 1 秒出结果,而业务模式光做同化和积分就要上千节点时 Aardvark。快与便宜,正是端到端被寄予厚望的原因。

Aardvark 三段式架构

图注:Aardvark 部署时的三段式流程:原始观测进入 encoder 得到初始大气状态估计,processor 自回归逐日推进预报,decoder 把网格预报落到台站。整条链路不依赖任何 NWP 分析场或同化系统,这就是“端到端”的含义。Aardvark

省掉中间人的代价,恰好落在拼出现在这个步骤上。encoder 得自己学会消化八路千差万别的原始观测:卫星的微波探测与散射计风场、地球静止卫星影像、陆地台站、船舶浮标、探空气球。每一路都稀疏、残缺、落在不规则的格点上,图上的白色区域就是大片缺失数据。观测在哪、密不密、可不可靠,这些差异正是预报不确定性最早的起点,一个随机源要安放的,就是这扇混乱的门。

把镜头拉远看这条线的处境。2021 年,皇家学会刊物 Philosophical Transactions of the Royal Society A 上的综述还断言,深度学习要击败数值天气预报还需要一系列根本性突破,这份综述只覆盖到 2021 年初为止 Schultz 2021。四年后这条判断被逐条打破:Pangu-Weather 和 GraphCast 在确定性预报上超过业务单模式,GenCast 用扩散模型产出集合,NeuralGCM 走保留物理求解器的 hybrid 路线,ECMWF 的 AIFS 已经每天四次业务运行。每一条路线都在往概率化走,唯独端到端这条线被留在门外。论文的原话毫不客气:“These systems are deterministic and issue no uncertainty”,这些系统是确定性的,不发布任何不确定性。这篇论文偏要在这条线上做文章:把随机源装进去之后,第 1 天这个传统上由初始条件主导的时效,能追溯到观测的分量至多七分之一,其余七分之六来自学到的动力学本身 E2E 不确定性。这个数字怎么算出来、凭什么信,后文拆账那一节会回到它。

为什么端到端会落到这步田地?因为确定性在这里不是缺陷,而是设计属性:省掉同化的同时,也把不确定性连同分析场一起丢了。要让这条最该概率化的线给出可信的不确定性,还得专门把它装回去。怎么装?答案是一个随机源绑一个组件。

把不确定性装回去:一个随机源,绑一个组件

先分清要装的是什么东西。预报不确定性其实有两个来源。一类是观测本身带进来的:传感器的噪声、卫星覆盖不到的区域,这些随机性是“天生的”,再多的数据也消不掉。街景分割的研究里,这类不确定性集中在物体边缘和远处,因为那里观测本来就模糊。Kendall 和 Gal 把它系统化地称为 aleatoric uncertainty(偶然不确定性)。另一类是模型自己没学够的部分:换成训练得更好的网络,同样的观测可能给出不同预报,这部分叫 epistemic uncertainty(认知不确定性),数据多了可以被解释掉;视觉任务里它集中在难以分类的困难样本上 Kendall & Gal。

论文的做法,是给 Aardvark 的两个组件各装一个随机源,恰好一个组件一个,互不串扰。选 Aardvark 下手有两个理由:三段式的模块化骨架允许按组件引入并归因随机性,而且它的权重和训练数据都是公开可复现的。

encoder 这一侧装的是随输入变化的 aleatoric 噪声。预训练 encoder 原本输出一个确定的分析场 $\mu(x)$,改造后变成

$$E(x;a) = \mu(x) + \sigma(x) \odot a$$

其中 $\sigma(x)$ 是学出来的、依赖输入的噪声幅度,$a$ 是一次标准正态抽样。该设计允许模型把较大的噪声幅度放在它从输入中判断为更不确定的状态区域;是否与观测稀疏度逐点对应仍需实证验证。这个构造正是 Kendall 和 Gal 的异方差回归公式,被放到了同化界面上。

processor 这一侧装的是 MC dropout。十年前的经典结果已经证明:带 dropout 训练的神经网络,把 dropout 在推理时保持打开、多跑几次前向,数学上等价于一次近似的贝叶斯推断 MC Dropout。也就是说,跑出来的方差是有正经统计含义的估计,不是随便抖出来的噪声。每次前向的掩码都不同,输出自然散开,散开的样子就是模型对自身不确定的估计。论文把 dropout 率设为 0.05,掩码在每个预报步、每个集合成员上重新抽取。不需要新训练方法,只要推理时多跑几趟。

两个随机组件用 fair CRPS 目标微调过,花费约 65 块 A100 小时,是从头预训练一套这类系统的约 65%。decoder 保持冻结,不加任何随机性。为什么刻意这么分配?因为“一个随机源精确绑定一个组件”,是后面拆账能严格成立的先决条件:每一笔方差都能说清是从哪个门口进来的。抽样时,encoder 噪声抽 7 次、dropout 掩码每组抽 7 次,共 49 个成员,两组抽样嵌套在一起,论文称之为 nested ensemble(嵌套集合),规模与业务集合可比 E2E 不确定性。

核心设计:两个随机源绑定两个组件

图注:论文 Figure 2。面板 a 把确定性 encode-process-decode 管线改造成随机映射:蓝色标注 encoder 侧输入依赖噪声 a,橙色标注 processor 侧 MC dropout ω,decoder 保持确定性冻结;面板 b 是嵌套集合:M 个 encoder 抽样把预报扇成若干 group spine,每条 spine 周围散布 N 条 dropout rollout,直线段表示不再增加离散度的 decoder。E2E 不确定性

49 个成员散成一片,总的不确定性有了。但账怎么拆开?怎么拆才算公正?

总方差拆成两笔账:组内散布归模型,组间散布归观测

把 49 个成员排成 7 组看,几何关系一目了然。先固定一次 encoder 抽样,让 dropout 独自抖动,成员围着同一条 spine 散开,这团散布归模型;再比较 7 次 encoder 抽样之间 spine 整体的位移,这团散布归观测。两组相加等于总方差,这是一条古旧的概率恒等式,全方差定律:

$$U_{\text{tot}} = \mathrm{Var}a\big[\mathbb{E}\omega[y\mid x,a]\big] + \mathbb{E}a\big[\mathrm{Var}\omega[y\mid x,a]\big] = U_{\text{enc}} + U_{\text{drop}}$$

想一个更日常的画面:7 位射手各打 7 发。每位射手的手臂在抖,成员的弹着点围着各自的着弹中心散开;但靶子本身每轮之间也在移动,整簇弹着点跟着一起平移。总散布等于手臂抖动加靶心移动,而反过来,从弹着点也能把两笔账拆开:簇内部的散布是手抖,簇与簇中心的散布是靶动。这里的 encoder 噪声就是“动的靶子”,它挪动的是整个初始大气状态,进而挪动整条预报;dropout 就是“抖的手臂”,它只让成员围绕确定动力学的那条主线打转。

拆账有个必须小心的地方:每组均值本身也带着有限样本的噪声,如果不处理,dropout 的方差会顺着组均值漏进观测这一笔账里。论文用单因素随机效应 ANOVA 的估计量,把组均值承袭的 dropout 噪声减掉,再分别估计两笔 E2E 不确定性。

拆出来的预算长这样。分析时刻(lead 0)全部方差都在 encoder 分支上,这是构造决定的;到第 1 天,encoder 分量占 14%;到第 10 天摊薄到 4%,dropout 分量相应地从 0.86 升到 0.96,总方差十天里涨了约七倍。模型不确定性沿预报滚动累积,这个方向符合气象学预期。真正反直觉的是比例:第 1 天,经典集合被初始条件不确定性主导的地方,最多只有七分之一的预报方差能通过 encoder 分支追溯到观测,其余七分之六来自学到的动力学本身。那一行“第 1 天不确定性主要来自观测”的几十年直觉,在这里被数字顶了回去。论文自己也谨慎地框定读法:encoder 占比是观测贡献的下界,dropout 占比是纯模型不确定性的上界,“观测”与“模型”的标签是组件对齐的归因,而非对真实不确定性的还原。

账拆得对不对,凭什么信?论文设计了一个可否证的实验。撤掉一路观测,如果归因是真的,那么观测这头的分量必须涨,模型那头的分量不该动。最强的一路是 IASI 探测仪:它是高光谱红外探测器,分辨大气温度与水汽的垂直结构,是分析场最依赖的观测之一。撤掉它之后,encoder 分量在第 1 到第 3 天上涨了 96% 到 111%,10 天后衰减到 +5%,而 dropout 分量自始至终没有一次响应超过 8%。再撤掉最没影响力的 IGRA 无线电探空:所有分量都在基线的 1% 以内。撤哪路,哪路账涨;响应跟观测影响力成比例地缩放,且从不泄漏到模型轴上。实验用了配对设计:撤与不撤共用同一套随机种子,24 次初始化逐次可比,两种情形之间只有观测缺了一路,所以任何差异都只能由撤除引起。方法上,“置零 encoder embedding”恰好等同于该模态缺席。

拆账结果与拆账证明

图注:论文 Figure 5。面板 a 是堆叠不确定性预算,encoder 与 dropout 两个分量随 lead time 各占多少总方差;b、c 是撤除 IASI 与 IGRA 两路观测后各分量的响应曲线;d 到 i 是两类方差的空间分布图,d/g 与 e/h 使用各自独立的色标,f/i 的直线纹理来自 encoder 与 processor 两个 ViT 的 patch 尺寸差异。E2E 不确定性

这套拆账不仅自洽,还能被实验否证,这正是它区别于“先算一个总方差再随便分分”的地方。账拆对了,可它值多少?预报本身好不好?

四个数字,各回答预报质量的一个问题

拆出来的两笔账要真的有用,前提是这个概率预报本身站得住。论文给了四个数字,各回答一个问题。

第一个数字 4.2%。这是集合均值 RMSE 在 60 个变量与 lead time 组合上的平均降幅,相对原确定性 Aardvark,最高降到 16%,95% 置信区间是 [−4.9, −3.4]%。60 个组合里 50 个统计显著,没有一个变量被显著削弱。概率化微调不仅没拖累均值预报,反而帮了它,论文把功劳归于学来的输入依赖噪声:它在训练中自动给本质上不可预测的目标降权,起到 loss attenuation 的作用。

第二个数字 24% 到 38%。先交代这个指标在量什么:CRPS 度量预测分布与真值之间的整体差距,同时惩罚两件事,一是分布离真值太远,二是分布缩得过分集中、对落点过于笃定。把 49 个成员当概率预报看,fair CRPS 相对确定性预报改善这么多,在每个变量和 lead time 上都显著。单成员集合的 CRPS 会退化回绝对误差,所以这个比较的言下之意是:概率输出是叠加在确定性技巧之上,而不是取而代之。

第三个数字 0.98。变量平均的 spread-skill ratio,第 1 到第 10 天平均,接近完美校准的 1。看曲线细节:第 1 天轻微过散,比值 1.21;第 5 天最低,0.92;第 10 天回到 0.97。值得强调的是,全程没有任何 spread inflation 或统计后处理,校准完全由概率化微调本身产生。业务集合 IFS ENS 从 1.24 起步、稳定在略高于 1,第 1 天那点过散是业务集合共有的毛病,不是这套端到端模型特有的。

评估四面板:均值技巧、概率技巧、相对位置、校准度

图注:论文 Figure 3。a 是集合均值 RMSE 相对 Aardvark 的变化,负值更好;b 是 49 成员集合 fair CRPS 的相对变化;c 是同一 CRPS 相对业务 IFS ENS,正值表示更差,别读反;d 是 spread-skill ratio 曲线,虚线是完美校准 SSR = 1,并画出 IFS ENS 作参照。具体数字见正文。E2E 不确定性

第四个数字 2.4%。这是台站级验证:在 HadISD 地面台站上,集合均值 RMSE 在整个中期都保持在确定性参照的 2.4% 以内,按概率评估则全面胜过确定性模型。但这里必须带一个限定:参照是 Aardvark 的模块化配置,不是原论文端到端联合微调的版本,因为后者的权重只在单一 lead time 发布,作者无法复现它的台站分数。台站上的校准不如网格上漂亮,全都欠散,论文把原因指向冻结的确定性 decoder,降尺度阶段不往台站上加任何离散度。

最后还有第五个数,它不漂亮但很诚实:相对 ECMWF 业务集合 IFS ENS,这套端到端模型在所有 lead time 上的概率技巧都还落后。第 1 天差距最大,变量平均 CRPS 差 80%;第 10 天收窄到 18% 到 36%。质量场,也就是位势高度与海平面气压,差距最大。为什么差在这里?论文给的解释直指观测端:业务系统里这些场受无线电探空、飞机和无线电掩星观测的约束,而它的 encoder 完全没有收到飞机和无线电掩星数据,探空权重也极低。差距最终指回 encoder 没吃到的观测类型。

为什么这三个指标必须一起报?WeatherBench 2,社区公认的 AI 天气预报统一成绩单,把 RMSE、CRPS、spread-skill 三件套指标绑在同一坐标系里,正是因为“均值好”和“校准好”是两回事:一个 RMSE 很漂亮的确定模型,完全可能对自身不确定性一无所知 WeatherBench 2。论文的得分单是“局部优秀、整体未到顶”:它赢过确定性 baseline,校准几近完美,但离业务集合还差一口气,且差在哪里一眼可见。这一口气,恰好把它推向一个更大的问题。

拆出来的不确定性,能回答“哪颗卫星最不能丢”吗

先看这张得分单在概率化路线谱系里的位置。GenCast,DeepMind 的扩散集合模型,Nature 版报告它在 1320 个评估目标中 97.2% 显著胜过业务 ENS,是目前概率化路线里成绩最亮眼的一条 GenCast。但它的做法是:每一步都从高斯白噪声出发,让扩散网络把噪声一遍遍细化成天气状态,整条轨迹全是采样出来的,每条轨迹就是一个成员。论文点出了两种路线的本质差别:一个由单一噪声源驱动的集合,没有办法区分两类来源。你想问“这团不确定里有几成是观测欠下的账”,单一噪声源的集合答不上来。这正是“一个源绑一个组件”的嵌套集合不可替代的地方。

GenCast 扩散集合流程

图注:GenCast 的预报流程:给定前两步大气状态,从初始噪声样本出发经神经网络反复细化,把结果作为残差加到当前状态,再自回归重复 30 步得到 15 天轨迹。每条独立噪声轨迹就是一个集合成员,全部离散度挂在一个噪声源上。GenCast

把同期几个代表性坐标摆在一起看更清楚。

模型路线概率化方式与论文的关系
Pangu-Weather确定性 3D 视觉 Transformer无;集合只能事后扰动初始条件概率化缺口的反面样板 [Pangu-Weather](https://arxiv.org/abs/2211.02556 "citation: Pangu-Weather: A 3D High-Resolution System for Fast and Accurate Global Weather Forecast
GraphCast确定性图神经网络无;需外部扰动才有集合确定性 baseline 的代表坐标 [GraphCast](https://arxiv.org/abs/2212.12794 "citation: GraphCast: Learning skillful medium-range global weather forecasting
GenCast扩散生成单一噪声源采样集合成员概率化但不解耦来源,无法区分观测与模型贡献
AIFS业务工程概率化尚在路线图观测驱动预报愿景的现实工程参照 [AIFS](https://arxiv.org/abs/2406.01465 "citation: AIFS -- ECMWF's data-driven forecasting system
NeuralGCMhybrid,保留可微动力核stochastic forcing不确定性的另一类来源,未显式拆解观测贡献 [NeuralGCM](https://arxiv.org/abs/2311.07222 "citation: Neural General Circulation Models for Weather and Climate

这张坐标系的直接兑现是论文提出的一个愿景:observation-driven digital twins(观测驱动的大气数字孪生)。有了拆账,观测网络设计问题就变成了可以在推理时回答的问题:“哪一路观测的丢失,会让第 3 天的预报不确定性涨得最凶?”传统答案要靠观测系统实验,重跑整套同化和预报循环,动辄数月;这里撤掉一路观测只需重编码、重跑集合,单张 GPU 上几个小时出结果。观测系统从此可以按“对预报置信度的贡献”来审计和设计,这是数字孪生最核心的一笔交易。论文自己强调,能说清不确定性来源的系统更透明、更好审计,这是它对“为什么现在重要”的回答。

当然,边界也写在论文里,作者自陈的局限要一并读:decoder 冻结导致台站级欠散,指向第三个随机分支该加在降尺度处;dropout 掩码率是固定超参数而非学到的量,后验是受限的;验证只覆盖单个留出年、单一 backbone;backbone 本身刻意精简,1.5° 网格、9 路观测总共不到 1 TB 数据,只是业务同化系统的一小角。所以到 IFS ENS 的剩余差距有一部分是 backbone 欠的,不是概率化机制欠的,报告的数字应读作这套方法能交付的下界。论文目前还是 arXiv 预印本,尚未进入期刊流程;数据与权重已按论文自陈公开,未独立验证。论文顺带点名了一个更年轻的同族系统:ECMWF 的 GraphDOP,同样只用地球系统观测训练。哪些观测最不能丢、加入或降级一路观测会怎样、观测输入被对抗性扰动后如何侦测,都被论文写成了开放问题。

把账本合上。一套预报要让人敢拍板,得先让别人看懂它的底气从哪来。这篇论文做的,是给 AI 天气预报开了第一本两栏账:观测一笔,模型一笔。第一页的账目尤其反直觉:第 1 天的预报不确定性,至多七分之一来自观测,七分之六来自模型自己。往后每一次关于“该不该相信它”的争论,都可以回到这本账上来。

想深入可以读原文:Uncertainty-Aware End-to-End AI Weather Forecasting: Disentangling Observation and Model Contributions — arXiv:2608.30795

参考文献

  1. Uncertainty-Aware End-to-End AI Weather Forecasting: Disentangling Observation and Model Contributions,Fraunhofer HHI,arXiv 预印本(解读对象)
  2. Aardvark Weather: end-to-end data-driven weather forecasting,arXiv 预印本(解读对象的 backbone)
  3. GenCast: Diffusion-based ensemble forecasting for medium-range weather,兼 Nature 637: 84-90(2025)
  4. GraphCast: Learning skillful medium-range global weather forecasting,兼 Science 382: 1416-1421(2023)
  5. AIFS — ECMWF's data-driven forecasting system,arXiv 预印本
  6. Neural General Circulation Models for Weather and Climate,兼 Nature 632(2024)
  7. WeatherBench 2: A benchmark for the next generation of data-driven global weather models,兼 JAMES(2024)
  8. Pangu-Weather: A 3D High-Resolution System for Fast and Accurate Global Weather Forecast,兼 Nature 619: 533-538(2023)
  9. Can deep learning beat numerical weather prediction?,Phil. Trans. R. Soc. A 379: 20200097(2021)
  10. Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning,ICML 2016
  11. What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?,NeurIPS 2017
AI天气模型能说出不确定性从哪来:第一天预报,仅七分之一来自观测