GigaPath-Flash：病理基础模型算力降50倍，平均分只掉0.03

"把模型压缩到原来的几十分之一，能力一定掉一大截"，这是深度学习里最根深蒂固的直觉之一。但放到病理全切片这个场景里，这个直觉可能是错的。一张组织切片会被切成几万个小图块逐一处理，真正吃算力的不是模型本身有多大，而是同一套局部计算被重复了几万次。这样，降本的空间就不在"把模型变小"，而在"把这份重复计算蒸馏掉"。微软研究院与 Providence 团队 2026 年 7 月发布的 GigaPath-Flash / GigaTIME-Flash 正是沿着这条思路：算力降约 49.5 倍，两个分类基准的平均分只从 0.8530 掉到 0.8260。本专题要讲清楚三件事：这笔账怎么算、能力凭什么不掉、以及"保住 97%"这句话的成立边界，最后落到一个判断上：省下来的钱买到的是可研究的队列，而不是临床资格。

1. 压缩必然掉能力吗：先看清一张切片的算力被什么放大

一张切片被切成数万块

病理全切片图像（WSI，whole-slide image）是整张组织切片数字化后的图像。一张 40 倍物镜扫描的切片，像素量可以到十亿级别，远超任何模型能直接吞下的尺寸。实际做法是先做组织分割、把背景滤掉，统一重采样到 20 倍放大，再裁成 256×256 像素的小块，这种小块叫图块（tile）。一张切片通常产出数万块：Prov-GigaPath 的预训练库来自 Providence 医疗网络的 171,189 张全切片，共切出约 13.8 亿个图块，覆盖 3 万余患者、31 种组织，单张切片最多切出约 70,121 个图块。Prov-GigaPath

全切片建模范式的物理结构，看下面这张官方流程图：

图注：面板 a 是核心流程：一张 WSI 按行优先序切成 256×256 图块序列，图块级编码器把每一小块转成视觉嵌入，再交给基于 LongNet 的切片级编码器统一上下文化，供下游任务使用；面板 b 是 DINOv2 图块级预训练，面板 c 是 MAE 切片级预训练。Prov-GigaPath

这张图值得多看两眼的只有一格：图块级编码器。它是全流程里被调用次数最多的组件，也是乘数效应的起点。

成本公式：乘数效应

GigaPath-Flash 的论文把成本结构写成了一个可以核对的公式：

单切片 FLOPs = 单图块编码器的 FLOPs × 图块数 + 切片级编码器的 FLOPs

这就是乘数效应的全部含义：真实部署成本里，图块编码这一项被图块数成倍放大。论文引言的原话是，tile encoder 必须在一张切片上重复运行数千次（thousands of times per slide）。测量口径也很明确：按一张含 31,469 个图块的 EBRAINS 最大切片估算，用 PyTorch FlopCounterMode 计量。GigaPath-Flash

顺着这个公式就能给悬念：同门教师版 GigaPath 跑一张切片要 14,367.3 TFLOPs，压缩版 GigaPath-Flash 只要 290.3 TFLOPs，相差约 49.5 倍。这个倍数意味着什么、"只掉 0.03 分"怎么算出来的，第 3 章再拆。

这里有个反直觉的点必须点破：业界习惯把参数量当"模型贵不贵"的标尺，而在全切片场景里，真正决定部署成本的是乘数效应。把十亿参数模型整体缩小，每个图块的计算确实省一点，但省不到点子上。降本必须对着"同一计算重复数万次"这个结构下手，而不是单纯减小模型。

要压缩的是谁：同门四兄弟

那么 Flash 到底压缩了谁？把四个模型放进同一张家族图看：

图注：GigaPath/GigaTIME 模型家族总览。GigaPath-Flash 以 22M 参数提供高效的 tile 与 slide 编码器；GigaTIME 系从 H&E 预测空间蛋白组，骨干从 CNN（9M）扩展到 ViT。GigaPath-Flash

四兄弟各司其职：GigaPath 是十亿参数教师（Nature 2024；参数量 ViT-g 1B + 86M LongNet 见于 GigaPath-Flash 论文），GigaPath-Flash 是压出来的学生（22M ViT-S 加 21M LongNet）；GigaTIME 是空间蛋白预测的 CNN 基线（9M），GigaTIME-Flash 是它的 ViT 版。压缩对象因此很具体：十亿参数教师，压到 2200 万参数学生。

问题自然冒出来：从十亿压到两千万，能力凭什么不掉？下一章给答案。

2. 十亿参数缩到两千二百万，能力凭什么不掉

答案是两条机制，设计目标各是尽量保留一样东西：知识蒸馏让模型仍能纳入教师学到的局部表征质量，膨胀注意力让模型仍能纳入切片级空间上下文。一句话概括，一个是教得好，一个是看得全。先划一条口径：这是机制层面的设计目标；论文的总体任务分数只能支撑性能账，不能单独证明这两类表征都已经被保住。

蒸馏保住局部表征质量

知识蒸馏（knowledge distillation）的想法出自 2015 年 Hinton、Vinyals 和 Dean 的工作：让训练好的大模型（教师）对每个样本输出类别概率分布，再用这份分布当小模型（学生）的训练信号，而不是只给一个对错标签。为什么这份"软目标"比硬标签教得多？因为类别之间的相对概率本身就是知识。原论文举的例子是：一辆宝马车被误判成垃圾车的概率很小，但比误判成胡萝卜大好几个数量级，"错到什么程度"携带了泛化信息。因此，同样大小、同样数据的小模型，用蒸馏训练通常明显好于直接拿小标签训练的小网络。Hinton 蒸馏

Flash 在应用端的具体设置是：学生是 22M 参数的 ViT-S/16 图块编码器，教师是冻结的十亿参数 GigaPath ViT-g，蒸馏目标用 DINOv2 自监督目标（教师输出表征作为学生的软监督信号），训练在 Providence 真实世界队列的全切片上进行；作者还特意省略了 KoLeo 正则项，因为它在把模型压到这么小时会破坏训练稳定性。这是对经典 teacher-student 蒸馏范式的延续，而不是简单地把网络剪小。GigaPath-Flash

图注：这是 Flash 实际的监督口径：教师一次前向给出每块图块的视觉嵌入（表征），学生以 DINOv2 自监督目标匹配这份教师表征。它不同于 Hinton 2015 年经典分类蒸馏里以类别概率分布为软目标的示意，Flash 蒸馏的是表征本身，两类软目标不要混为一谈。

这层"教得好"的设计目标是让模型仍能纳入局部表征质量：每一块的视觉嵌入尽量携带教师学到的细粒度判别信息。但局部只是切片的一半。

膨胀注意力保住切片级空间上下文

病理诊断从来不只是看单块。肿瘤的分级、浸润深度、结构异型，都依赖图块之间的空间关系。切片级编码器要把数万块图块嵌入当作一条长序列统一上下文化，难题在于标准 attention（注意力）的复杂度随序列长度平方增长：每个 token 都要和所有其他 token 两两交互，几万 token 的序列根本算不动，图块一多计算量直接爆掉。

LongNet 用膨胀注意力（dilated attention）把这个瓶颈解开。机制要点两条：注意力分配随 token 间距指数衰减，感受野随距离指数扩大，总计算复杂度从平方降到 O(Nd) 线性。用人话说，近处的图块看得密，远处的图块隔一段看一个，越远越稀疏但范围越广，于是序列再长，计算量也只是线性涨。而且它是标准注意力的 drop-in 替换，FlashAttention 这类现成优化可以无缝复用。LongNet

机制长什么样，直接看图：

图注：膨胀注意力的构建块：一组注意力模式同时覆盖短程密集与长程稀疏依赖，模式数量可随序列长度扩展。这是通用机制示意图，不含病理内容。LongNet

这条机制在病理上不是无根之木。GigaPath 2024 年就在 Nature 上把 LongNet 适配进全切片：图块嵌入变成 token，一张切片变成一条很长的 token 序列，交给膨胀注意力做切片级编码。消融实验显示，去掉 LongNet 切片级预训练，平均 AUROC 会从 0.903 掉到 0.886，可见切片级上下文不是锦上添花。Flash 的 21M 参数、12 层 LongNet slide encoder，就是这一机制的集成最终版。Prov-GigaPath

两条机制的分工

把两条机制并排放：蒸馏处理的是"每一块长什么样"，膨胀注意力处理的是"这些块之间什么关系"。前者由十亿参数教师教出来，设计目标是让模型仍能纳入教师学到的表征；后者靠 LongNet 在数万 token 长序列上线性扩展，让切片级空间上下文进得来。GigaPath-Flash 和 GigaTIME-Flash 还共享同一个 tile encoder（第 1 章家族图里那条共享支路），一套局部编码器同时支撑两条产品线。也正因如此，后面的任务平均分只能支撑性能账，两类表征各自是否被完整保住，任务分数单独证明不了。

机制说得再好听，也要看账。下一章把账本摊开：49.5 倍算力换 0.03 分，数字到底怎么来的。

3. 算力降 49.5 倍、平均分只掉 0.03：这笔账要拆开算

三个指标先对齐

部署成本有三个指标，对应三个问题。TFLOPs 表示跑一张切片的总计算量，回答"跑不跑得动"；吞吐是每秒处理的图块数（tiles/s），回答"跑多快"；峰值显存回答"装不装得下"。论文的效率测量都在单卡 NVIDIA A100 上进行，作者声明这些数字不跨硬件泛化，引用时必须带上这层限定。

账本总表

先看教师对学生的总账（数据取自论文 Table 2，论文精确认证值为 49.5 倍，摘要写作 50× less compute）：

两个任务先解释一下：PANDA 是前列腺癌的 6 类序数 ISUP 分级，指标 QWK 是二次加权卡帕，衡量序数预测与真值的一致性；EBRAINS 是 30 类脑肿瘤细分类，指标用平衡准确率（各类召回的平均）。平均分是两个任务分数的无权重均值。GigaPath-Flash

97% 要拆开看

这张表有三处必须较真。

第一，"97%"是平均分比值的约数。0.8260 ÷ 0.8530 ≈ 96.8%，所以不能说"两个任务都保住了 97%"。第二，平均分掩盖了单任务差异：EBRAINS 单任务掉了 0.036，比平均降幅 0.027 更大；PANDA 只掉 0.018。如果你关心某个具体的脑肿瘤分型任务，掉的点比平均值看起来的多。第三，这些数字全部出自论文自定的协议：两个公开分类基准的自定义划分（custom splits）、每个数据集单次运行（single run）、5 个 epoch、不做基于验证集的模型选择。作者自己声明，这样的结果不能与其他协议下报告的分数直接比较。

参数量不等于部署成本：GigaTIME-Flash 的反证

最能拆穿"参数量等于成本"直觉的是空间蛋白这条线。GigaTIME 的任务是从 H&E 染色预测 21 个蛋白通道的虚拟多重免疫荧光（mIF，multiplex immunofluorescence）影像，原始翻译器是个只有 9.16M 参数的 NestedUNet CNN。模型够小，但部署并不便宜：论文报告这项人群规模研究总计约 5,000 GPU 小时（原文口径是研究总计算量，而非单指推理）。参数少，架不住要在全切片、全人群上反复跑。GigaTIME

GigaTIME-Flash 反着来：参数更多，却更快更省。它的总参数量是 23,806,559（约 23.8M），做法是把主计算挪到低分辨率表示上。输入先在 ViT-S 编码器里变成 16×16 的 patch token 网格，浅层的轻量卷积解码器（通道 384→192→96→48→24，每阶段 3×3 卷积加 2 倍上采样，最后 1×1 卷积映射到 21 个输出通道）负责把低分辨率特征放大回图块尺寸；训练时大部分参数冻结，只对 qkv 与投影用 LoRA 微调。GigaPath-Flash

对照 CNN 基线的数字是：单图块 FLOPs 从 69.1 降到 14.9（约 4.6 倍），吞吐从 60.3 涨到 1,679.2 tiles/s（CNN 版在大 batch 下停滞在约 390），batch 128 时峰值显存 2.16 GB 对 16.68 GB（近 8 倍节省）。摘要写"6× faster and 8× less GPU memory"，但按图中 batch-128 数据点，吞吐比是 1,679.2 ÷ 390 ≈ 4.3 倍，和"6×"并不直接对得上。引用这个数字必须带口径：6× 是作者的摘要表述，论文没有给出它的显式计算方式。

结论：参数量从来不是部署成本。省，来自把昂贵的变换挪到低分辨率 token 空间去算，只让轻量解码器把结果放回原尺寸。

但账是真的，不代表"能力保住"无边界。这套 0.03 分的账，是在什么条件下算出来的？下一章划边界。

4. "能力保住了"成立在什么条件下：97% 的边界

作者自己划定的评估范围

先把"能力保住了"改写成精确版本：在两个指定任务、一次运行下保住。论文局限一节写得明白，slide 级评估只覆盖两个公开分类基准，没有评估向生存分析、检索或治疗反应预测等其他任务的迁移；采用单次运行、5 epoch 的固定训练配方，无法捕捉不同划分和随机种子带来的波动。GigaPath-Flash

这不是说论文不诚实。恰恰相反，作者把范围划得很清楚。但读者必须跟着划：0.826 是"两个自定基准上的平均分"，不是"病理 AI 能力"的度量。平均分撑不起细胞级的、临床级的结论。

什么是患者级证据

为什么只测两个基准不够？因为基准分数通常按图块或按切片算，而临床问题发生在患者身上。如果同一个患者的切片同时进了训练集和评估集，分数会被乐观地抬高。要判断一个模型在真实世界里有没有用，证据的最小单位应该是患者，而不是图块。

2026 年 7 月发布的外部受控基准 AtlasBench 把这条标准做成了实验。它用 285 例 TCGA 乳腺癌患者，固定按患者分 5 折（GroupKFold，同一患者的切片不会同时出现在训练和评估两侧），所有预处理只在训练折内拟合，再做 10,000 次置换检验：

图注：空间蛋白预测的任务链：H&E 全切片切块后经跨模态翻译器，输出 21 通道虚拟 mIF；验证指标是 8×8 像素窗口上的 Pearson 相关，窗口接近单个细胞尺度，但只是窗口级相关。

AtlasBench 自己的评估框架总览图，是"患者级证据标准"的直观范本：

图注：AtlasBench 的评估框架总览：从 WSI 图块嵌入出发，经过图谱构建到分子程序解码。评估纪律是三条：以患者为最小单位分组（GroupKFold）、所有预处理只在训练折内拟合、用置换检验做 null 对照。AtlasBench

结果一句话：信号真实，但有限。在未见过（held-out）的患者上预测四个预指定的分子程序，Spearman rho 只有 0.25 到 0.56，最强的 UNI2 在免疫程序上到 0.556。更扎心的对照是，91.8% 的随机 6 基因组合也能恢复至少 5/6 个"驱动基因"，说明这类文献常用指标分不清信号和随机。AtlasBench

这层证据讲到底就是一句话：榜单上的相关（correlation），不等于患者级可预测（predictability on held-out patients）。

空间蛋白侧：窗口相关不等于细胞级准确

再看空间蛋白这一路，验证口径同样要掂量。H&E 常规染色里看不到蛋白表达，GigaTIME 用配对的 H&E 和 mIF 数据训练跨模态翻译器，从 H&E 直接生成 21 个蛋白通道的虚拟 mIF，让"没做免疫荧光实验也能看到蛋白空间分布"成为可能。

Flash 版在这个任务上的验证规模有限：测试集来自 5 名 LUAD 患者的已配准图块，TMA 数据每器官位点约 10 到 20 名患者，指标是 8×8 像素窗口（约对应单个细胞尺度）上的 Pearson 相关。作者自己的原话是，这种窗口级相关并不建立细胞级准确性或临床效用（windowed Pearson correlation do not establish cell-level accuracy or clinical utility）。GigaPath-Flash

领域侧也有同向旁证：2026 年的一篇病理基础模型综述指出，多数评估仍由研究团队自建任务套件完成，缺少标准化外部验证，跨机构泛化失败与前瞻多中心验证稀缺是普遍现象。要注意这篇综述的视野只覆盖到约 2026 年初，并不包含 Flash 本文。病理FM综述

既然效率收益带不来临床资格，那它到底买到了什么？最后一章回答。

5. 省钱买到的是研究杠杆：临床资格是另一道门槛

效率收益的官方边界

先看作者自己的收尾："在部署之前，需要跨任务、队列、扫描仪和患者亚群的更广泛多机构与前瞻验证"（Broader multi-institutional and prospective validation across tasks, cohorts, scanners, and patient subgroups is needed before deployment）。这句话把判断落到了实处：效率收益首先扩大的是可研究的队列与假设数量，而不是自动获得的临床资格。GigaPath-Flash

官方许可边界把同一件事钉得更死：

• 整个模型族（GigaPath / GigaPath-Flash / GigaTIME / GigaTIME-Flash）全部 Apache-2.0 开放权重，权重在 HuggingFace 上以 gated 形式发布，需要登录并同意条款才能拉取。
• 官方声明模型仅供病理基础模型的未来研究与结果复现，不用于临床诊疗或任何临床决策，任何部署用途（商业或其他）均不在范围内。
• 连 Azure AI Foundry 的商业目录条目都写着同一句 out-of-scope。商业入口本身，也不构成临床资格声明。官方仓库

第 4 章那份 held-out 患者 rho 0.25–0.56 正好是"信号真实但有限"的量化锚点：效率收益能撑起的研究是真的，但它离临床判断还差着一整条验证链。

下一道门槛

从平均分证据到部署资格，中间隔着至少四道门槛：

图注：上方是已有证据：两个自定基准上的平均分、窗口级 Pearson 相关、held-out 患者上 0.25 到 0.56 的相关。下方是下一道门槛：跨机构校准、亚群稳定性、前瞻多中心验证与端到端成本验证。

每一道门槛都有具体含义。跨机构、染色与扫描仪漂移下的校准，回答的是"换一家医院、换一台扫描仪，模型分数还信不信得过"；亚群稳定性问的是"模型在不同人群、不同癌种亚群上的表现是否一致"；前瞻多中心验证要求在模型发布之后、真实流程里收集的新病例上重新检验，而不是在同一个数据集上反复回测；端到端成本验证则把视野从一张 A100 上的单卡测量，扩展到切片存储、切图、推理到工作流整合的完整链条。论文的效率数字只是这条链上的一环，作者也明确说测量不跨硬件泛化。

收束：被削掉的始终是重复计算

回到第 1 章那张家族总览图。Flash 打开的是整个家族里"更多队列用得起"的那扇门：算力降约 49.5 倍，平均分保留到 96.8%，蒸馏出的 ViT-S 编码器在两条 Flash 路线上共享（GigaTIME 仍是 CNN 基线，GigaPath 是蒸馏教师）。真正被削掉的，从头到尾都是耗在数万图块上的重复局部计算。在这两个自定分类基准上，性能大体保留但并非无损。

但最后一行必须写清楚：这份"性能大体保留但并非无损"只在这两个自定分类基准上成立，要证明诊断能力够临床（跨机构校准、亚群稳定、前瞻验证），中间还隔着第 4 章划出的整条验证链。0.03 分的账是真的，它买到的是更多可跑的队列、更多可做的假设：省下来的钱买到的是研究杠杆。临床资格，是这条验证链走完之后的另一道门槛。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. GigaPath-Flash and GigaTIME-Flash: Efficient Pathology Foundation Models for Whole-Slide and Tumor Microenvironment Analysis — arXiv:2607.18218
2. A whole-slide foundation model for digital pathology from real-world data (Prov-GigaPath) — Nature 630:181-188
3. Multimodal AI generates virtual population for tumor microenvironment modeling (GigaTIME) — doi:10.1016/j.cell.2025.11.016
4. Distilling the Knowledge in a Neural Network — arXiv:1503.02531
5. LongNet: Scaling Transformers to 1,000,000,000 Tokens — arXiv:2307.02486
6. Pathology Foundation Models: Evolution, Current Landscape, Challenges and Opportunities — doi:10.3390/bioengineering13050577
7. What Carries the Signal in Pathology Foundation-Model Atlases? A Patient-Level Controlled Benchmark in Breast Cancer — arXiv:2608.00105
8. Prov-GigaPath official repository (GigaPath / GigaPath-Flash / GigaTIME / GigaTIME-Flash) — https://github.com/prov-gigapath/prov-gigapath