小样本学习：医疗影像场景下的原理、案例与实战

当我们用深度学习训练一个图像分类器时，通常需要成千上万张标注图片才能获得不错的效果。但在真实世界里，情况往往没那么理想——医疗影像就是最典型的例子。超声医生每天检查 dozens of 患者，但现成的公开数据集能有多少？BUSI 乳腺超声图像只有 780 张，胎儿头部超声 1334 张，肌肉超声 883 张。这个量级对于传统深度学习来说远远不够，模型会迅速过拟合，泛化能力几乎为零。

这就是 Few-shot Learning（小样本学习） 试图回答的核心问题：当样本极其稀少时，深度学习还能保持"强大"吗？

本专题沿着一条清晰的主线展开：从「小样本下经验风险最小化为何失效」这个根本问题出发，系统讲解 Few-shot Learning 的核心定义与问题动机；然后介绍两条主流解决路径——迁移学习和元学习；接着通过两个医疗影像案例（USCL 和 Meta-USCL）深化理解，并揭示关于迁移性的反直觉理论发现（逐层迁移性呈倒 U 形）；最终在标准 benchmark 上完成实战闭环。整篇专题的目标是让你不仅理解 Few-shot Learning 的「为什么」和「怎么做」，更理解这些方法在医疗影像场景下真正work的底层逻辑。 USCL

1. 小样本学习难在哪：经验风险最小化失效与三条解决思路

1.1 从医疗影像的痛点说起

在真实应用中，深度学习面临的数据稀缺挑战远比学术 benchmark 严峻。以医疗超声图像为例：

• BUSI（乳腺超声图像）：780 张
• 胎儿头部超声：1334 张
• 肌肉超声图像：883 张

这些数字是什么概念？ImageNet 预训练模型的训练集有 1400 万张图像，相比之下，医疗影像数据集小了四到五个数量级。传统解决方案是使用 ImageNet 预训练的 backbone（ResNet、VGG 等），但存在一个根本问题：领域差异（domain gap）。ImageNet 是日常自然图像（224×224 的彩色照片），而超声图像是灰度扇形 B-scan，两者的图像模式、纹理分布差异巨大。用自然图像学到的特征去处理医学图像，就像用猫狗照片训练出来的视觉系统去看病理切片，效果打折是必然的。 [ImageNet](AIAA2205 Section 10-11 Few shot learning-new.pdf "citation: Deep Transfer Learning (from course lecture content) || 迁移学习范式；预训练+微调；ImageNet 领域差异问题")

核心问题：当数据量很小时，深度学习还能保持"强大"吗？

1.2 Few-shot Learning 的问题形式化

Few-shot Learning 指的是用极少的监督数据样本进行学习。其标准设定是 N-way K-shot：训练时每个类只有 K 个样本，总共 N 个类，因此一个 episode 的训练样本数仅为 N×K 个。查询集（query set）用于评估模型的泛化能力。

在标准监督学习中，我们用**经验风险最小化（Empirical Risk Minimization, ERM）**来训练模型：给定假设 h，用训练集 D_train 中 I 个样本的经验风险来近似期望风险 R(h)。

$$R_I(h) = \frac{1}{I} \sum_{i=1}^{I} L(h(x_i), y_i)$$

当样本数 I 很小时，经验风险 R_I(h) 可能远偏离真实期望风险 R(h)，导致经验风险最小化器不再可靠——模型会在训练集上表现良好，但在测试集上一塌糊涂，这就是过拟合的本质。

总误差可以从两个角度分解：

• 近似误差（Approximation Error）：假设空间 ℋ 中的函数能有多接近最优假设 h*
• 估计误差（Estimation Error）：用经验风险代替期望风险带来的偏差

总误差受三方面影响：数据（提供多少训练样本）、模型（假设空间有多大）、算法（如何在假设空间中搜索最优假设）。

1.3 三条解决路径

Few-shot Learning 的可靠解决思路是利用先验知识。具体而言，从三个不同角度切入：

图注：Few-shot Learning 方法的三条解决路径框架。数据角度通过先验知识增强训练集，将样本数从 I 扩展到远大于 I；模型角度通过先验知识约束假设空间复杂度；算法角度通过先验知识改变搜索策略，为参数提供好的初始化或引导搜索方向。FSL Definition Survey

第一条是数据角度：利用先验知识增强训练集，将样本数从 I 增加到 I′（I′ ≫ I）。例如通过数据增强（旋转、翻转、Mix-up 等）或特征空间增强来扩充数据。

第二条是模型角度：利用先验知识约束假设空间 ℋ 的复杂度，得到更小的假设空间 ℋ′。例如度量学习（Metric Learning）通过学习一个好的嵌入空间，让同类样本在空间中靠近、异类样本远离。

第三条是算法角度：利用先验知识改变搜索策略，为参数 θ 提供好的初始化或引导搜索步骤。例如元学习（Meta-Learning）通过跨任务学习获得一组好的初始参数，使模型能快速适应新任务。

理解这三条路径的分野，能帮我们在后续章节中更清晰地看到具体方法（如 MAML、ProtoNet、USCL、Meta-weighting）各自对应的是哪个角度，以及为什么需要这样分工。 MAML ProtoNet

2. 两条核心解决路径：迁移学习与元学习

理解了问题定义和三条解决思路之后，我们需要深入了解两条具体的解决路径：迁移学习和元学习。这两条路径并非平行无关——迁移学习是 Few-shot Learning 的主流范式，而元学习则是更通用的「学习如何学习」框架，两者存在深层联系。

2.1 迁移学习：预训练 + 微调

迁移学习是当前解决小样本问题最直接有效的方法，其核心范式是预训练 + 微调：

预训练阶段：在大规模数据（如 ImageNet 的 1400 万张图像）上学习通用特征表示。常用 backbone 包括 ResNet、VGG、Inception（计算机视觉）或 BERT、GPT（自然语言处理）。

微调阶段：将预训练模型适配到下游任务的小规模数据集。常见策略有三种：

• 全参数微调：解冻所有层，用较小学习率训练。容易过拟合，小数据集场景风险高。
• 冻结底层（Freeze Lower Layers）：冻结靠近输入的底层，只微调高层。假设底层学通用特征、高层学任务特定模式——但后文会提到，这个假设并不完全正确。
• 逐层学习率（Layer-wise Learning Rate）：为不同层设置不同学习率，通常底层用较小学习率、高层用较大学习率。

迁移学习在医疗影像场景下面临的核心挑战是领域差异。ImageNet 预训练的模型在医疗影像任务上表现不佳，并非因为模型容量不够，而是因为 ImageNet 的图像模式（日常物体、自然纹理）与医学超声图像（灰度扇形、特定解剖结构）差异太大。这个领域差异问题催生了后续一系列针对医学影像的预训练方法，包括第三章要讲的 USCL。

2.2 元学习：Learn to Learn

如果说迁移学习是在「改变模型参数」层面解决问题，那么元学习（Meta-Learning）则是在更高层次上思考问题：学习「如何学习」。

传统机器学习是找到一个函数 f 来完成特定任务；元学习则是找到一个函数 F 来找到函数 f。换句话说，元学习不是直接学习一个模型，而是学习一组能够快速适应新任务的初始化参数或学习策略。

元学习并非单一方法，而是包含多种思路的两个主要方向：

MAML：优化视角的元学习

MAML（Model-Agnostic Meta-Learning） 由 Finn 等人在 2017 年提出，是元学习领域最具代表性的工作之一。其核心思想是：找到一组最优初始参数 θ，使少量梯度步后就能快速适应新任务。

图注：MAML 元学习算法的双层优化结构。左侧多个任务特定模型（τ₁, τ₂, τ₃）分别从各自的支持集（S_i）接收梯度更新，计算适应后的参数 θ′_i；这些适应后的模型在查询集（Q_i）上评估，查询损失的反向传播梯度聚合后更新共享初始参数 θ。外层代表跨任务的元训练过程，内层代表每个任务的任务特定适应过程。MAML

MAML 的训练流程是：为每个任务先在支持集上做 K 步梯度下降得到适应后的参数 θ′_i，然后在查询集上评估该任务的泛化损失，最后聚合所有任务的查询损失来更新初始参数 θ。换句话说，MAML 训练的不是「一个好的特征表示」，而是「一个对任务敏感的初始点」——从这个点出发，只需要很少的梯度步就能学会新任务。

与传统的「预训练 + 微调」相比，MAML 的关键区别在于：预训练+微调学的是一个好的特征表示（representation），而 MAML 学的是一个好的初始化（initialization）。前者依赖于特征的可迁移性，后者则显式地训练参数使得少量梯度更新就能产生好的泛化。

MAML 在 5-way 1-shot 设定下达到约 48% 准确率，5-way 5-shot 达到约 63%——2017 年的 SOTA 水平MAML。

ProtoNet：度量视角的元学习

如果说 MAML 从优化角度解决问题，ProtoNet（Prototypical Networks） 则从度量角度给出另一种答案。

图注：Few-shot 场景下的原型计算与分类机制。嵌入函数 f_φ 将支持集（support）中的样本映射到嵌入空间，每个类的支持集样本聚集成簇，类原型 c_k 是该簇的均值（圆点标记）。查询点（问号标记）被映射后，找到最近的类原型进行分类，无需梯度更新。ProtoNet

ProtoNet 的核心概念非常直观：每个类的嵌入均值就是该类的「原型」（prototype）。给定 N-way K-shot 设定，类 k 的原型计算为：

$$c_k = \frac{1}{|S_k|} \sum_{(x_i, y_i) \in S_k} f_\phi(x_i)$$

分类时，对查询点 x，计算其到各类原型的欧氏距离，通过 softmax 产生分类分布：

$$p_\phi(y=k|x) \propto \exp(-d(f_\phi(x), c_k))$$

ProtoNet 与 MAML 的根本差异在于：ProtoNet 不需要任何梯度更新，直接在嵌入空间中做最近邻分类。这使得 ProtoNet 实现简单、推理速度快。实验结果也相当强劲：在 Omniglot 数据集上，5-way 1-shot 达到 98.8%，5-way 5-shot 达到 99.7%，大幅领先同期的 Meta-Learner LSTM；在 miniImageNet 上，5-way 1-shot 为 49.42%，5-way 5-shot 为 68.20%ProtoNet。

MAML 和 ProtoNet 分别代表元学习的两个主要方向：前者从优化角度，后者从度量角度。两者不是竞争关系，而是给了我们理解 Few-shot Learning 问题两种互补的视角。

2.3 迁移学习与元学习的关系

值得注意的是，迁移学习（预训练+微调）和元学习并非泾渭分明。实际上，预训练+微调也可以视为一种隐式的元学习——在大规模源数据上预训练相当于从大量任务中学习可迁移的初始化，再在目标任务上微调相当于快速适应。

关键区别在于：元学习显式地利用跨任务信息来训练这个初始化，而迁移学习通常只是单任务地预训练。但随着研究深入，两者的边界也越来越模糊——例如 MetaLR 就是用元学习的思想来自动优化迁移学习中的每层学习率（第五章会详细展开）。 MetaLR

3. Sample Pair Generation：超声视频对比学习如何弥合领域差异

前两章建立了 Few-shot Learning 的问题框架和两条解决路径，这一章开始用医疗影像案例深化理解。迁移学习虽然是用大规模数据预训练的通用方案，但 ImageNet 预训练到医疗影像存在明显的领域差异——USCL 正是为了解决这个问题而提出的。

3.1 问题的本质：领域差异与相似度冲突

USCL 的全称是 "Ultrasound Contrastive Representation Learning through Video"，由 Chen 等人在 MICCAI 2021 提出。论文的核心洞察是：既然 ImageNet 预训练到医疗影像有领域差异，那就用自己的领域数据做预训练。

但这里有个实际问题：医学影像数据集规模有限，无法像 ImageNet 那样收集数百万张图像。研究团队的解决思路是：构建超声视频数据集，利用视频内部的信息来构造大规模预训练信号。

他们构建了 US-4 数据集，包含 23,231 张图像，来自 4 个子数据集：Butterfly（肺超声，22 视频/1,533 图像）、CLUST（肝超声，63 视频/3,150 图像）、Liver Fibrosis（肝纤维化，296 视频/11,714 图像）、COVID19-LUSMS（肺超声，670 视频/6,834 图像）。

图注：US-4 数据集中的超声图像示例，包含肺超声和肝超声两类图像。USCL

3.2 对比学习基础：正负样本对与模型坍缩

在理解 SPG 之前，需要理解对比学习的基本逻辑。对比学习的核心目标是：将正样本对（positive pairs）映射到嵌入空间中相近的位置，将负样本对（negative pairs）映射到远离的位置。

这里有一个微妙但关键的问题：为什么需要负样本？ 如果只有正样本，模型可能将所有特征都映射到同一个点（所有图像都长得一样），这称为模型坍缩（model collapse）。负样本提供了「区分」的监督信号，防止模型偷懒。但负样本也带来额外计算成本，且如果负样本选择不当，还会干扰训练——这正是 SPG 要解决的问题。

3.3 Sample Pair Generation 的核心思想

USCL 指出了一个关键问题：相似度冲突（similarity conflict）。在传统对比学习中，如果负样本对来自同一视频的不同帧，它们可能比从同一帧增强的正样本对更相似——这会让训练产生混淆。

图注：USCL 的动机图。(a) 传统对比学习中的相似度冲突：同一视频不同帧作为负样本对可能比正样本对更相似，导致训练混淆；(b) SPG 通过确保负样本对来自不同视频来解决这个矛盾，同时通过样本插值丰富正样本对的特征。USCL

SPG 包含两个组件：正样本对生成（PPG）和负样本对生成。

PPG 模块的三步流程：

1. 从视频图像集中随机采样 3 帧（按时间顺序）
2. 中间帧作为「锚点」（anchor）
3. 用 Mix-up 在锚点与两个扰动帧之间插值生成正样本对

插值系数 ξ₁, ξ₂ ~ Beta(α, β)，其中 α=β=0.5。Mix-up 插值使特征凸包内的每个点都可能被打采样，让语义簇作为整体保持内聚性。

负样本对则直接取自不同视频的图像——这样确保了负样本对之间具有足够的语义差异。

3.4 USCL 完整框架

图注：USCL 完整系统框架，包含三个主要阶段：(i) 从超声视频提取均匀分布的图像集；(ii) PPG 模块从图像集采样并用混合帧生成器生成正样本对；(iii) 骨干网络 f、投影头 g 和分类器 h 通过最小化自监督对比损失和监督交叉熵损失联合训练。USCL

USCL 的总损失函数为：

$$L = L_{con} + \lambda L_{sup}$$

其中对比损失 $L_{con}$ 是基于 InfoNCE 的变体（温度 τ=0.5），监督损失 $L_{sup}$ 是标准交叉熵损失，λ=0.2。这个半监督设计意味着：只有对比分支在接收无标签数据时工作，有标签数据则同时接收两种监督信号。

3.5 实验结果

USCL 在 POCUS（COVID-19 肺超声检测）数据集上取得了显著提升：准确率 94.2% vs ImageNet 预训练的 84.2%，提升了整整 10 个百分点。在 UDIAT-B 数据集（乳腺肿瘤检测/分割）上，AP 分别比 ImageNet 预训练高 4.8% 和 4.6%USCL。

CAM（Class Activation Map）可视化结果进一步验证了 USCL 学到的特征质量：ImageNet 预训练模型关注的是无有效信息的区域，而 USCL 预训练模型准确地关注了 A 线和胸膜病变区域（肺超声）或肝脏区域（肝超声）——这说明用同领域视频做预训练确实能学到更具判别性的医学特征。

4. Meta-weighting：元学习自动分辨样本对质量

USCL 通过 SPG 解决了「如何生成样本对」的问题，但随之带来一个新问题：所有生成的样本对都有同等价值吗？

答案是否定的。Meta-USCL（IEEE TMI 2022）正是为了解决这个问题而提出：并非所有正样本对都有同等贡献——有些插值系数差、有些区域信息量少——需要自动学习样本对的质量权重。

4.1 SPG 的三个局限性

Meta-USCL 识别出 SPG 生成的正样本对存在的三类问题：

图注：Meta-USCL 的五面板动机图。(a) 负样本对相似性冲突：两个正样本对来自同一视频，拉开它们的距离会混淆训练；(b) 正样本对相异度缺陷：正样本对中的样本在语义上差异过大；(c) 正样本对相似度冗余：正样本对中的样本几乎相同，区分信息不足；(d) PPI 生成的正样本对具有适度的外观差异和较小的语义距离；(e) CMW-Net 使训练更关注语义一致性高的样本对。Meta-USCL

• 负样本对相似性冲突：两个本应保持相近的正样本对来自同一视频，若将它们推开会干扰训练
• 正样本对相异度缺陷：某些正样本对中的样本语义差异过大，缺乏有效的对比学习信号
• 正样本对相似度冗余：某些正样本对中的样本几乎完全相同，提供的信息量有限

4.2 CMW-Net：双层优化自动加权

Meta-USCL 的解决方案是引入 CMW-Net（Contrastive Meta Weight Network），用元学习的**双层优化（bilevel optimization）**框架自动学习每个样本对的权重。

图注：Meta-USCL 完整框架：视频 → PPI 模块（生成正样本对）→ 主网络 backbone → CMW-Net（权重网络）→ 加权 InfoNCE 损失函数。CMW-Net 在这里扮演「质量裁判」的角色，为每个样本对输出一个权重。Meta-USCL

CMW-Net 的双层优化结构是：

• 下层（lower-level）：固定 CMW-Net 的权重参数 Θc，给定样本对权重，优化主网络参数 Θm，使训练损失最小化：$\Theta^*m(\Theta_c) = \arg\min{\Theta_m} L^{train}(\Theta_m, \Theta_c)$
• 上层（upper-level）：固定主网络参数，用验证集评估泛化误差，优化 CMW-Net 的权重参数 Θc：$\Theta^c = \arg\min{\Theta_c} L^{valid}(\Theta^_m(\Theta_c))$

嵌套优化的三步迭代流程是：

1. 主网络一步梯度更新，获得当前权重下的参数反馈
2. CMW-Net 基于验证损失调整元参数
3. 主网络用新权重再一步更新

4.3 PPI 继承与改进

Meta-USCL 的 PPI（Positive Pair Interpolation）模块继承自 USCL 的 PPG，但进行了改进：从视频均匀采样 3 帧，以中间帧为锚点，用 Mix-up 公式生成正样本对。与 USCL 的关键区别在于：CMW-Net 会自动为高语义一致性的样本对分配更高权重，避免低质量样本对误导训练。

图注：PPI 模块的三步流程：① 从视频随机采样 3 帧；② 以中间帧为锚点用 Mix-up 生成两个新样本；③ 随机增强得到正样本对。Meta-USCL

4.4 Meta-USCL 的实验结果

Meta-USCL 在 POCUS 数据集上达到 94.6% 准确率，比 USCL（94.2%）又提升了 0.4 个百分点。更全面的结果包括：

• POCUS 肺炎检测：94.6% vs ImageNet 预训练 84.2%
• BUI 乳腺癌分类：87.4% vs ImageNet 78.3%
• UDIAT-B 肿瘤分割：Dice 84.5% vs ImageNet 81.4%

消融实验表明，CMW-Net 权重机制在多种网络架构（ShuffleNet-v2×0.5~×2.0、ResNet18/34/50）上均有效Meta-USCL。

第三章（SPG）回答了「如何生成样本对」，第四章（Meta-weighting）回答了「生成的样本对质量不一时怎么办」——两条路径是递进关系，Meta-USCL 是 USCL 的自然深化。

5. 迁移性新发现：逐层倒 U 形与 MetaLR 的工程化

前两章的医疗影像案例回答了「如何生成样本对」和「如何加权样本对」，但还有一个更根本的问题没有回答：哪些层的知识真正值得迁移？ 第三章用 SPG 做了隐式选择，第四章用 CMW-Net 也做了隐式选择，但选择依据是什么？

这一章揭示的理论发现，会让这个问题的答案变得反直觉。

5.1 两 个关于迁移性的传统共识

在深入之前，先梳理一下此前被广泛接受的两条共识：

共识 1：源数据集与目标数据集之间的领域差距越大，迁移性越低。这条基本成立，但后续研究发现它并非全部原因。

共识 2：低层（靠近输入）比高层（靠近输出）更具迁移性，因为低层学习更通用的知识（如边缘、纹理），高层学习更语义化的任务特定模式。

共识 2 看起来很合理——所以传统做法是冻结底层、只微调高层或最后几层。但事实真的如此吗？

5.2 迁移性的三条度量指标

Chen 等人（2022）在论文 "Rethinking Two Consensuses of the Transferability in Deep Learning" 中提出了三条可量化的迁移性度量指标Transferability：

基于 12 个跨领域数据集的线性分析结果为：

$$\log(\hat{T}_{FB}(\theta_A)) = -0.02\mathcal{G} - 0.14\mathcal{W} - 0.80\log(\mathcal{N}) + 2.86$$

相关系数 $r^2 = 0.90$。关键发现是：域宽度（W）的负面影响系数（0.14）远大于域差距（G）的系数（0.02），而数据量（N）的负面影响最大（系数 0.80）。这意味着——此前认为的「主要因素」领域差距，在影响迁移性的因素中排名倒数第二。

5.3 逐层迁移性呈倒 U 形

更重要的是第二条关键发现：逐层迁移性不是单调递减的，而是倒 U 形。

第一层（靠近输入）迁移性较低，因为它虽然学习基本图像特征（如边缘、颜色），但对领域变化敏感——当 ImageNet（自然图像）与 POCUS（超声图像）的局部图像模式差异大时，第一层的特征提取能力不再普适。最后一层（靠近输出）迁移性也较低，因为它过于任务特定——在源任务上学到的分类边界未必适用于新任务。中间层兼具通用性与特异性，迁移性最高Transferability。

这个发现直接挑战了「冻结底层」的传统做法——底层并非最值得保留的层，中间层才是。

5.4 MetaLR：元学习自动优化每层学习率

基于上述发现，一个自然的应用方向是：既然不同层的迁移性不同，那就应该为每层设置不同的学习率——高迁移性的层（中间层）用较小学习率保护其已学到的知识，低迁移性的层（底层和高层）用较大学习率积极适应新任务。

但问题是：如何确定每层应该用多大的学习率？ 传统做法是人工试错，既耗时又不保证最优。

MetaLR（Meta-tuning of Learning Rates for Transfer Learning） 由 Chen 等人在 MICCAI 2023 提出，核心思想是：用元学习自动学习每层学习率，无需人工指定哪些层可迁移MetaLR。

图注：MetaLR 的动机对比图。Previous 方法（上方）固定可迁移层（用挂锁表示），其余层冻结；MetaLR（下方）用元学习自动优化逐层学习率，颜色深浅反映学习率的自适应差异。MetaLR

MetaLR 的三步迭代算法是：

• Step 1（参数更新）：根据训练批的梯度方向，对每层参数做一次前向更新
• Step 2（元参数 α 更新）：在验证集上对验证损失求梯度，更新每层学习率
• Step 3（用新 α 更新参数）：用更新后的学习率对模型参数做真正的梯度下降

MetaLR 采用了比例超学习率（Proportional Hyper-LR）：$\eta = \beta \times \alpha_j^t$，将超学习率设为当前学习率的比例，避免学习率变为负值或数值波动。指数形式保证了数值稳定性，学习率约束范围为 $\alpha_j^t \in [10^{-6}, 10^{-2}]$。

MetaLR 的一个关键优势是 O(n) 的在线学习率自适应，与双层优化的 O(n²) 计算代价相比效率高得多。

图注：MetaLR 在 POCUS 检测 (a) 和 LiTS 分割 (b) 上不同层学习率的动态变化曲线。纵轴为对数刻度，横轴为迭代次数。可以看到：Conv1 层（ResNet-18）的学习率持续下降（反映其高迁移性），而最底层和最高层的学习率较高（反映低迁移性），验证了中间层最具迁移性的倒 U 形规律。MetaLR

MetaLR 的实验结果在四个医学影像任务上验证：

• POCUS 检测：91.6% → 93.9%（↑2.3%）
• BUSI 肿瘤检测：84.4% → 86.7%（↑2.3%）
• Chest X-ray：94.8% → 95.8%（↑1.0%）
• LiTS 分割：Dice 93.1% → 94.2%（↑1.1%）

比 layer-wise fine-tuning 快 5-50 倍MetaLR。

从 USCL（解决「如何生成样本对」）到 Meta-USCL（解决「如何加权样本对」）再到 MetaLR（解决「哪些层值得迁移、如何设置学习率」），我们沿着医疗影像这条主线，完成了一次从经验方法到理论量化、再到工程实践的完整闭环。

6. Benchmark 实战与前沿展望：从复现到部署

前面五章建立了从问题定义到医疗影像案例再到理论发现的完整链条，这一章将帮读者把知识落地到可操作的层面。

6.1 FSL 方法四大分类

当前 Few-shot Learning 方法可分为四大类FSL Survey 2024： FSL FSL FSL

基于数据增强的方法：通过数据增强或特征空间增强扩充样本数。基础方法包括图像操作（旋转、平移、裁剪、颜色抖动）和图像擦除（Cutout、Random Erasing）；高级方法包括图像混合（Mixup、CutMix）、自动增强策略搜索、特征空间增强和神经风格迁移。USCL 的 SPG 就属于特征空间增强的范畴。

基于度量学习的方法：学习一个好的嵌入空间，用距离度量进行分类。代表性工作包括 Siamese Networks、Matching Networks、ProtoNet（我们第二章介绍的）和 Relation Networks。ProtoNet 属于其中的「任务无关表征」子类——学到的嵌入空间对各类任务通用。

基于元学习的方法：通过跨任务学习获得快速适应能力。又可细分为：度量元学习（如 ProtoNet）、模型元学习（学习架构或记忆模块）、优化元学习（学习初始参数如 MAML、或学习更新规则如 MetaLR）。MetaLR 属于优化元学习中「学习初始参数」的工程化扩展。

基于模型的方法：通过可学习架构或外部记忆模块增强模型容量。

6.2 标准 Benchmark 数据集

在 miniImageNet 和 CIFAR-FS 上进行标准评估是 FSL 研究的基本功：

• miniImageNet：100 类，每类 600 张，来自 ImageNet，是最广泛使用的 FSL benchmark
• CIFAR-FS：100 类，每类 600 张，图像尺寸 32×32
• tieredImageNet：608 类，分 34 个大类，缓解类多样性不足问题
• Omniglot：1623 类手写字符，每类仅 20 张（极端少样本设定）

6.3 核心洞察：表征质量比算法复杂性更重要

这是 2024 年综述Tsoumplekas et al., 2024（尚在审稿中）提出的关键发现，也是 2026 年系统性综述AI Review 2026（草稿版，正式出版前可能有调整）强调的核心观点：表征质量（特征提取器质量）比算法复杂性更重要。

具体而言：特征复用（feature reuse）是 MAML 等方法快速适应的主要因素；使用现代预训练 backbone 的微调可以形成强 baseline，与复杂元学习架构性能相当；迁移学习（预训练+微调）作为元学习的竞争者出现。

这给我们的实践启示是：不要在算法细节里迷路，backbone 和预训练策略才是根基。MAML 和 ProtoNet 在 miniImageNet 上的差距，远小于 backbone 质量带来的差距。

6.4 2026 年最新前沿视角

2026 年发表的最新系统性综述AI Review 2026（草稿版，正式出版前可能有调整）指出了 FSL 领域的四个结构性挑战：

Episodic Training 与真实场景的结构性错配：作为大量 FSL 方法基础的 episode 训练范式（将训练数据划分为 N-way K-shot 的 episode）优化的是任务分布上的平均性能，但部署时模型面对的是具体、特定的任务，任务分布异质性（task heterogeneity）是真实部署的核心挑战。

自然图像 Benchmark 的系统性偏差：FSL 领域存在向自然图像 benchmark（miniImageNet、CIFAR-FS）集中的系统性偏差，这限制了算法进展向医疗影像、音频、时间序列等关键模态的迁移能力。

平均准确率作为评估指标的局限性：在任务间取平均准确率的评估实践，是实际部署性能的不充分代理。任务级别的可靠性问题在平均指标下被掩盖——一个模型可能在大多数任务上表现一般，但在某些任务上完全失败，平均值却可能掩盖这个缺陷。

任务异质性：不同任务之间的分布差异，使得在标准 benchmark 上表现优异的方法，未必能在实际应用中发挥同等效果。

6.5 复现路径

要在标准 benchmark 上复现 Few-shot Learning 训练流程，核心是 episodic training——每个 episode 模拟一个 N-way K-shot 任务：先从训练集中采样 N 个类、每类 K 个样本作为支持集，再用同 N 个类中其余样本作为查询集，计算损失并更新模型。评估时，在测试集上重复上述过程，计算平均准确率。

复现步骤概览：

1. 选 backbone（ResNet-12 或 4 层卷积网络是 miniImageNet 上的常见选择）
2. 实现 episodic data loader：每次采样 N-way K-shot 支持集 + 查询集
3. 选择方法：ProtoNet（简单入门）或 MAML（更通用）
4. 在训练集上做 episodic training，在验证集上监控性能
5. 在测试集上用 N-way K-shot 评估，报告平均准确率和置信区间

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks — arXiv:1703.03400
2. Prototypical Networks for Few-shot Learning — arXiv:1703.05175
3. USCL: Pretraining Deep Ultrasound Image Diagnosis Model through Video Contrastive Representation Learning — arXiv:2011.13066
4. Generating and Weighting Semantically Consistent Sample Pairs for Ultrasound Contrastive Learning — arXiv:2212.04097
5. Generalizing from a Few Examples: A Survey on Few-shot Learning — arXiv:1904.05046
6. Deep Transfer Learning（课程讲义） — AIAA 2205, HKUST-GZ
7. Rethinking Two Consensuses of the Transferability in Deep Learning — arXiv:2212.00399
8. MetaLR: Meta-tuning of Learning Rates for Transfer Learning in Medical Imaging — arXiv:2206.01408
9. A Complete Survey on Contemporary Methods, Emerging Paradigms and Hybrid Approaches for Few-Shot Learning — arXiv:2402.03017
10. Addressing Data Scarcity with Few-Shot Learning: A Systematic Literature Review — Artificial Intelligence Review