生成模型：VAE与GAN的原理、实现与演进

引言

让计算机学会"创造"——生成全新而非仅仅是识别已有的数据——是人工智能最引人入胜的目标之一。从生成逼真的人脸图像，到合成音乐片段，再到辅助药物分子设计，生成模型正在深刻改变我们与AI互动的方式。

本专题聚焦两种最重要的生成模型：变分自编码器（VAE）和生成对抗网络（GAN）。我们从判别模型与生成模型的根本区别出发，理解为什么"生成"比"分类"更难；然后沿着两条平行主线深入——VAE如何用变分下界逼近不可计算的似然，GAN如何用对抗博弈绕过密度函数建模；最后追踪2024至2026年的最新进展，看这两条路线如何继续演进。 VAE GAN WGAN GAN

无论你是刚开始接触生成模型的学生，还是希望深入理解原理的学习者，抑或对最新研究进展感兴趣的研究人员，这条从基础到前沿的路径都将帮助你建立对生成模型的系统认知。

1. 判别模型与生成模型：为什么生成比分类更难？

1.1 两种模型的根本区别

要理解生成模型，首先需要厘清它与判别模型的区别。

**判别模型（Discriminative Models）**学习条件概率 $P(Y|X)$——给定输入 $X$，输出它所属的类别 $Y$。以图像分类为例，判别模型只需要找到一条"决策边界"将不同类别的图像分开：猫的图像落在一侧，狗的图像落在另一侧。逻辑回归、支持向量机，以及用于分类的卷积神经网络（CNN）都是判别模型。判别模型的优势在于：专注区分已知类别，计算高效，在标注数据充足时表现优异。

**生成模型（Generative Models）**则试图学习联合分布 $P(X,Y)$ 甚至边缘分布 $P(X)$——它要理解数据"是如何产生的"。这意味着，生成模型需要捕捉数据背后的完整概率分布：猫的图像为什么长这个样子？毛发的纹理、耳朵的形状、背景的光照——所有这些细节共同决定了"猫"这个概念在数据分布中的位置。变分自编码器（VAE）、生成对抗网络（GAN）以及扩散模型（Diffusion Models）都是生成模型的代表。

1.2 生成为什么更难

这个区别带来的影响是深远的。

判别模型只需要"辨真假"——给一张图像，判断它是不是猫；生成模型则需要"会创作"——从学到的分布中采样，合成一张全新的、但看起来像猫的图像。

用一个生活化的比喻来理解：判断一幅画是"莫奈风格"还是"梵高风格"，相对容易——你只需要找出几种关键特征（色彩、笔触、构图）就能区分。但如果你要创作一幅莫奈风格的画，你必须真正理解印象派在光线捕捉、色彩运用上的全部精髓——这不是找几条决策边界能解决的事。

从数学上看，判别模型在已标注的数据上直接优化一个分类损失即可，而生成模型需要建模高维复杂数据分布 $P(X)$。以一张 256×256 的彩色图像为例，它的每个像素有 256 种可能的取值，整张图像的可能取值数量是 $256^{256×256×3}$——这个数字远远超过宇宙中原子的数量，直接计算或存储这个分布是不可能的。因此，生成模型必须借助巧妙的数学技巧来绕过这个根本性的难题。

理解了判别模型与生成模型的区别，我们就准备好了进入生成模型的第一块基石——自编码器。

2. 自编码器：生成模型的跳板，还是独立的工具？

2.1 编码器-解码器结构

自编码器（Autoencoder）是一种无监督学习方法，其核心思想非常直观：用神经网络学会"重建"自己的输入。

一个自编码器由两部分组成。编码器（Encoder）将输入数据 $x$ 压缩成一个低维的特征表示 $z$——这个 $z$ 通常比原始输入 $x$ 的维度低得多，体现了"降维"的思想。**解码器（Decoder）**则试图从特征表示 $z$ 重建出原始输入 $\hat{x}$。训练目标是让重建结果 $\hat{x}$ 与原始输入 $x$ 尽可能接近，用 L2 重构损失 $|\hat{x} - \hat{x}|^2$ 来量化这个误差。

图注：自编码器结构示意图，清晰展示了编码器（Encoder）将输入 $x$ 映射为特征 $z$，解码器（Decoder）再从 $z$ 重建输出 $\hat{x}$ 的完整流程。三者之间的箭头方向和数据流一目了然。

从信息流的角度看，自编码器完成了一个"编码-解码-重构"的闭环：数据从高维空间出发，经由低维瓶颈压缩，再被解压回高维空间。这个过程中，网络必须学习到数据中最关键的代表性特征——因为只有保留下来这些特征，才能在解码时成功重建原始输入。

2.2 自编码器的实际用途

值得强调的是，自编码器训练完之后，解码器并不是重点——真正有价值的是编码器学到的特征表示 $z$。

图注：训练完成后，解码器被丢弃，编码器作为特征提取器使用。编码器将输入 $x$ 映射到低维特征 $z$，这些特征可用于下游任务。

由于训练过程完全不需要人工标签，自编码器是一种无监督预训练方法。编码器学到的特征表示可以被迁移到其他任务上：用无标注数据预训练一个编码器，然后将编码器的权重初始化一个监督学习模型（如图像分类器），往往能显著提升小样本场景下的分类效果。这个流程在深度学习早期被广泛使用，也为后续自监督学习（如对比学习）的发展奠定了基础。

图注：自编码器预训练的编码器可以作为监督学习模型的初始化权重。将编码器输出的特征 $z$ 接一个分类器（Classifier），通过真实标签 $y$ 与预测标签 $\hat{y}$ 之间的损失函数进行微调，实现从无监督预训练到下游任务的迁移。

2.3 自编码器不能直接用于生成

然而，这里有一个关键限制：自编码器学到的特征表示是确定性的——给定同一个输入，每次都会得到完全相同的特征 $z$。更根本的问题是，自编码器只学习了"如何压缩"和"如何重建"，但没有对潜在空间本身建模任何概率分布。

也就是说，给定一个随机向量 $z$，我们不能保证解码器能生成有意义的图像——解码器只在它见过的 $z$ 附近有良好表现。自编码器本质上是一个信息瓶颈，它学会了保存输入中最重要的大部分信息，但它并不知道"好样本"在潜在空间中长什么样。

这就是为什么需要 VAE——它将自编码器概率化，给潜在空间引入概率分布，使得我们可以真正从模型中采样生成新数据。

3. VAE：变分推断如何让隐变量模型可训练？

3.1 核心问题：不可计算的似然

VAE 的出发点是：我们希望学到一个生成模型 $p_\theta(x)$，使得从该模型中采样的图像真实可信。然而，直接最大化数据似然 $p_\theta(x) = \int p_\theta(z) p_\theta(x|z) dz$ 是不可计算的（intractable）——因为需要遍历整个隐空间对所有可能的 $z$ 积分，而隐空间往往是连续的高维空间。

VAE 的解决思路是引入一个变分近似：不再直接计算 $p_\theta(x)$，而是找一个可优化的下界（ELBO），通过最大化这个下界来间接优化似然。

3.2 变分推断与 ELBO

具体做法是：引入一个编码器网络 $q_\phi(z|x)$ 来近似不可计算的真实后验 $p_\theta(z|x)$。编码器输出隐变量 $z$ 的均值 $\mu(x)$ 和方差 $\sigma(x)$，表示一个高斯近似后验。与此同时，解码器网络 $p_\theta(x|z)$ 从隐变量 $z$ 生成数据。

由此可以推导出一个可优化的下界——证据下界（Evidence Lower Bound, ELBO）：

$$\mathcal{L}(x, \theta, \phi) = \mathbb{E}{z \sim q\phi(z|x)}[\log p_\theta(x|z)] - D_{\text{KL}}(q_\phi(z|x) | p_\theta(z))$$

这个公式包含两项，直觉含义如下：

• 第一项（重构项）：给定隐变量 $z$，最大化解码器生成原始输入的似然——这就是让解码器学会"重建"数据。
• 第二项（KL 正则化项）：迫使近似后验 $q_\phi(z|x)$ 接近先验 $p(z)$——标准高斯分布 $N(0,I)$。这一项起到正则化作用，防止近似后验退化为一个方差极小的高斯分布。

从先验 $N(0,I)$ 中采样 $z$，经解码器生成数据：

图注：VAE 的 2D 潜在流形可视化。先验空间（单位方格）中的网格点通过逆高斯 CDF 映射为 $z$ 值，每个 $z$ 经解码器 $p_\theta(x|z)$ 生成对应图像。相邻网格点生成的图像高度相似，体现了隐空间的平滑结构——这正是 VAE "可生成"能力的关键所在。Auto-Encoding Variational Bayes

3.3 重参数化技巧：让采样可导

还有一个技术细节必须解决：从 $q_\phi(z|x)$ 采样 $z$ 这个操作本身是不可导的——采样过程的随机性使梯度无法反向传播。

VAE 引入了一个精妙的重参数化技巧（Reparameterization Trick）：

$$z = \mu_\phi(x) + \sigma_\phi(x) \cdot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$

采样被拆解成一个确定性变换加一个独立噪声：先从标准高斯分布中采样噪声 $\epsilon$，再将 $\epsilon$ 缩放（$\sigma$）并平移（$\mu$）得到 $z$。这样 $z$ 仍然是随机的（因为 $\epsilon$ 是随机的），但它的生成过程是一个连续的确定性函数，梯度可以通过 $\mu$ 和 $\sigma$ 反向传播。端到端训练因此成为可能。

3.4 后验崩溃：VAE 的阿喀琉斯之踵

VAE 有一个著名的问题——后验崩溃（Posterior Collapse）。在训练过程中，KL 正则化项可能会"压倒"重构项，驱使近似后验 $q_\phi(z|x)$ 退化为先验 $p(z)$。此时，编码器输出的 $z$ 几乎不包含任何关于输入的信息——无论输入是什么，$z$ 都接近标准高斯噪声，解码器只能生成模糊的、平均化的图像。

后验崩溃的本质可以从 ELBO 的优化动态来理解：当解码器足够强时，它可以在没有 $z$ 条件的情况下也能生成看似合理的图像（通过记忆训练数据），于是优化器发现增加 KL 项（让 $z$ 接近先验）而减少重构项是一个更"省力"的方向。

2026 年的 Spherical VAE 工作从几何约束的角度对后验崩溃提供了有理论保证的解决方案（在特定条件下）：通过对隐变量施加球面壳几何约束，在满足特定条件时，可从理论上排除崩溃解。这一进展说明，后验崩溃作为 VAE 的经典难题，仍然是当前研究的热点。

4. GAN：对抗博弈能否绕过密度函数的难题？

4.1 核心思想：放弃显式密度函数

VAE 需要处理 intractable 的密度函数 $p(x) = \int p(z)p(x|z)dz$，尽管通过变分下界巧妙地解决了这个问题。GAN 则走了另一条路——干脆放弃显式建模密度函数。

GAN 的核心洞察是：如果我们不关心"数据分布的密度是多少"，只关心"能否从数据分布中采样"，那么完全可以绕过密度函数，直接学习采样过程。具体来说，GAN 从一个简单噪声分布（如均匀分布或标准高斯）采样噪声向量 $z$，通过神经网络 $G(z)$ 将其变换为复杂数据分布——这个分布由生成器 $G$ 隐式决定，不需要归一化常数。

这被称为隐式密度建模（Implicit Density Modeling）——密度函数存在，但由神经网络定义，不由解析公式定义，因此无法直接计算。

4.2 Minimax 对抗博弈

GAN 将生成学习问题建模为一个二人零和博弈（Zero-Sum Game）：

$$\min_G \max_D V(D, G) = \mathbb{E}{x \sim p{\text{data}}}[\log D(x)] + \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z)))]$$

博弈中有两个玩家：

• 判别器（Discriminator） $D$：试图最大化目标——正确识别真实样本（$D(x) \to 1$）和生成样本（$D(G(z)) \to 0$）。
• 生成器（Generator） $G$：试图最小化目标——让判别器将生成样本误判为真实样本（$D(G(z)) \to 1$）。

直观理解：生成器像一个试图制造假币的造假者，判别器像一个试图识别假币的警察。造假者不断改进技术，警察也不断提升鉴别能力，两者在一个动态博弈中共同进化。

理解 GAN 的训练过程，需要看这四个阶段的演化：

图注：GAN 对抗训练的四阶段演化过程。(a) 对抗 pair 接近收敛：p_g 与 p_data 相似，判别器 D 部分准确。(b) 判别器训练后：$D$ 的决策边界调整以更好地区分真实与生成样本。(c) 生成器更新后：梯度引导 $G(z)$ 向真实分布方向移动，生成分布向真实分布靠拢。(d) 收敛状态：$p_g = p_{\text{data}}$，判别器无法区分两个分布，$D(x) = 1/2$。这四张图是理解"对抗博弈"概念的核心锚点。Generative Adversarial Nets

在非参数极限下（足够多的数据和模型容量），这个博弈存在唯一解：$p_g = p_{\text{data}}$，且 $D(x) = 1/2$ 处处成立——判别器完全无法区分真实数据与生成数据。

4.3 -log(D(G(z))) 训练技巧

有一个训练细节值得特别关注：原始论文建议使用 $-\log D(G(z))$ 而非 $\log(1 - D(G(z)))$ 来训练生成器。

直觉如下：在训练初期，生成器 $G$ 生成的样本质量很差，判别器 $D$ 以高置信度拒绝这些样本，导致 $D(G(z)) \approx 0$。此时 $\log(1 - D(G(z))) \approx \log(1) = 0$——梯度几乎为零，梯度消失，生成器得不到有用的学习信号。改用 $-\log D(G(z))$，当 $D(G(z)) \approx 0$ 时，$-\log D(G(z))$ 趋向正无穷，梯度反而很大，为生成器提供了更强的早期学习信号。

这不是一个随意的技巧选择，而是由博弈结构的内在逻辑决定的——两种形式在理论上收敛到同一定点，但训练初期的动态行为差异显著。

4.4 GAN 的固有局限

GAN 的隐式建模带来了独特优势，也带来了固有局限：GAN 无法回答查询 $p(x)$ 或 $p(z|x)$——密度函数压根不存在，无法查询。此外，GAN 以训练不稳定著称——模式崩溃（mode collapse）指的是生成器崩溃到只能产生极少数模式的多样性丧失问题，梯度消失则是在训练早期常见的梯度信号减弱。这两个问题深刻塑造了 GAN 后续的发展方向。

5. GAN的实用化：从DCGAN架构设计到WGAN损失改进

5.1 DCGAN：让GAN真正能生成清晰图像

2014 年 Goodfellow 提出原始 GAN 时，使用的是多层感知机（MLP）架构——在 MNIST 这样的简单数据集上尚可，但无法生成高质量的复杂图像。DCGAN（Deep Convolutional GAN） 通过将深度卷积架构引入 GAN，首次让 GAN 真正能够生成清晰、可用的图像。 DCGAN

DCGAN 提出了五大架构设计原则，这些原则至今仍是设计 GAN 架构的基石：

用卷积替代 Pooling：判别器使用 strided convolutions，生成器使用 fractional-strided convolutions，让网络自己学习空间上下采样，而不是由确定性的 pooling 函数决定信息传递。

Batch Normalization（BN）：在生成器和判别器中使用 BN，将每层输入归一化为零均值、单位方差。BN 稳定了学习，防止生成器崩溃到所有样本都相同——这正是 GAN 的常见失败模式。但需要注意：生成器输出层和判别器输入层不使用 BN。

移除全连接隐藏层：对于更深的架构，移除全连接层，增加层间连接。

生成器激活函数：除输出层使用 Tanh（输出范围 [-1, 1]）外，所有层使用 ReLU。Tanh 的有界输出覆盖训练数据的像素范围（图像预处理时也缩放到 [-1, 1]）。

判别器激活函数：所有层使用 LeakyReLU（leak slope = 0.2），适合高分辨率建模。

图注：DCGAN 生成器架构图（caption 缺失，基于 VLM 验证描述）。网络从 100 维随机噪声向量 $z$ 出发，依次经过"Project and reshape"和 CONV 1~4 共 4 层转置卷积，空间尺寸从 4×4 逐步上采样到 8×8、16×16、32×32、64×64，通道数从 1024 逐步降到 512、256、128、3，最终输出 64×64×3 的 RGB 图像。

5.2 潜空间向量运算：GAN 学到了语义

DCGAN 另一个引人注目的发现是：GAN 的潜空间具有可解释的语义结构。通过对潜向量进行算术运算，可以实现对生成图像语义属性的控制。

一个著名的例子是：在 CelebA 人脸数据集上，smiling woman - neutral woman + neutral man = smiling man。即用"微笑的女人"减去"面无表情的女人"再加上"面无表情的男人"，结果是一个"微笑的男人"。这说明 GAN 学到的潜空间不是一团混沌，而是包含了有意义的解耦语义方向。

图注：DCGAN 潜空间向量运算示意（caption 缺失，基于 VLM 验证描述）。图示人脸算术的三组示例：第一行 smiling woman - neutral woman + neutral man = smiling man；第二行 glasses man - no glasses man + no glasses woman = glasses woman。每组左侧给出输入人脸，右侧给出运算结果，证明 GAN 学到的潜空间具有可解释的语义结构。

这一发现具有重要意义：它说明 GAN 不仅"能生成图像"，还"学到了有意义的数据表征"。潜空间中的方向对应着可理解的语义概念（如微笑、眼镜、性别），这为可控生成提供了基础。

5.3 WGAN：损失函数层面的根本改进

DCGAN 从架构设计角度改善了 GAN 的训练稳定性，而 WGAN（Wasserstein GAN） 则从损失函数角度提出了一个根本性的解决方案。

原始 GAN 使用 JS 散度（Jensen-Shannon Divergence）作为目标函数，但 JS 散度有一个致命缺陷：当生成分布与真实分布没有重叠时，JS 散度饱和为常数 $\log 2$，梯度变为零——这就是 GAN 训练不稳定的根源。

图注：WGAN 论文中原生图片对比 EM 距离与 JS 散度的数学性质。左图：EM 距离（Earth Mover 距离）随参数 $\theta$ 变化呈连续平滑曲线，提供可用的梯度信号。右图：JS 散度在 $\theta = 0$ 附近出现跳跃不连续，梯度消失。Wasserstein GAN

WGAN 引入 Wasserstein 距离（Earth Mover 距离）：衡量将生成分布"搬运"到真实分布所需的最小代价。即使两个分布完全不重叠，Wasserstein 距离仍然能提供有意义且连续变化的梯度。

具体实现上，WGAN 将判别器改为 critic（评分器）：不再输出 0~1 的概率，而是输出一个连续评分；损失函数改为 Wasserstein 距离的近似。训练时需要对 critic 的权重施加约束（weight clipping）以满足 Lipschitz 约束。

图注：最优判别器（sigmoid 输出）vs WGAN critic（线性输出）在两高斯分布学习任务中的梯度表现。左图：标准 GAN 的判别器在两分布边界处饱和折断，梯度消失。右图：WGAN 的 critic 曲线连续平滑，在全空间提供可用的梯度。Wasserstein GAN

WGAN 的另一个重要特性是：训练损失与生成样本质量具有相关性。这意味着我们可以通过监控训练损失来判断模型是否在正常学习，而原始 GAN 没有这个特性——它的损失曲线与生成质量之间没有明显对应关系。

5.4 两条改进路线：架构 vs 损失函数

值得梳理的是，DCGAN（架构改进）和 WGAN（损失函数改进）代表了 GAN 稳定化的两条平行路线，可以叠加使用——实践中经常看到"DCGAN 架构 + Wasserstein 损失"的组合。后续的许多 GAN 变体（如 SAGAN、BigGAN、StyleGAN）实际上同时借鉴了这两条路线的思想。

6. 模型对比与当代演进：VAE与GAN的最新进展

6.1 三种模型的系统对比

在深入最新进展之前，有必要系统对比一下 PixelCNN、VAE 和 GAN 这三种主要的生成模型：

这个对比揭示了三种模型在核心权衡上的差异。VAE 以可推理性（$q(z|x)$ 提供了有用的特征表示）和稳定的训练为代价，换来的是生成样本质量相对较低。GAN 以极高的样本质量和隐式密度建模的灵活性为代价，承受的是训练不稳定和无法进行推理查询。PixelCNN 则在另一端：显式建模密度函数、训练稳定，但表达能力受限于自回归分解的顺序性。

6.2 Spherical VAE：从几何角度排除后验崩溃

2026 年的 Spherical VAE 针对后验崩溃问题提出了一个几何约束方案。其核心思想是：通过在参数空间中施加球面壳几何可行域，从理论上排除崩溃解。

具体做法是，将数据映射到半径范围 $[r_{\min}, r_{\max}] = [0.85, 1.0]$ 的球面壳上，在此基础上定义一个可行域 $[W, \delta_{\text{collapse}})$。论文证明了当重构损失被约束在该可行域内时，崩溃解（对应 $\delta_{\text{collapse}}$）在数学上被排除在可行参数空间之外——只要 $W < \epsilon < \delta_{\text{collapse}}$，崩溃状态就不再是合法的优化终点。

图注：Spherical VAE 的可行域验证图。图中显示 $l_C$ 值（聚类感知重构损失）的分布，横轴为 $l_C$ 值，纵轴为频率。红色虚线标注了 $W$（簇内方差下界）和 $\delta_{\text{collapse}}$（崩溃损失上界），99.7% 的样本落在两者之间的可行域内。这张图直观展示了球面几何可行域的概念和约束机制的有效性。Spherical VAE with Cluster-Aware Feasible Regions

Spherical VAE 的意义在于：它不再依赖"启发式地避免"后验崩溃，而是从几何约束的角度"理论地排除"崩溃解。这代表了 VAE 研究向更严格理论分析方向发展的趋势。

6.3 R3GAN：2025年现代GAN baseline

长期以来，GAN 被认为"训练困难"且"充斥着经验性 tricks"。R3GAN（NeurIPS 2024） 正是为了反驳这一流行说法而提出的。

R3GAN 提出了两个核心贡献：第一，规则化相对论 GAN 损失（Regularized Relativistic GAN Loss）：通过 R1 和 R2 正则化的组合使用，从根本上解决模式崩溃和训练不收敛问题，并具有局部收敛的理论保证。第二，架构简化与现代化：移除 StyleGAN2 中复杂的 style 映射网络，用现代残差网络架构替代过时的卷积块。

图注：R3GAN 论文中的架构对比图。(a) StyleGAN2 使用复杂的 style 映射网络将噪声向量 $z$ 映射到中间 style 空间 $W$；(b) StyleGAN2 的构建块包含 2015 年的 ConvNet 架构，且判别器违反 ResNet 恒等映射原则；(c) R3GAN 移除 style 映射网络，用现代残差架构替代，构建出更简洁高效的 GAN baseline。The GAN is Dead; Long Live the GAN! A Modern Baseline GAN

R3GAN 的实验覆盖 FFHQ、ImageNet、CIFAR、Stacked MNIST 等标准数据集，在相同参数规模下 FID 优于 StyleGAN2，在模式覆盖度测试中也表现出色。这篇论文为"GAN 已死"的说法提供了有力的反驳证据——GAN 并不难训练，关键是使用正确的损失函数和现代架构。

6.4 PAE：VAE在扩散模型时代的新角色

如果说 Spherical VAE 和 R3GAN 分别代表了 VAE 和 GAN 的"自我进化"，那么 PAE（Prior-Aligned Autoencoder，2026年5月） 则揭示了 VAE 角色的一次根本性转变——从独立生成模型演变为扩散模型的关键基础设施。 PAE

PAE 提出了一个根本问题：什么样的潜在空间才是扩散模型友好的？传统自编码器主要关注重建保真度，但 PAE 通过系统性实验识别出扩散友好潜在空间的三要素：一致的空间结构（Coherent Spatial Structure）、局部流形连续性（Local Manifold Continuity）、全局流形语义（Global Manifold Semantics）。这三者比重建误差更能预测下游生成质量。

图注：PAE 框架总览图。输入图像经冻结的 VFM（Vision Foundation Model）提取语义特征，DAM（Detail-Aware Modulator）注入像素细节同时保持 VFM 作为主导语义源。调制后的表示被投影到紧凑潜在空间，通过三个先验对齐正则化目标（SSR/MCR/SCR）塑造流形，最终供下游扩散模型使用。PAE 不是独立生成模型，而是 latent diffusion 的 tokenizer——它定义了扩散模型操作的潜在空间质量。What Matters for Diffusion-Friendly Latent Manifold? PAE for Latent Diffusion

PAE 的实验结果令人印象深刻：在 ImageNet 256×256 上达到 gFID 1.03（新的 SOTA），收敛速度比 RAE 快 13 倍。这不仅是性能数字的提升，更标志着一个范式转变——VAE 的价值不再局限于"独立生成模型"，而是成为扩散模型时代的关键组件（tokenizer）。

6.5 场景选择：什么时候用VAE，什么时候用GAN？

面对具体应用时，应该如何选择？

选择 VAE 的场景：需要推理后验分布 $q(z|x)$（如特征提取、异常检测），需要稳定的端到端训练，依赖潜空间的线性可解释性，以及在扩散模型流水线中作为 tokenizer 使用。VAE 的 KL 正则化天然支持从先验采样生成新数据，但生成质量不如 GAN。

选择 GAN 的场景：需要最高质量的生成样本（如艺术创作、高分辨率图像生成），可以使用对抗训练来提升样本质量，以及需要潜空间的语义操控能力（向量运算）。GAN 的训练更不稳定，需要更多的技巧和调参。

扩散模型的选择：对于需要生成高质量图像且对计算成本有一定容忍度的场景，现代扩散模型（如 DALL-E 3、Stable Diffusion）已经超越单独的 VAE 和 GAN——而 VAE 正是这些扩散模型的潜在空间定义者。

回顾整个演进历程：从 2014 年 VAE 和 GAN 的奠基性工作，到 2016 年 DCGAN 让 GAN 真正实用化，到 2017 年 WGAN 解决训练稳定性，再到 2024-2026 年 Spherical VAE、R3GAN、PAE 的当代进展——生成模型领域始终在快速演进。本专题的主线相信你已经把握：VAE 用变分下界逼近不可计算的似然，GAN 用对抗博弈绕过密度函数，两条路线各有优劣、各有演进方向。

当你面对一个生成任务时，现在应该具备了判断"应该用 VAE 还是 GAN，还是扩散模型"的判断力。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Auto-Encoding Variational Bayes — arXiv:1312.6114
2. Generative Adversarial Nets — arXiv:1406.2661
3. Unsupervised Representation Learning with Deep Convolutional GANs — arXiv:1511.06434
4. Wasserstein GAN — arXiv:1701.07875
5. Spherical VAE with Cluster-Aware Feasible Regions: Guaranteed Prevention of Posterior Collapse — arXiv:2603.10935
6. The GAN is Dead; Long Live the GAN! A Modern Baseline GAN — arXiv:2501.05441
7. What Matters for Diffusion-Friendly Latent Manifold? PAE for Latent Diffusion — arXiv:2605.07915