从RNN梯度消失到Transformer并行：序列建模的演进之路

深度学习在处理序列数据时面临一个根本性的张力：循环神经网络（RNN）天然适合捕捉时序依赖，但训练过程中的梯度消失与爆炸问题使其难以学习长期关系；Transformer通过完全并行化实现了高效训练，却要付出$O(n^2)$的注意力复杂度代价。本专题沿着「问题驱动」的主线，逐一拆解RNN→LSTM→注意力机制→Transformer→Mamba→混合架构的演进逻辑，最终给出一份可操作的设计食谱。 RNN Mamba

1. RNN为何难以记住长期依赖？——BPTT梯度消失/爆炸的数学分析

处理序列数据的第一步是理解RNN的基本结构。RNN通过循环连接将前一时刻的隐藏状态传回当前时刻，从而在理论上能够捕捉任意长度的上下文：

$$h_t = f(W \cdot x_t + U \cdot h_{t-1} + b)$$

其中$x_t$是$t$时刻的输入，$h_{t-1}$是上一时刻的隐藏状态，$W$和$U$是权重矩阵，$f$是激活函数。这个简洁的形式让RNN能够处理变长序列——但也正是这个循环结构，埋下了梯度消失的种子。

BPTT反向传播中的指数衰减机制

训练RNN需要使用沿时间反向传播（BPTT）算法。考虑一个同步Seq2Seq场景：给定输入序列$x_1, x_2, \ldots, x_T$，模型在每个时间步$t$计算损失$L_t$。对权重$U$的梯度涉及误差信号从$t$时刻反向传播到更早的时刻$k$：

$$\delta_{t,k} = \frac{\partial L_t}{\partial h_k}$$

根据BPTT的推导，误差传播满足以下关系：

$$\delta_{t,k} = \gamma^{t-k} \cdot \delta_{t,t}, \quad \gamma \cong \text{diag}(f'(z_\tau))U^\top$$

其中$\gamma$是一个与激活函数导数和权重矩阵相关的量。当$|w_{ij}| \leq w_{max} < 4.0$（对logistic sigmoid激活），误差流会以指数方式衰减——这意味着距离当前时刻越远的历史信息，对参数更新的贡献就越小。

图注：BPTT误差反向传播示意图，展示了误差信号$\delta$如何从输出层沿循环连接反向传至各时间步。路径越长，衰减越严重。 Long Short-Term Memory, Neural Computation 1997

梯度消失与爆炸的直观解释

当$\gamma > 1$时，$\gamma^{t-k}$会随时间差增大而指数增长，导致梯度爆炸——参数更新幅度过大，训练不稳定；当$\gamma < 1$时，$\gamma^{t-k}$指数衰减，导致梯度消失——早期时间步的梯度几乎为零，参数无法有效更新。

举一个具体的例子：给定句子"Jane walked into the room. John walked in too. It was late in the day. Jane said hi to ____"，模型需要记住开头出现的"Jane"才能正确填写空缺。但BPTT的指数衰减使得梯度在反向传播超过约10步后就几乎消失，RNN实际上无法学习这种长期依赖关系。

Hochreiter和Schmidhuber在1997年的经典论文中严格证明：对于标准RNN，学习时间滞后超过1000步的任务"需要极长时间或根本不可能"。这直接催生了LSTM的发明。

2. LSTM如何用门控机制解决梯度问题？——记忆细胞与Constant Error Carousel

LSTM的核心创新是在RNN结构中引入记忆细胞（memory cell）和门控单元（gate units），通过精心设计的信息流控制来解决梯度消失问题。

Constant Error Carousel：恒定误差流的秘密

LSTM的设计哲学可以用一个核心概念概括：Constant Error Carousel（CEC）——恒定误差回旋木马。CEC的原理很简单：细胞内部的自循环连接权重固定为1.0，激活函数设为恒等函数$y_j(t+1) = y_j(t)$。

这意味着什么？细胞输出在时间步之间保持常数，误差在细胞内部既不会爆炸也不会消失——它被"锁定"在细胞内，只在穿过输入门或输出门时才会被一次性缩放。

细胞状态的更新公式为：

$$s_{c_j}(t) = s_{c_j}(t-1) + i_j(t) \cdot \tilde{c}_j(t)$$

其中$i_j(t)$是输入门的激活值，控制新信息有多少进入细胞；$\tilde{c}_j(t)$是候选记忆内容。通过这种方式，LSTM实现了选择性记忆——不是所有新信息都值得记住，也不是所有旧信息都应该遗忘。

三重门控结构：输入门、输出门与信息流控制

LSTM的记忆细胞配合两类门控单元来控制信息流：

图注：LSTM记忆细胞结构示意图，细胞方框内部是Constant Error Carousel的自循环连接（权重1.0），输入门inj控制新信息写入，输出门outj控制信息读取。 Long Short-Term Memory, Neural Computation 1997

• 输入门（input gate, $in_j$）：决定当前输入有多少信息可以写入细胞状态。类似于Selective Reading——决定"看到什么新信息就记住"。
• 输出门（output gate, $out_j$）：决定细胞状态何时被读取。类似于Conditional Retrieval——决定"什么时候该提取记忆"。
• 细胞状态（cell state）：通过自循环维持恒定误差流，信息在此积累和保存。

这种门控设计的精妙之处在于：所有门控都是可学习的乘法开关，模型通过训练自动学习何时开门、关门。这解决了RNN中"输入权重冲突"的问题——细胞需要同时存储新信息和保护旧信息，门控机制让两者得以分离和协调。

LSTM如何桥接1000+步时间滞后

原始LSTM论文中的实验证据极具说服力。在添加任务（addition problem）上，LSTM能够成功处理T=1000（500步滞后）的序列，而标准BPTT和RTRL在滞后超过10步时就完全失败。更进一步，LSTM在853,000个训练序列后能够解决T=1000的噪声添加任务，错误率降至零。

这些实验证明了门控机制的有效性：LSTM确实能够学习长期依赖关系，代价是引入了更多的参数和更复杂的结构。

3. 注意力机制如何打破固定长度向量瓶颈？——从上下文向量到软对齐

虽然LSTM在长期依赖问题上取得了突破，但它仍然是一种循环模型——每个时间步必须等待上一时间步计算完成才能开始当前计算，这使得训练无法并行。更根本的问题是：LSTM仍然依赖一个固定长度的隐藏向量来编码整个源序列。

固定长度上下文向量的困境

传统的编码器-解码器（Seq2Seq）架构将整个输入序列编码为一个固定长度向量，解码器从中生成输出。Bahdanau等人在2014年的论文中明确指出了这一设计的瓶颈：

"We conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder-decoder architecture."

对于短句子，固定向量也许够用；但对于长句子，将所有信息压缩到单一向量中必然导致信息丢失。解码器无法根据当前需要动态地访问源序列的不同部分。

软对齐机制：让解码器学会"看向哪里"

注意力机制的核心思想是软对齐（soft-alignment）：在解码的每个时间步，模型不再只依赖单一上下文向量，而是根据当前解码状态动态地计算对源序列各位置的注意力权重，然后加权求和得到上下文向量：

$$c_i = \sum_{j=1}^{T_x} \alpha_{ij} h_j$$

其中$h_j$是双向RNN编码器对输入词$x_j$的annotation（前后向隐藏状态的拼接），$\alpha_{ij}$是解码器在生成第$i$个输出时对源词$j$的注意力权重。

图注：带注意力机制的编码器-解码器结构图，左侧为双向RNN编码器（forward和backward），右侧为解码器。解码器通过注意力评分函数$a(s_{i-1}, h_j)$计算对各源词隐藏状态的权重，加权求和得到上下文向量$c_i$。 Neural Machine Translation by Jointly Learning to Align and Translate, arXiv:1409.0473

注意力权重的计算使用一个前馈网络（带tanh激活）来评分：

$$\alpha_{ij} = \frac{\exp(e_{ij})}{\sum_{k=1}^{T_x} \exp(e_{ik})}, \quad e_{ij} = a(s_{i-1}, h_j)$$

这个设计的精妙之处在于：对齐和翻译是联合学习的。模型自动发现源语言和目标语言之间的对应关系，而无需显式监督。

注意力机制在长句子上显著优于基础Seq2Seq

实验结果有力地证明了注意力机制的价值。在WMT'14 English-to-French翻译任务上：

关键发现是：RNNencdec的性能随句子长度增加急剧下降，而RNNsearch（带注意力）对长度不敏感——注意力机制让解码器能够直接"看到"源序列的相关部分，而不是依赖一个压缩的固定向量。

4. Transformer为何能完全抛弃RNN？——Scaled Dot-Product Attention与并行化

注意力机制启发了革命性的架构创新。2017年，Vaswani等人发表了里程碑式论文《Attention Is All You Need》，完全基于注意力机制重建序列建模，彻底抛弃了循环结构。 Attention Is All You Need

Scaled Dot-Product Attention：更高效的注意力计算

Transformer使用的是缩放点积注意力（Scaled Dot-Product Attention），计算公式为：

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

其中$Q$（Query）、$K$（Key）、$V$（Value）是通过输入的线性变换得到的三个向量序列。为什么要除以$\sqrt{d_k}$？当维度$d_k$较大时，$q$和$k$的点积数值范围会变大，可能导致softmax进入梯度极小的区域；除以$\sqrt{d_k}$使点积结果的方差归一化到1。

图注：左侧展示缩放点积注意力的计算流程：$Q$、$K$、$V$矩阵输入，经$\frac{QK^T}{\sqrt{d_k}}$计算相关性分数，Softmax归一化后加权求和得到输出。右侧展示多头注意力结构，多个并行注意力头拼接后经线性投影。 Attention Is All You Need, arXiv:1706.03762

Multi-Head Attention：多头并行关注不同子空间

Transformer使用多头注意力（Multi-Head Attention）而非单一注意力头：

$$ \text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \ldots, \text{head}_h)W^O $$

其中每个$\text{head}i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V)$。Transformer使用$h=8$个注意力头，每个头的维度$d_k = d_v = d{model}/h = 64$。多头机制允许模型在不同表示子空间联合关注不同位置的信息——这是单头注意力无法实现的能力。

图注：Transformer整体架构图，左侧为6层编码器堆叠，右侧为6层解码器堆叠，标注了$N=6$层、Multi-Head Attention和FFN子层的位置。编码器和解码器之间通过Cross-Attention连接。 Attention Is All You Need, arXiv:1706.03762

完整编码器-解码器结构

Transformer的编码器每层包含两个子层：Multi-Head Self-Attention和Position-wise Feed-Forward Network（FFN），均使用残差连接和LayerNorm。解码器在此基础上增加第三个子层：对编码器输出执行Multi-Head Cross-Attention。此外，解码器的Self-Attention需要Masked版本，防止当前位置看到后续位置（维持自回归特性）。

位置编码使用固定正弦/余弦函数：

$$PE_{(pos,2i)} = \sin\left(\frac{pos}{10000^{2i/d_{model}}}\right), \quad PE_{(pos,2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{model}}}\right)$$

这让模型能够学习相对位置关系，且可以泛化到训练时未见过的序列长度。

O(n²)复杂度：Transformer的代价

Transformer的核心优势是完全并行化训练——所有时间步的注意力计算可以同时进行。但代价是：自注意力的计算复杂度为$O(n^2)$（因为$QK^T$矩阵是$n \times n$），其中$n$是序列长度。相比RNN的$O(n)$线性复杂度，Transformer在长序列上的计算和内存成本急剧增加。

这在机器翻译任务上不是大问题（WMT翻译的句子通常不超过几十个词），但对于长文档、代码库、基因组序列等场景，$O(n^2)$的复杂度成为严重瓶颈。这正是后续Mamba等线性复杂模型出现的动机。

5. 注意力机制如何泛化到视觉领域？——Vision Transformer的跨模态之路

注意力机制不仅限于文本序列。Dosovitskiy等人2020年发表的Vision Transformer（ViT）证明了Transformer架构可以直接处理图像，在大规模预训练条件下取得与CNN相当甚至更好的性能。 ViT

Patch Embedding：图像的序列化

ViT的核心思想是将图像转化为"词袋"式的序列。具体流程：224×224的输入图像被划分为16×16像素的patches，共得到$(224/16)^2 = 196$个patches。每个patch展平为$16 \times 16 \times 3 = 768$维向量，经线性投影后形成词袋式序列。ViT额外添加一个可学习的分类token（CLS token）用于最终分类。

图注：ViT架构流程图，左侧展示输入图像经16×16分块、线性投影、可学习位置嵌入后形成196+1个token序列，右侧展示Transformer编码器堆叠和MLP分类头。 An Image is Worth 16x16 Words, arXiv:2010.11929

大规模预训练：数据为王

ViT的关键发现是大规模预训练至关重要。在小数据集（ImageNet，仅1.3M图像）上，ViT性能低于同等计算量的ResNet；只有在大规模数据（JFT-300M，约3亿张图像）上预训练后，ViT才能显著超越CNN。

具体而言，ViT-H/14（在JFT-300M上预训练）在ImageNet上达到88.55% Top-1准确率，超越相同计算量下的ResNet。这体现了深度学习的"数据为王" scaling规律：Transformer架构需要大量数据才能发挥其全部潜力。

图注：双面板性能对比图，左面板展示ImageNet 5-shot准确率随预训练数据量变化曲线，ViT（蓝色）在小数据时低于ResNet（灰色），但在大数据时超越并持续上升。 An Image is Worth 16x16 Words, arXiv:2010.11929

注意力机制通用性的验证

ViT证明了注意力机制不依赖于特定的模态（文本）。它成功地将"分块+位置编码+Transformer编码器"这套框架从NLP迁移到计算机视觉，为后续多模态模型（CLIP、DALL-E等）奠定了架构基础。ViT的注意力头在深层能够捕捉全局信息（平均attention distance较大），说明模型确实学会了图像的空间结构。

6. Transformer的O(n²)瓶颈如何破解？——Mamba选择性状态空间模型

Transformer的$O(n^2)$复杂度在长序列上代价高昂。2023年，Gu和Dao提出了Mamba——首个在语言建模质量上匹敌Transformer、同时具有线性时间复杂度的状态空间模型。

选择性SSM：输入依赖的参数化

Mamba的核心创新是选择性状态空间模型（Selective SSM / S6）。传统SSM的参数（$\Delta$、$B$、$C$）是时间不变的（time-invariant）——每个时间步使用相同参数。而Mamba让这三个参数成为输入的函数： SSM

• $s_B(x) = \text{Linear}_N(x)$，$s_C(x) = \text{Linear}N(x)$，$s\Delta(x) = \text{Broadcast}_D(\text{Linear}_1(x))$

这使得SSM从时间不变变为时间可变：模型现在能够有选择地传播或遗忘序列维度上的信息，根据当前token内容决定保留或过滤。

图注：选择性SSM概览图，展示输入$x$通过高维潜在状态$h$映射到输出$y$的过程。关键在于$\Delta$（时间步长）、$B$（输入映射）、$C$（输出映射）参数现在是输入依赖的，允许模型选择性传播或遗忘信息。 Mamba: Linear-Time Sequence Modeling with Selective State Spaces, arXiv:2312.00752

硬件感知并行扫描：40倍训练加速

将SSM参数变为输入依赖后，无法再使用高效卷积计算。Mamba设计了硬件感知算法：利用GPU内存层级结构，只在高效的SRAM中物化状态$h$，而非在HBM（高带宽内存）中。该算法融合了核融合（kernel fusion）、并行扫描（parallel scan）和重计算（recomputation）三大技术。

图注：效率基准对比图，左面板显示训练阶段Mamba的扫描算法比标准实现快40倍；右面板显示推理阶段Mamba比Transformer吞吐量高5倍（因纯循环模型无需缓存完整上下文KV）。 Mamba: Linear-Time Sequence Modeling with Selective State Spaces, arXiv:2312.00752

线性复杂度与长上下文能力

Mamba的核心优势是线性时间复杂度：自回归推理每步只需常数时间（无需缓存完整上下文KV cache）；计算和内存随序列长度线性缩放。实验证明Mamba可扩展到百万长度序列（1M tokens），在DNA和音频任务上验证。

在语言建模质量上，Mamba-3B匹配2×规模的Transformer（pretraining perplexity和下游评估均如此）；在常识推理任务上比Pythia-3B高4分，甚至超过Pythia-7B。这是首个在缩放律上匹配Transformer++的无注意力模型。

7. RNN与Transformer如何融合？——Jamba层间混合 vs TransMamba序列级共享

LSTM的门控和Mamba的SSM擅长高效处理长序列，但注意力机制在上下文召回（context recall）任务上仍有优势；Transformer的注意力质量高，但$O(n^2)$复杂度在长序列上代价不菲。自然而然地，研究者开始探索将两者融合的混合架构。

Jamba：层间顺序混合（Inter-layer Hybrid）

Jamba是第一个将Transformer层与Mamba层通过层间顺序混合方式融合的大型语言模型。其核心设计：每个Jamba block包含$l=8$层，注意力层与Mamba层以1:7的比例配置——即每8层中有1层是注意力（带MLP），7层是Mamba（带MLP）。 Jamba

图注：Jamba block结构图，(a)展示一个Jamba block的层堆叠；(b)展示三种层类型：Attention层（注意力模块+MLP）、Mamba层（SSM模块+MLP）、MoE层（混合专家模块）。l=8中a:m=1:7的配比让模型同时利用注意力的强上下文建模能力和Mamba的线性复杂度。 Jamba: A Hybrid Transformer-Mamba Language Model, arXiv:2408.12570

Jamba还引入了MoE（混合专家）模块来扩充模型容量但不显著增加推理计算量。在Jamba-1.5-Large中，MoE使总参数量达到398B，但活跃参数仅为94B。关键是：Jamba-1.5系列在256K上下文长度下的KV缓存内存需求约为同规模其他模型的十分之一——这是Mamba层带来的直接优势。

TransMamba：序列级参数共享与动态切换（Intra-layer Hybrid）

TransMamba展示了RNN-Transformer融合的第二种范式：序列级参数共享与动态切换。与Jamba的"某些层是Transformer，某些层是Mamba"不同，TransMamba用同一套参数矩阵同时表达注意力和SSM计算。 TransMamba

具体而言，TransMamba让QKV和CBx共享相同参数（$W_{QKV} \leftrightarrow W_{CBx}$，即Q↔C、K↔B、V↔x），通过TransPoint调度实现注意力与SSM模式的动态切换：TransPoint之前序列用Attention模式处理，TransPoint之后用SSM模式。

图注：TransMamba的统一框架图，token序列在TransPoint处从Attention模式（蓝色路径）切换到SSM模式（绿色路径），QKV和CBx参数共享实现更深度的架构统一。 TransMamba: A Sequence-Level Hybrid Transformer-Mamba Language Model, arXiv:2503.24067

TransMamba还设计了Memory Converter模块，将注意力输出的K、V矩阵转换为SSM所需的初始隐状态$h_0$：

$$h_s = (A^\times \circ K^T)V, \quad h_0 = h_s[-1]$$

这保证了跨TransPoint的信息无损传递。

图注：TransMamba三面板详细架构：(a)整体结构——共享参数$W_{QKV}$和$W_{CBx}$，token经蓝色路径（Attention）或绿色路径（SSM）；(b)Memory Converter——将K、V矩阵转换为SSM初始状态；(c)TransPoint调度——不同层的TransPoint分布在整个序列长度上。 TransMamba: A Sequence-Level Hybrid Transformer-Mamba Language Model, arXiv:2503.24067

两种范式的对比

在LongBench-v2基准（1.5B模型）中，TransMamba综合得分38.76，显著优于Hybrid 35.79、Transformer 31.61、Mamba 30.62。这证明了序列级融合在长文档任务上的有效性。

8. 混合架构的最优设计食谱——基于系统性分析的实践指南

Meta FAIR团队的Bae等人2025年发表了混合架构领域的最新系统性分析，提供了完整的设计框架和实验证据。

两大混合范式的分类

论文将混合架构分为两类：

• Inter-layer（层间/顺序）混合：在层级别交替堆叠Transformer块和Mamba块，通过调整两者的排列顺序和比例实现融合。Jamba是典型代表。
• Intra-layer（层内/并行）混合：在单个层内部通过head-wise分割实现并行融合——部分注意力头使用Transformer，部分使用Mamba，通过输出融合（加法、减法、拼接）合并结果。TransMamba和Hymba、Falcon-H1是典型代表。

图注：左侧展示两种混合策略的结构差异：Inter-layer在层间交替堆叠Transformer和Mamba块；Intra-layer在单层内通过head-wise分割并行处理（右侧放大intra-hybrid block细节）。右子图为1B参数模型在DCLM验证集上的负对数似然与解码吞吐量Pareto前沿，混合模型（虚线）明显优于纯Transformer（蓝）和纯Mamba（红）。 Hybrid Architectures for Language Models: Systematic Analysis and Design Insights, arXiv:2510.04800

最优SSM:Attention配比

实验数据给出了明确的配比建议：

• 质量优先：1:1配比（Transformer:Mamba）质量最佳
• 效率-质量平衡：1:5配比是实际最优选择，与Jamba等大型混合模型采用的配比一致

值得注意的是，Mamba的FLOPs比Transformer低18%（1B规模、8K长度下），这意味着混合模型的低FLOPs几乎可以直接转化为更快的实际训练时间。

Transformer块的位置策略

位置策略对混合架构性能有显著影响：

• 禁止将Transformer块放在前部（early layers）：实验表明这会导致性能大幅下降，因为早期层的Transformer会表现出高度均匀的注意力分布，与Mamba的局部归纳偏置产生冲突
• 最优位置为中层（middle layers）：符合Jamba、Hymba等先前工作的发现
• Intra-layer混合：将intra-hybrid块均匀分散在各深度效果最佳，Sandwich策略（两端放intra-hybrid块）会导致性能大幅下降

长上下文检索能力的关键证据

混合架构在长上下文任务上展现出显著优势：

图注：五列NIAH热图，绿色表示100%检索准确率，红色表示0%。横轴为上下文长度（0-14K），纵轴为needle深度。Inter-hybrid和Intra-hybrid在14K长度、任意深度均保持高准确率（绿色）；纯Transformer在8K后准确率降至接近零；SWA和Mamba在局部窗口外失效。 Hybrid Architectures for Language Models: Systematic Analysis and Design Insights, arXiv:2510.04800

可操作的设计食谱

综合以上分析，以下是面向实践者的设计指南：

若追求最高质量：选择1:1的Transformer:Mamba块配比，Transformer块置于中层。

若平衡效率与质量：选择1:5的块配比，intra-layer混合可考虑1:1维度配比（query/key维度与Mamba pre-expansion维度相等）。

Intra-layer混合的架构选择：Group normalization（必要）、减法或拼接作为输出融合操作、半尺寸Transformer。

位置策略：Inter-layer避免front placement；Intra-layer均匀分散优于Sandwich。

长上下文优先：如果应用场景需要处理超过4K的序列长度，混合架构几乎是必选——纯Transformer在8K后准确率降至接近零，而混合模型可有效扩展到14K甚至更长。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Long Short-Term Memory — Neural Computation
2. Neural Machine Translation by Jointly Learning to Align and Translate — arXiv:1409.0473
3. Attention Is All You Need — arXiv:1706.03762
4. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale — arXiv:2010.11929
5. Mamba: Linear-Time Sequence Modeling with Selective State Spaces — arXiv:2312.00752
6. Jamba: A Hybrid Transformer-Mamba Language Model — arXiv:2408.12570
7. TransMamba: A Sequence-Level Hybrid Transformer-Mamba Language Model — arXiv:2503.24067
8. Hybrid Architectures for Language Models: Systematic Analysis and Design Insights — arXiv:2510.04800