BloomBloom
发起研究

Don't Drop Dropout：把层级 dropout 重新配方，LLM 训练省 25% FLOPs

2025 年的"dropout 已死"共识，和一个被误伤的 layer dropout

被误伤的 layer dropout 能不能靠重新配方，重新站回 LLM 训练台？这是 2025 年一篇实证论文出现后，整个社区需要回答、却还没人正面回答过的问题。

起点是一个看上去很扎心的数字。2025 年 ACL Findings 上 Liu et al., 2025（Drop Dropout on Single-Epoch Language Model Pretraining）系统比较了 BERT-base 与 Pythia 160M/1.4B 上 p=0/0.1/0.3 三档 dropout：LM loss、BLiMP、SQuAD F1、MNLI accuracy 全都一致——关掉 dropout 最优，dropout 比例越高、损失越大。这条结论在 single-epoch 预训练下站得很稳，也直接解释了为什么 LLaMA-2/3、Pythia、GPT-NeoX 这一线模型里 dropout 这个词几乎不见踪影。

但这条结论有一个隐含前提：它讨论的是 standard activation dropout，也就是随机丢掉隐藏层单元的那一类。layer dropout（也叫 stochastic depth）是另一类对象。它丢的是整个 Transformer block，而不是块里的某些神经单元。两类对象在机制上完全分开，结论当然也不互通。如果你想正面回答开头的那个问题，第一步就是承认：activation dropout 这条数字只能证明它自己的失败，不能直接判 layer dropout 死刑。

把 activation dropout 的失败泛化到 layer dropout，是过去几年社区里悄悄发生的一件事。layer dropout 在 2019 年的 LayerDrop（Fan et al., ICLR 2020）里被系统地带进 Transformer，主张训练时丢层、推理时按需抽子网。但这套范式到了 LLM 时代没有被认真调过，社区默认沿用了当年那条"uniform + constant"的朴素配方，于是 dropout 看起来伤准确率的印象就越传越广。换句话说，社区不是判了 layer dropout 死刑，而是把 LayerDrop 时代的一条弱配方当成了 layer dropout 的本来面目。 LayerDrop

arXiv:2609.05275（Don't Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference，Cerebras + MBZUAI，ICML 2026 扩展版）这篇论文要做的事就一句话：layer dropout 不是没用了，是从来没人把它用对。论文在三组超参（scaling factor、layer distribution、time schedule）上做了系统消融，跑出 2400+ 次训练，覆盖 271M 到 8.2B 参数、最大 160B tokens。结果是：用对配方的 layer dropout，能在训练时省下最多 25% 的 FLOPs 同时不损 validation loss，还能把模型变成推理时的弹性深度网络，自投机解码拿到约 1.5 倍加速。 Don't Drop Dropout

下面我们沿着这条主线展开。先讲 layer dropout 到底是什么，再看它怎么在 Transformer 上演化，再看锚论文如何把它拆成三轴超参，最后落到训练与推理两条独立的收益线上，并讲清楚证据边界。

layer dropout 的出生证：丢整层，不是丢隐藏单元

layer dropout 的原始定义来自 2016 年 Huang et al. 的 Deep Networks with Stochastic Depth（ECCV 2016）。它在 ResBlock 上做的事情可以一句话说清：给每个残差块接一个 Bernoulli 开关，抽到 1 就正常执行这个块；抽到 0，块就退化成恒等映射，跳过去。 Deep Networks with Stochastic Depth

这个机制和 standard dropout 有本质差别。standard dropout 在每个层内部随机丢掉一部分隐藏单元，网络整体"变薄"，但每一层都还在。layer dropout 随机丢掉的是整个块，网络变"短"了而不是变薄。训练时这个块的权重照常更新（因为梯度通过恒等旁路也会传回去），但前向计算和反向计算都被省了，单次更新的算力预算就降下来了。

原论文给了一条经典的 survival probability 曲线：浅层总是保留，越深的层越常被跳。论文把末层的生存概率设成 0.5，于是 L 个残差块的期望有效深度是大约 3L/4，训练时间理论上能省 25% 左右。推理时所有块重新激活，使用完整网络。

stochastic depth 的 survival probability 线性衰减示意

图注：原图展示 stochastic depth 中各层 survival probability 随深度线性变化的机制：浅层 ResBlock 几乎始终保留，越深的块越常被旁路；端点标注 p₀=1（最浅层永远激活）、p_L=0.5（末层仅一半概率执行）。这是 layer dropout 在 ResNet 上的"出生证"，与 Transformer 上的 layer dropout 共享同一类机制。来源：Huang et al., 2016。

2019 年的 LayerDrop（Fan et al., ICLR 2020）把这个机制搬到了 Transformer。它主张训练时随机丢整个 Transformer layer，推理时无需 finetune 就能从同一模型里抽任意深度的子网。这个卖点对当时的 Transformer 训练特别有用，因为非常深的 Transformer（比如 12 层以上的 encoder）不丢层就训不稳，LayerDrop 在 WMT en-de 上把 12 层 Transformer 的 BLEU 从训崩拉到 30.2。

LayerDrop 还做了一个具体的设计决策：只丢整层，不丢 attention head。原因是 attention head 在 GPU 上是并行算的，丢 head 不省 inference 时间。它的主推推理时剪枝策略是 Every Other——隔一层删一层，论文自评"tough to beat"。

LayerDrop 的多模型 vs 单模型抽子网对照

图注：原图横向对比两种获取不同深度 Transformer 模型的方式：左侧是标准做法，每个目标深度从头训练一个独立模型；右侧是 LayerDrop 的做法，单个大模型训练时随机丢层，训练完成后从中按需抽取任意深度子网，无需重新训练。这是 layer dropout 进入 Transformer 体系的最早标志性证据。来源：Fan et al., 2019。

到这里为止，layer dropout 看起来都像是一种"训练技巧"。但锚论文看到了它背后一个更深的可能性：layer dropout 训练出来的模型，中间层被训练成随时准备好被跳过，这为后文测试其早退 / 跳层行为提供了可能。推理时能否真的放心跳过某些层、提前退出、用浅层子集去做 draft，需要在专门的实验里验证——如果成功，这些以前需要专门设计的 inference 加速路径，都可以通过训练时的 layer dropout 免费获得。下面就来看锚论文怎么把这套直觉系统化。

把 layer dropout 用对：scaling factor、layer distribution、time schedule 三轴配方

锚论文的第一个核心贡献是：layer dropout 不是单一超参，而是一张配方表。它由 3 个主轴构成，分别是 scaling factor、layer distribution、time schedule；每个主轴之下另有 2 项粒度选择要拍板，一项是丢的单位有多大，一项是 mask 在批内怎么共享。这些旋钮过去十年被混在一起、随手设置，从来没有人在 LLM 规模上系统调过。下面按这个顺序走：先讲 2 项粒度选择，因为它决定了后面三个主轴上"丢的到底是什么"；再依次讲三个主轴。

两项粒度选择：丢多大、谁共享

第一项是结构粒度。两个选项：layer（用同一个 mask 同时丢 attention 和 FFN）vs sub-layer（给 attention 和 FFN 各一个独立 mask）。直觉上"更细的粒度应该更好"，但实验结果反直觉：layer 粒度的 loss 反而更低。这个结论在论文的多个模型规模上稳定。

第二项是 tensor granularity：per-sequence（每个样本一个独立 mask）vs per-batch（整 batch 共享一个 mask）。per-sequence 一直更优；per-batch 唯一的优势是当训练不是 compute-bound 时，硬件上能省掉一层权重的加载。

这两项定下来之后（layer 粒度、per-sequence mask），才轮到三个主轴。

主轴一：scaling factor，r_train = 1/ρ 是怎么定下来的

先看公式。layer dropout 在第 ℓ 层、训练步 t 的更新写为：

H^{ℓ+1,t} = H^{ℓ,t} + r_train^{ℓ,t} · M^{ℓ,t} · f^ℓ(H^{ℓ,t})

这里 M^{ℓ,t} 是一个 Bernoulli mask（取值 0 或 1，命中 1−p 的概率为 1），f^ℓ 是 block 内部的变换，r_train 是一个尺度因子。被跳的层（M=0）整个不计算；命中的层（M=1）走完整前向。这套写法本身不新鲜，难点在于 r_train 和 r_eval 怎么选。

文献里的实现其实混乱到令人尴尬。Hinton 2012 的原始 dropout 论文用 r_train=1、r_eval=ρ；PyTorch / TensorFlow 的标准 dropout 反过来，r_train=1/ρ、r_eval=1；Huang 2016 stochastic depth 用 r_train=1、r_eval=p；DINOv2 用 r_train=1/ρ、r_eval=1；fairseq 里的 LayerDrop 实现是两边都设为 1；torchtune 里的 LayerSkip 实现两边也都设为 1。 LayerSkip

锚论文在 40 层固定深度的模型上跑了 Coordinate Check（一个诊断实验，看激活范数是否随深度爆炸），结果非常明确。

anchor paper 的 Coordinate Check 两面板对比

图注：左面板：r_train=1 时，不同 dropout 率下激活范数随深度持续爆炸；右面板：r_train=1/ρ 时，激活范数在所有 dropout 率下都稳定。这条稳定性证据是论文选定 r_train=1/ρ 的关键依据。来源：Elhoushi et al., 2026。

这个结果背后的直觉是：当某些层被跳过时，残差流的有效路径变短，激活范数应该被补偿回去。设 ρ 是期望保留比例（也就是 1−p，p 是 dropout 率），那么把命中的层输出除以 ρ，就能让期望尺度不变。这正好是 r_train=1/ρ 这条选择的几何意义。

更妙的是，r_train=1/ρ 让论文可以做 Hyperparameter Transfer Test：在一个 271M 小模型上找到最优学习率、batch size 和 AdamW 时间常数，把 dropout 比例从 0 变到很高的值，这些最优超参几乎不动。换句话说，layer dropout 的强度变化可以被现有的优化器配方自动吸收，工程师不需要每改一次 dropout 率就重做一次学习率 sweep。

主轴二：layer distribution，沿深度方向怎么分配

layer distribution 指的是沿深度方向每层的 dropout 概率剖面。论文比较了三种形式：

名称公式直观含义
Uniformp^{ℓ,t} = p_max每层 dropout 率相同
ALD（Alternating）p^{ℓ,t} = p_max · [ℓ ≡ 1 (mod 2)]隔层丢一层，即 LayerDrop 的 Every Other
ILD（Increasing）p^{ℓ,t} = (ℓ / (L−1)) · p_max越深的层 dropout 越高

实验结论是非均匀分布胜过均匀分布。小模型上 ALD 略优；模型放大后，ILD 的优势持续扩大。最终推荐是 ILD。这条结论直接反驳了 LayerDrop 时代"uniform + Every Other"的默认写法。

主轴三：time schedule，dropout 率随训练怎么变

第三个主轴是 dropout 率随训练步数的变化曲线。同样三种：

名称公式直观含义
Constantp^{ℓ,t} = p^{ℓ}_distdropout 率恒定（LayerDrop 时代的默认）
ITS（Increasing）p^{ℓ,t} = p^{ℓ}_dist · (t / (T−1))dropout 率随训练线性上升
DTS（Decreasing）p^{ℓ,t} = p^{ℓ}_dist · (1 − t / (T−1))dropout 率随训练线性下降

论文在 503M 和 906M 模型上的 20 TPP（tokens-per-parameter，Chinchilla-style compute-optimal 预算）实验里看到：DTS 严格优于 Constant 优于 ITS。这是 layer dropout 历史上第一次被系统证明能"在更少 FLOPs 下打到 dense baseline 之下的 loss"。

三个主轴合起来

把三个主轴的推荐合起来，论文给出的最终配方是 ILD + DTS + r_train=1/ρ（粒度取 layer + per-sequence）。这个配方有几个值得点出的属性：

第一，ILD + DTS 组合下，平均训练 dropout 率只有 0.25 · p_max，是常数或递增调度的一半。换句话说同样的 p_max 下，ILD + DTS 让训练期实际被跳过的层更少，模型学到的中间表示更强。

第二，这套配方被论文解释为一种隐式的 curriculum learning：训练初期 dropout 率高，模型被迫用浅层有效深度工作（"hard"），训练后期 dropout 率降下来，模型逐步过渡到完整深度（"easy"）。这种"stochastic model growing"的视角和模型规模 scaling 的直觉是一致的。

第三，因为 r_train=1/ρ 让 dropout 强度的变化对最优学习率几乎无影响，工程师可以直接在小模型上做 sweep，把推荐超参直接搬到更大模型上，不需要重新调学习率、batch size、weight decay。

到这里讲的是方法本身的结构。下面看这套方法实际跑出了什么。

两条独立的收益：训练省 25% FLOPs，推理快 1.5 倍，不是同一件事

锚论文同时报告了训练和推理两条收益线。这两条线很容易被读者合成一个"端到端又快又省"的故事，但它们是两条独立的优化轴，测的不是同一回事。

训练期两条 FLOPs 轴

第一轴是 iso-FLOPs：相同的训练算力预算下，能不能拿到更低的 validation loss。下图是 1.8B（p_max=0.6）和 3.9B（p_max=0.8）模型在 20 TPP 训练预算下的 loss–FLOPs 曲线。

1.8B 与 3.9B 模型在 20 TPP 下 validation loss vs FLOPs 曲线

图注：左面板：1.8B 模型，p_max=0.6、ILD+DTS 的 dropout 配方相对 dense baseline；右面板：3.9B 模型，p_max=0.8、ILD+DTS 相对 dense baseline。在整个 FLOPs 区间，dropout 曲线贴着或压在 dense 曲线之下。这张图直接支撑了论文"same training FLOPs → lower loss"的核心卖点。来源：Elhoushi et al., 2026。

第二轴是 iso-steps：相同的训练步数下，能省多少训练 FLOPs 同时不损 loss。论文报告的 hero run 数字如下：

模型规模配方训练 FLOPs 节省validation loss vs dense自投机加速
1.8Bp_max=0.6 ILD+DTS15%1.836 vs 1.8491.34× vs 1.10×
3.9Bp_max=0.8 ILD+DTS20%1.745 vs 1.7321.54× vs 1.02×
8.2Bp_max=0.99 ILD+DTS25%1.663（无 dense 对照）1.55×

注意 8.2B 这一行论文没有给出 dense baseline 的并列数字，所以"省 FLOPs 同时不损 loss"这个方向性结论只能由已有对照的两行直接支撑：1.8B 上 dropout 1.836 vs dense 1.849，dropout 略低；3.9B 上 dropout 1.745 vs dense 1.732，dropout 略高（差异很小但严格说是反向）。也就是说，在论文给出的 iso-steps 对照里，1.8B 是"省 15% FLOPs 同时 loss 略优"，3.9B 是"省 20% FLOPs 同时 loss 几乎平手但微涨"。8.2B 上"省 25% FLOPs 同时不损 loss"严格来说是一个带外推性质的工程性宣称——论文没在这个规模做 dense 对照 run，读者把它当成"已被严格验证"会过头，把它当成"在大规模上仍是合理工作点"则与论文的 p_max 单调上升观察一致。第二轴才是"省 25% FLOPs"的来源：3.9B 上 20%，8.2B 上 25%。这条数字随模型规模单调上升，论文据此推断更大模型上还能进一步拉高 p_max。换句话说，layer dropout 之所以在过去被认为对大模型"有害"，很可能就是因为大家用了 uniform + constant 的弱配方，没意识到模型越大能承受的 p_max 反而越高。

推理期三条加速路径

训练时把中间层置于"随时可被跳过"的分布里这件事，论文给出的解释是：它与早退、跳层后 dropout 模型持续获得较低 exit loss / skip CE 是一致的，所以同一组训练分布同时支撑训练和推理两条收益线。下面三条加速路径，是这份解释在推理端能被直接测到的事实。

第一条是 early exit。dense 模型在某一中间层停下来直接接 LM head，loss 会立刻跳起来，因为中间层没被训练成"可以终止"的位置。用 ILD + DTS 训练的模型不同——论文报告在 3.9B 上退出到 0.75L（3/4 深度）时，dropout 模型的 cross-entropy 是 2.143，dense 模型同样退出位置的 cross-entropy 是 3.834，相差接近一倍。8.2B 同样 0.75L 退出位置 dropout 模型的 CE 是 1.777。这个跨规模平滑的退出曲线，正是"中间层被训练成可以承担更多有效深度"这件事的实测证据——但这是论文对现象的解释，不是直接观察到"模型学到了什么表示"。已测事实只是退出位置处的 CE。

第二条是 intermediate-layer skipping（隔几层丢一层推理）。dense 模型跳一层 loss 就崩；用 ALD 训练的模型因为训练时就被迫跳过隔层，skip robustness 反而是它的强项。论文的 iso-FLOPs 对比里，ALD 在同样的 20% 推理算力预算下，比 ILD 维持更低的 loss。

第三条是 self-speculative decoding。这是把 layer dropout 的训练弹性直接转成推理加速的最戏剧性应用。先讲它和标准 speculative decoding 的关键差别，因为这里最容易让读者搞混。

Leviathan et al., 2023 的 Speculative Decoding（ICML 2023 Oral）给的是标准方案：用一个独立的更小的 draft 模型自回归生成 γ 个候选 token，再用目标模型并行 verify。论文在 T5-XXL 上跑出 2–3 倍加速，但代价是你必须额外交付一个 draft 模型、单独训练、单独部署。

standard speculative decoding 的 draft/verify 流程

图注：每行是一次 speculative decoding 迭代。绿色是 draft 模型（6M 参数）一次性自回归生成的候选 token，红色是被 target 模型（97M 参数）拒绝的 draft 建议，蓝色是 target 模型并行 verify 后纠错的 token。论文 Figure 1 用的是无条件语言建模演示配置，6M/97M 是具体实验选择，不是算法对 draft 模型大小的硬约束；2–3× 加速来自 Table 2 不是这张图。来源：Leviathan et al., 2023。

self-speculative decoding 不需要独立 draft 模型。它用同一模型的不同子集拆成 draft 和 verify：LayerSkip, Elhoushi et al., ACL 2024 的方案是浅层子集做 draft、深层做 verify；Draft & Verify, Zhang et al., ACL 2024 的方案是跳掉若干中间层做 draft、完整模型做 verify。 Draft & Verify

LayerSkip 的 autoregressive / standard speculative / self-speculative 三栏对照

图注：左栏：标准自回归解码，每步一次完整前向；中栏：标准 speculative decoding，独立小 draft 模型生成 K 个候选、target 模型并行 verify；右栏：self-speculative decoding，同一模型的浅层做 draft、深层做 verify，共享 KV cache。三栏对照是理解 self-speculative decoding 关键差别的最直观图。来源：Elhoushi et al., 2024。

锚论文的 self-speculative decoding 走的是 Draft & Verify 路线，用遗传算法、爬山、模拟退火和贝叶斯优化搜索最优层组合。3.9B 模型上跑出 1.54× 加速，8.2B 模型上 1.55× 加速。这两个数字看起来比 Leviathan 2023 的 2–3× 低，但不能直接排名——前者是同一模型拆出 draft 的代价，后者是再加一个独立小模型的代价。拿独立模型的代价换来的更高加速，和拿同一模型拆 draft 的简化换来的较低加速，衡量的不是同一件事。

到这里可以把收益线串起来：训练期层 dropout 在 8.2B 模型上省 25% FLOPs 同时不损 loss，推理期自投机解码在 8.2B 模型上拿到约 1.5 倍加速。两条线各自独立，各自可测，不要合并成一个端到端数字。

2400+ 实验的规模证据，以及论文自己点出的边界

锚论文最大的可信度来源是它的实验规模。横跨六档参数（271M、504M、906M、1.8B、3.9B、8.2B），最大训练预算到 160B tokens，合计 2400+ 次训练 run。这个规模不是"几个 toy 模型上的演示"，而是一份正经的 scaling study。

所有预训练实验都跑在 Cerebras CS-3 上。CS-3 的核心是把 WSE-3 wafer-scale 引擎装入机柜系统，搭配 MemoryX 做模型权重存储、SwarmX 做节点间 fabric。 CS-3

Cerebras CS-3 + MemoryX + SwarmX 三层集群架构

图注：图中可见 MemoryX（含 Weight Memory 与 Optimizer Compute 两个子块）通过 SwarmX（中段三个 fabric 节点）连接到右侧 4 台 CS-3 加速器；MemoryX↔SwarmX、SwarmX↔CS-3 之间均有 Weights 与 Gradients 双向箭头。WSE-3 数据中心级架构简化了并行策略，是 2400+ 实验能在合理时间内跑完的硬件前提。原幻灯片中"Weigths"是拼写错误，本图注已修正。来源：Cerebras Hot Chips 2024 演讲 slide。

为什么这套硬件能让大规模 sweep 可行？因为编程模型只写一次，自动编译到 WSE 引擎，data-parallel 训练时由 SwarmX 负责权重广播和梯度聚合。论文作者不需要为不同模型规模重写并行策略，271M 和 8.2B 跑在同一套硬件抽象上。这是普通 GPU 集群实验不容易做到的事。

但即使有这样的硬件支撑，论文自己仍然明确承认了几个边界，读者把它们看得和收益一样重要会更稳：

DTS 配方的超参迁移验证不充分。 论文的 Hyperparameter Transfer Test 主要是在 Constant schedule 上验证的。"最优学习率随 dropout 率几乎不变"这条结论，对 DTS 配方只做了有限验证。如果你打算把 ILD + DTS 用到自己模型上，最好在小模型上重做一次 sweep。

粒度消融只到 layer/sub-layer，没有测 head 或 neuron 级别的 dropout。 论文承认 attention head 级别和单神经元级别的 dropout 是另一类对象，没在本工作里覆盖。

架构泛化没做。 所有结论都在 decoder-only Transformer（Celerity 系列，ALiBi 位置编码、squared-ReLU 激活、Llama3 词表）上测过。MoE、encoder-decoder、hybrid attention 架构是否同样受益，论文没有验证。

最大允许 p_max 的 scaling law 没给。 论文观察到 1.8B 上 p_max=0.6、3.9B 上 p_max=0.8、8.2B 上 p_max=0.99——p_max 随模型规模单调上升——但没拟合出 "p_max 与 N 的解析关系"。这意味着 13B、70B 上最优 p_max 是多少，论文没给出预测。

推理收益 vs 训练 TPP 的量化关系没给。 论文报告了 20 TPP 下的训练收益和推理收益，但没把这两条轴画成联合 scaling law。读者想知道"如果我把训练预算压到 10 TPP，自投机加速会怎么变"，论文没回答。

把这五条边界列清楚之后，读者应该这样看待这篇论文：它用前所未有的实验规模证伪了"layer dropout 对 LLM 有害"这条共识；它的 ILD + DTS + r_train=1/ρ 推荐配方在 8.2B 以内的 decoder-only Transformer 上是经过验证的最优配方；超出这个边界（更大模型、MoE、更激进的训练预算压缩），结论要等后续工作或自己重做 sweep。

layer dropout 在 2016 年作为 ResNet 的训练技巧出生，2019/2020 年被 LayerDrop 带到 Transformer，到了 LLM 时代因为没人认真设计它的层间分布和时间调度被边缘化。锚论文做的事情就是把这件事补救回来：不是把 layer dropout 重新发明一遍，而是把它应有的配方补上。一份 ILD + DTS + r_train=1/ρ 的简单决策表，叠上 Cerebras CS-3 的硬件前提，就把训练 FLOPs 和推理加速两条线同时打开了。

想深入可以读原文：Don't Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference — arXiv:2609.05275。

参考文献

Don't Drop Dropout：把层级 dropout 重新配方，LLM 训练省 25% FLOPs