BloomBloom
发起研究

BrainLoRA：脑活动预测模型为什么该微调主干，而不是只训预测头？

速览

坐标系：拿自然影片预测全脑 fMRI，主流做法把主干冻死

脑编码就是拿刺激预测大脑响应：把一段影片喂给模型，让它输出被试观看时全脑的 fMRI 信号。Algonauts 2025 把它做成了公开基准，而榜上靠前的方法共享同一个结构选择，把预训练主干整体冻住，只在它的输出特征上训练一个浅层读出层，也就是标题里的预测头。BrainLoRA 的主张直接对着这个选择：天花板不在主干不够大，而在可训练的参数与表达力被全部压在读出层，主干从来没有被脑数据碰过。

坐标系要先立起来。刺激是画面帧、音频、带时间戳的对白转写三路同时输入；预测目标是被试的全脑 fMRI 响应，归一化后按 Schaefer 图谱切成 1000 个功能分区，每 1.49 s 一个采样点。数据来自四名被试，官方交付的训练集是《Friends》第 1 到 6 季加 Movie10，约 65 小时；实践中常把第 6 季留作验证集，第 1 到 5 季拿去训练。测试分两套，同分布用《Friends》第 7 季，跨分布用 2 小时没见过的影片。主指标是 Pearson 相关系数，先对 1000 个分区平均，再对被试平均。官方线性基线的成绩是同分布 0.20、跨分布 0.09 Algonauts 2025。本领域里 0.2 出头已经算基线水准，后面所有对比都在这把尺子上。

图注：Algonauts 2025 的坐标系。a 是三模态影片刺激，画面帧、音频与带时间戳的语言转写按时间排列；b 是四名被试全脑皮层的 fMRI 时空响应；c 以表格给出训练与测试数据、提交上限与官方基线 r = 0.20 和 r = 0.09，底部时间轴标出模型构建、模型选择与赛后三个阶段 Algonauts 2025

“冻住主干、只训读出”落到具体系统里有不同形态。TRIBE 用三个各自冻结的预训练模型抽特征，文本、音频、视频分别走 Llama-3.2-3B、Wav2Vec2-Bert 和 V-JEPA 2，再交给一台 8 层 transformer 在时间轴上融合，最后接一个被试条件线性层 TRIBE。VIBE 更省，特征全部离线预提取，训练只覆盖一个 1 层模态融合 transformer 加一个 2 层预测 transformer VIBE。形态差得很远，共同点完全一致：主干不接收任何来自脑数据的梯度，适配工作由读出层一个人扛。

关键思路：8.91M 的低秩旁路，就够改动一个百亿参数模型

神经数据既贵又少，这才是“改主干”需要专门方法的根本原因。用神经数据从头训多模态大模型，或者在任务预训练后全量微调，都被证明走不通。障碍不是算力，是数据量级：几十小时扫描对不上语言模型万亿 token 的语料。主干一旦放开全量更新，这点数据撑不住，预训练学到的通用表征也保不住。

LoRA 提供的是一条折中路：在冻结的原权重旁边并联一条低秩旁路。设原权重为 $W_0$，更新写成 $W_0 + BA$，$B$ 和 $A$ 是两层窄矩阵，中间维度 $r$ 远小于 $W_0$ 的边数。训练时只有 $A$、$B$ 接收梯度。初始化上 $A$ 取随机高斯、$B$ 取零，所以训练起步时增量恰为零，模型从原封不动的预训练主干出发 LoRA。

图注：LoRA 的重参数化示意。输入 $x$ 分两路，左支是蓝色标注的预训练权重 $W$，右支是橙色低秩瓶颈，先经 $A = \mathcal{N}(0,\sigma^2)$ 再经 $B = 0$，中间标注维度 $r$；两路输出在“+”处相加得到 $h$。$A$、$B$ 的取值是训练初始化，不是收敛值 LoRA

正因为增量是线性的，推理时可以把 $BA$ 加回 $W_0$，部署的就是一个大模型，而不是“主干加外挂”，不带来额外推理延迟。同一篇论文也点出一条张力：一旦合并，不同任务的适配器就没法在同一次前向里混批。这句话在讲 261 个模型集成时会变成具体的工程问题。

BrainLoRA 把 LoRA 插在哪，是这篇论文最核心的决定：rank 取 16、α 取 32、dropout 取 0，加在每个 decoder 层的 $q/k/v/o$ 四个投影上，主干侧合计 8.91M 可训练参数。读出侧是 52.3M 的线性版本或 52.5M 的交叉注意力版本，相加就是 61.2M 与 61.4M，而全量微调是 20.3B BrainLoRA。换句话说，把主干动起来只花了全部可训练参数的七分之一左右。

这条路不是全新发明。2023 年就有工作在 Algonauts 2023 用 LoRA 适配一个纯视觉 ViT 主干并夺冠，同一篇报告还留下一条被反复引用的观察：完全解冻反而比冻结更低 MEM。但那个主干是纯视觉、体量较小的一档 ViT（ViT-B），全篇没有音频或文本输入，也没碰过百亿级多模态主干。BrainLoRA 补的正是这个缺口。

让百亿级主干算得起：一次因果前向取完所有时间点

把 LoRA 插进百亿级主干，想法不难，难的是算不起。真正的门槛是特征提取成本，BrainLoRA 把它砍掉两个数量级，靠的不是更快的硬件，是发现同一段重叠窗口在被反复重算。

主流做法这样取特征：为了给每个 fMRI 采样点配一份输入，模型以该采样点为结尾截一段窗口，把截止这一刻的前 1024 个词、前 60 s 音频、前 4 s 视频一起送进主干；下一个采样点再截一段，两段高度重叠 MIRAGE。论文记下了这条路线在这套数据上的成本：每个影片片断要跑 2758 次前向，特征提取合计 700.6 GPU 小时。

单次因果前向把这件事绕开了。主干本身自回归、带因果掩码，位置 $t$ 的表示只依赖 $t$ 之前的输入，所以对一段长序列做一次前向，就能同时拿到每个采样点的表示。BrainLoRA 把窗口拉到 149 s，正好覆盖 100 个 fMRI 采样点，一次前向全部输出。前向次数降到每片断 5.1 次，特征提取降到 1.99 GPU 小时，便宜 352 倍；端到端算上适配器训练与读出重拟合是 8.5 GPU 小时，对照组 702.5 GPU 小时，约 83 倍 BrainLoRA。

图注：上块是滑动窗口路线，三条模态色带被切成大量重叠短窗口，每个窗口末端对应时间轴上某个采样点；下块是单次因果前向，三条长序列并行排布，左端标 context lead、右段是训练窗口，整段一次前向就在多个时间点给出预测。图内前向次数与 GPU 小时是示意取整，精确值以论文成本表为准 BrainLoRA

省下来的代价出现在窗口起点。序列最前面那一段没有前文可看，精度明显偏低，所以必须在左侧补一段 60 s 的 context lead，补上之后精度要到 60 s 才饱和。不补时，窗口起点的精度会低 0.110。

读出侧也有讲究。每个模态的特征先经一次 2048 到 512 的投影压缩，再按 8 个对数间隔的延迟块聚合，最后每个被试一条线性映射到 1000 个分区，整条读出用 52.3M 参数。把固定延迟块换成逐采样点的交叉注意力，参数只多 0.2M，收益约 0.005，刚越过种子噪声地板。这套交叉注意力读出的原型来自前人的脑编码工作，那里 query 按脑区组织，BrainLoRA 改成按时间点组织，属于二次改造 TBEn。训练上还有一笔便宜好用的改动：SGD 联合训一个 epoch 后，用闭式岭回归把读出权重重新解一遍，单独贡献 +0.0061，是所有训练流程改动里最大的一笔。主干侧则把 decoder 从 48 层截断到第 32 层来读特征，并把 MoE 的专家 FFN 整块冻死，每 token 只激活约 3B 参数，30B 级的多模态模型因此才能塞进这条训练循环 Qwen3-Omni。

结果：九个主干一致涨点，61.2M 参数胜过 1.1B 读出，20.3B 全量微调反而没更好

把宣传语剥掉，这篇论文在同一个主干上摆出三条路，答案很清楚：可训练参数放在哪一层，比训了多少更重要。

同一个 Qwen3-Omni 主干上，冻结主干加线性读出得 0.291 / 0.287 / 0.187，三个数是验证集、同分布、跨分布；换成 LoRA 适配主干、读出不变，得 0.326 / 0.322 / 0.222，涨了 0.0356，且 1000 个分区全部改善。交叉注意力读出再推一步，61.4M 参数得 0.331 / 0.327 / 0.228。对照是它要超越的前作 MIRAGE，据 BrainLoRA 引述其读出头有 11 亿可训练参数，成绩 0.319 / 0.310 / 0.217 MIRAGE。最反直觉的一行是全量微调：20.3B 参数全部放开训，得 0.323 / 0.320 / 0.217，并不比 61.2M 的 LoRA 配置更好。

图注：被超越那一方的结构。左侧是冻结的多模态主干，三路输入进入其语言模块并暴露各层隐状态；中段是模态各自的 Layer Gating，用一组可学习 query 在层轴上做交叉注意力；右侧是时间轴上的 transformer 脑编码器与被试级线性头。表达力与参数量都堆在读出侧，主干本身不接收梯度 MIRAGE

读这些数字之前必须知道噪声地板在哪。同一配置换种子重跑，LoRA 加线性读出的 15 个种子均值是 0.32609 ± 0.00024，交叉注意力版本是 0.33070 ± 0.00023，论文据此把 0.00077 定为不可区分的界限。小于它的差距都不能当结论，rank 从 16 提到 32、把读出换成门控 MLP，差异都落在这一层里。反过来，LoRA 相对冻结的 +0.0356，以及全量微调那 0.003 的落后，都在界限之外。

讲解：噪声地板之上，哪些涨点才算数

图注：三条路的参数效率对比。同一个主干下，61.2M 可训练参数的三行分数高于 52.3M 的冻结方案，也高于 20.3B 的全量微调；三组差距都大于 0.00077 的种子噪声地板 BrainLoRA

同一套配方还搬到九个多模态主干上试了一遍，参数从 4.7B 到 104.3B，每一个都涨，涨幅 0.032 到 0.066。这里有一条更容易被忽略的结论：编码性能与主干规模只有弱相关，冻住时相关系数 0.71，适配之后 0.60。能接住 104B 并不保证更准，收益来自是否做了适配。表里还并列了 TRIBE 与 VIBE 两行，那是引述他人自报的数字，协议是否与本文完全一致，论文没有核实 TRIBE。

讲解：主干越大越准？适配才决定涨不涨

论文为“训练很多个适配器”还写了一个融合 kernel。把整个适配器池的路由更新合并成一次批量矩阵运算后，32 个适配器同时训的融合步只相当于单适配器步的 1.08 倍，相对串行训练快 29.8 倍；论文把加速归因于 GPU 利用率提升，而不是计算量减少。瓶颈在显存，rank 取 16 时池子与优化器状态在 32 到 64 个适配器之间就把一张 80GB 卡填满。系统侧可参考同期的 PLoRA，它实测出单个 LoRA 作业本身就吃不满 GPU，多个适配器串行时迭代时间涨 3.6 倍 PLoRA。靠这个 kernel，论文训出 261 个适配模型的集成，验证集 0.3483、同分布 0.3428、跨分布 0.2483；精选 15 个也能到 0.3465，推理成本只有十七分之一。

榜单要分三层说。摘要写的是已发表方法中的最好成绩，正文写的是新的 state of the art，另有一句说自己写作时排在赛后公开榜第一，三者不能合并。据赛后公开榜的实时核验，Mind Lab 那次提交在 2026-09-24，成绩 ID 0.34277、OOD 0.25129，当时确实在榜首；到 2026-10-20 已落到 ID 第 2、OOD 第 3，被 0.34312 与 0.25367 超过。挑战赛阶段的冠军是 sdascoli，跨分布 0.2146 Algonauts 2025。

适配之后反而更好解释；边界是单基准、四名被试

一个常见的担心是微调主干会把模型变成黑箱。这篇论文给出的证据方向相反：适配之后，模型反而自己恢复出了教科书上的感觉皮层拓扑。

做法是把某个模态的输入 embedding 换成内容为空的均值向量，token 数、位置与时间对齐全部保留，再对三个模态的全部 8 个子集做穷举，用精确 Shapley 分解把每个分区的预测拆成三份贡献，三项之和等于预测本身，残差在 $10^{-12}$ 量级。结果是早期视觉皮层由 video 驱动 72.5%，听觉皮层由 audio 驱动 72.9%，外侧颞叶由 audio 驱动 60.3%，text 只占 12.5%。拓扑本身是预期中的东西，值得指出的是它从一个单一多模态主干里被读了出来；前人往往靠各自独立的单模态编码器按构造天然分离模态 TBEn。

图注：四联归因图。(a) 是左半球皮层的模态贡献色图，三个色标分别是 video、audio、text；(b) 是按脑区分组的堆叠条形图，早期视觉区以 video 为主、听觉区以 audio 为主；(c) 是冻结到适配的贡献变化；(d) 是适配前后两组桑基图，跨流彩带表示主干内部的跨模态混合 BrainLoRA

适配带来的变化集中在权重再分配。相对冻结版本，audio 的贡献涨 39%、video 涨 5%、text 掉 17%；249 个分区的主模态发生转移，全部转向 audio，其中 246 个从 video 转过去，没有一例反向。跨模态混合从 8.9% 涨到 15.3%，最大一项是从 audio 的 token 位置读出 video 信息。用图时口径不能混，(a)(c) 的色标是对编码精度的贡献，(d) 是预测份额；归因也只到模型级与分区级，不能据此做因果或临床推断。

论文最后借用了 PEFT 规模化的三条轴：scale up 换更强的主干，scale down 用更少可训练参数，scale out 在同一主干上训练大量轻量适配器，合成物是一族专门化模型 Scale-PEFT。论文把它指向一个“脑基础模型”的愿景，同时自己写明本文实验并不构成一个脑基础模型。真正的边界在数据：全部结论来自一个基准、四名被试、清一色的视听叙事影片。迁移性上有一些正面证据，留一被试只重解读出仍保留 97% 的改进，零样本迁移到另一数据集有 +11.1 个百分点的噪声天花板增益，但两个数据集都没离开叙事影片这个域。还有一条界线：同期有工作也在约 100B 的多模态主干里训 LoRA 专家，但监督信号来自 fMRI 网络派生的标签与答题正确率，不是直接回归神经响应，两条路线还没有合流 Platonic-Bridge。

这篇论文真正改动的不是某个模型的分数，而是一个领域默认设置：可训练参数该放在读出层，还是该放一部分到主干里。

想深入可以读原文：Scaling Parameter-Efficient Fine-Tuning for Brain Encoding — arXiv:2610.26802

参考文献

  1. Scaling Parameter-Efficient Fine-Tuning for Brain Encoding（BrainLoRA） — arXiv:2610.26802 — https://arxiv.org/abs/2610.26802
  2. MIRAGE: Adaptive Multimodal Gating for Whole-Brain fMRI Encoding — arXiv:2605.29850 — https://arxiv.org/abs/2605.29850
  3. TRIBE: TRImodal Brain Encoder for whole-brain fMRI response prediction — arXiv:2507.22229 — https://arxiv.org/abs/2507.22229
  4. VIBE: Video-Input Brain Encoder for fMRI Response Modeling — arXiv:2507.17958 — https://arxiv.org/abs/2507.17958
  5. The Algonauts Project 2025 Challenge: How the Human Brain Makes Sense of Multimodal Movies — arXiv:2501.00504 — https://arxiv.org/abs/2501.00504
  6. LoRA: Low-Rank Adaptation of Large Language Models — arXiv:2106.09685 — https://arxiv.org/abs/2106.09685
  7. Transformer brain encoders explain human high-level visual responses（TBEn） — arXiv:2505.17329 — https://arxiv.org/abs/2505.17329
  8. Qwen3-Omni Technical Report — arXiv:2509.17765 — https://arxiv.org/abs/2509.17765
  9. Memory Encoding Model（MEM） — arXiv:2308.01175 — https://arxiv.org/abs/2308.01175
  10. PLoRA: Efficient Concurrent LoRA Training for Large Language Models — arXiv:2508.02932 — https://arxiv.org/abs/2508.02932
  11. On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters — arXiv:2606.02437 — https://arxiv.org/abs/2606.02437
  12. The Platonic brain bridge hypothesis: human brain networks as an architectural prior for multimodal large language models — arXiv:2609.10947 — https://arxiv.org/abs/2609.10947
BrainLoRA：脑活动预测模型为什么该微调主干，而不是只训预测头？