BloomBloom
发起研究

LibriBrain100：一个人的脑磁图数据，能让 32 个人读出词吗？

侵入式已能读懂 12.5 万词，非侵入为什么还困在 50 词里？

脑机接口的两条路线，在 2026 年交出了两份悬殊的成绩单。侵入式要把电极阵列埋进大脑皮层，2021 年它只能从 50 个词里恢复瘫痪患者的语音，词错误率 25.6%；到 2024 年，词表已经扩到 12.5 万，错误率压到 5% 以下。另一条路线完全不手术，只戴一个覆盖全头的头盔，在头皮外测量大脑的磁场，它最拿得出手的公开基准仍然是：从固定的 50 个词里做分类，而非侵入在产出端（想象语音）的整句解码一度被报为接近随机水平（Défossez et al. 2023）。LibriBrain100 同样的五年，一边从 50 词跑到 12.5 万词，一边还在 50 词里打转。差在哪？

差在数据上，不在方法上。非侵入这一边要处理的信号是：被试戴着头盔听有声书，头盔上 306 个传感器以毫秒级分辨率记录大脑磁场，磁场来自神经元放电产生的电流，这套设备叫脑磁图（MEG，magnetoencephalography）。模型要回答的问题很简单：你现在听到的是哪个词？难的是，答案藏在一段噪声极大的头皮外信号里。MEG 有个物理优势：磁场几乎不失真地穿过颅骨和头皮，信号比同样无创的脑电图（EEG）干净一截。代价全在硬件上，超导传感器要液氦冷却，整套头盔又贵又重、固定不动，被试得专程来实验室录，每一小时都贵得心疼。BCI 综述 信号差就得靠数据补，数据又贵得没法无限堆，两头一夹，结论就清楚了：卡住非侵入路线的不是算法，是能喂给算法的数据太少。

LibriBrain100 任务示意图：同一个词分类任务跑在两种数据档位上

图注：论文 Figure 1 画的就是这个任务，而且一次给出两种档位。(a) 深度档来自 sub-0，文本、频谱与 MEG 时序里把目标词高亮对齐，右上是头盔状传感器布局；(b) 广度档把同一个词分类任务搬到 32 名各只有约 40 分钟数据的被试身上。图上展示的是刺激与脑信号的对齐，不是模型预测。LibriBrain100

于是领域把赌注押在一个熟悉的逻辑上：先把数据做大、做标准、配一套公开评测协议，算法自然会跟着进步。这是 ImageNet 当年的逻辑，也是论文作者给自己开出的药方。LibriBrain100 逼着大家走这条路的，是对面的侵入式：它已经把「大词表」这张底牌亮了出来，非侵入若还想留在同一张桌上，唯一能做的就是尽快把数据这块短板补上。而且这不是一家的执念。过去一年，几支队伍几乎同时在往同一个方向使力：有人把 723 名被试的脑数据拼起来做词级解码，有人用约 100 小时的数据把打字解码推向整句，还有人用几百小时未标注的脑数据预训练基础模型。数据规模化已经不是某个小组的偏好，而是非侵入路线的行业共识，LibriBrain100 是这张共识的最新一注，也是数据量最大的一注。

但「数据」在脑机接口这里比 ImageNet 棘手得多：录制成本决定了你不可能无限堆量。那么预算有限的一百小时，到底该花成什么形状？让一个人深录 80 小时，还是让 32 个人各录 40 分钟？深度换信号厚度，广度换人群覆盖。LibriBrain100 就是为给这道选择题找证据而生的：它把两种花法都做出来，让同一个 50 词分类任务在深度与广度两档数据上各跑一遍，看增益究竟从哪边来、两边能不能互相成全。这道选择题，就是它全部设计的起点。

100 小时数据该怎么分：一个人 80 小时，还是 32 个人各 40 分钟？

数据的形状由两根轴决定。深度轴问：同一个人，录多少小时？广度轴问：多少个人，各录一点？LibriBrain100 的答案极不对称：一个人录约 80 小时，编号 sub-0；另外 32 个人各录约 40 分钟，编号 sub-1 到 sub-32。全部加起来超过 100 小时、33 名被试，单被试时长跨度从 0.6 小时到 80 小时。LibriBrain100

LibriBrain100 数据配比：sub-0 巨大的泡泡 vs sub-1..32 一串小圆

图注：论文 Figure 5 把这种不对称画成泡泡。(a) 左侧是堆叠柱状图，右侧泡泡图的圆圈面积正比于录制时长：sub-0 一个巨大的泡泡占据画面，还细分出有声书、句子、播客三类内部构成，sub-1 到 sub-32 是它旁边一串小圆；黑色同心圆给约 1 小时、10 小时、80 小时的尺度参照。(b) 是全数据集的 treemap，最大矩形属于 sub-0 的有声书。LibriBrain100

为什么深度优先？这不是口味，是上一轮实验的实证结论。d'Ascoli 团队 2025 年在 Nature Communications 上把 723 名被试的脑数据拼到一起做词级解码，发现给同一个被试更多上下文，比增加被试人数更涨点。用他们论文的原话：比起在大量被试之间重复同一批刺激，给单个被试录更多数据更划算。d'Ascoli 2025

具体到硬件上，这批数据在牛津人类脑活动中心录制，用的是 MEGIN TRIUX Neo 系统：306 个通道由 102 个磁强计和 204 个梯度计组成，原始采样率 1 kHz。对外发布的预处理版本降到 250 Hz，为的是保留 70 到 125 Hz 这一高 gamma 频段。原始 FIF 文件和 HDF5 序列化文件并存，前者留给做信号处理的科学家，后者直接喂给深度学习。LibriBrain100

sub-0 的 80 小时也不是把一本书听 80 遍。材料刻意铺开：福尔摩斯九部全集有声书打底，加 TIMIT 和 MOCHA-TIMIT 两个为音素研究设计的录音库，再加 The Moth 播客的 30 篇故事，让语音学分布和语义分布都有覆盖。九部里八部由同一位叙述者朗读，两位叙述者都选了相近的南英口音，刻意压低声学差异，好让模型把精力留给语言而不是嗓音。反过来，32 个浅数据被试统一只录 Sherlock 有声书，因为广度轴的任务是补人，不是补内容。论文还把跨被试泛化从附赠属性升格成一等公民基准：人人都能跑、人人都能比。LibriBrain100

这条深度路线是有来路的。上一代 LibriBrain 已经把单被试录到 50 小时，是 2025 年的单被试深度纪录，而且它的规模实验没有看到性能饱和的迹象，所以这一次直接把深度再翻近一倍。LibriBrain 广度是新补的另一根轴，发布形态也在向机器学习靠拢：原始数据按 BIDS 格式给神经科学家，同时给出一份免预处理的 HDF5 序列化版本，配好事件时间戳（词起始、音素起始），一行 pip install pnpl 就能加载。加载器的类名就叫 LibriBrain100，参数里写 subjects='deep' 或 subjects='broad' 即可切换两种档位，训练、验证、测试的划分已经定死，为的是让大家在完全相同的起跑线上比较。pnpl

划分本身也做了防泄漏设计：Sherlock 第一卷的第 11、12 章整章留作验证与测试，2025 年比赛专用的第 13、14 章这次解禁归入训练；TIMIT 沿用标准的 core test，MOCHA-TIMIT 按语料自身的 A/B/C/D 结构切分，保证同一句话不会同时出现在训练和测试两侧。对一篇数据集论文来说，划分干净比模型先进更值钱，排行榜上的每一次比较都建立在它上面。LibriBrain100

LibriBrain100 在公开 MEG 语料坐标系中的位置

图注：LibriBrain100 在公开 MEG 语料里的定位：横轴是被试数、纵轴是单被试最大小时数，双对数刻度。六个数据点里 LibriBrain 与 LibriBrain100 占据右上角，箭头表示从上一代保持深度、新增广度；Armeni、Le Petit Prince、MEG-MASC、MOUS 分散在中下区域。对数图只读相对位置，不读精确数值。pnpl

放到这个坐标系里看，LibriBrain100 是唯一同时占住「被试多」和「单被试小时数高」两个右上角的公开数据集：纵向补了自己，横向补了别人。数据长成了，下一个问题是：这批数据怎样才能变成词？

从 306 路磁场到 50 个词：解码流水线为什么先立「词分类」这座中台阶？

这套系统的起点是一个时间对齐问题。306 路传感器记下的是毫秒级磁场时间序列，一个词的发音只占几百毫秒，所以必须先知道「这个词发生在哪一刻」，把对应的脑信号窗口切出来，才能谈解码。切窗口靠刺激对齐：音频里记录的词时间戳（word onset），对应到脑信号里同一时刻的那一段。

毫秒级时间分辨率正是 MEG 相对慢成像手段的核心优势：fMRI 这类追踪血氧信号的成像方式，时间上比神经活动慢两三个量级，根本看不见单个词的展开过程。而 MEG 的空间分辨率好于 EEG，却远不及需要开颅的 ECoG。时间够快、空间够用、全程无创，这三条凑在一起，决定了非侵入语音解码只能押在 MEG 这类信号上。

窗口切好之后，标准流水线长这样。

词级解码标准流水线：M/EEG 时间窗 → CNN → Transformer → 对比学习对齐语言模型 → top-K 检索

图注：d'Ascoli 2025 论文的流水线图。左半边 (A) 每个圆点代表一名被试，面积正比于记录时长，是 9 个数据集共 723 人的总览；右半边 (B) 是框线图：脑信号时间窗 → CNN（BrainModule）→ Transformer → 对比学习对齐预训练语言模型词嵌入 → top-K 词检索。d'Ascoli 2025

最值得展开的是最后一步，它决定了「从脑信号到词」的玩法。模型不直接念出词，而是把某个词时刻的脑信号压成一个向量，再用对比学习把这个向量拉向对应词的词嵌入，词嵌入由预训练语言模型 T5-large 提供。这样一来，脑信号向量和词向量落进同一个语义空间，预测时不做 50 路分类，而是做最近邻检索：脑向量落在哪个词的嵌入附近，就猜哪个词。理想情况下，检索命中的词不止一个时，排在前面的近邻确实会是语义相近或语境相近的词，这正是「允许猜十次」还能读出信息的原因。d'Ascoli 2025

LibriBrain100 沿用这套协议，并把指标固定为 top-10 balanced accuracy：每个词时刻允许猜 10 个词，猜中就算对，随机命中的概率是 10/50 = 0.2。词表固定为 50 个高频词的闭集（覆盖高频虚词与常用实词），逐词算命中率再平均，让每个词的权重相等，避免高频词刷分。为什么偏偏 50 个词？因为这一档既覆盖日常语音的主体，又保证每个词都有足够样本参与训练与评估；balanced 的意思是逐词算命中率再平均，高频词没法靠数量淹没低频词。为什么值得为「词分类」单独立一座中台阶？因为开放式脑到文本目前做不动：非侵入路线的整句解码错误率一度接近 100%，与随机猜无异，无从评估也无可复现。社区于是把任务拆成阶梯，先 speech detection 问「哪儿在讲话」，再音素分类问「讲的是哪个音」，现在立起 50 词闭集分类这一级：可评估、可比较、可上公开排行榜，是通向开放词库的中间站而不是终点。PNPL 2025

这条路语音识别自己走过：先在小词表上把整套管线和误差率当真跑通，再一步步放开词表。词分类这座中台阶的意义就在于此，它是任务阶梯上唯一一个既足够难、又足够可评估的刻度。

数据规模化的另一半是模型规模化。LibriBrain100 没有发明新架构，它站在 MEG-XL 这条公开预训练骨干上微调：MEG-XL 用约 300 小时、800 名被试的未标注脑数据做自监督预训练，上下文窗口拉到 2.5 分钟，是此前脑基础模型的 5 到 300 倍。它先把每个通道的连续信号量化成离散 token，再用 criss-cross transformer 建模长上下文，预训练时随机掩掉连续 3 秒的块，逼模型靠时间上下文而不是相邻通道来补全。长上下文的收益并不只是「能看更远」，而是模型学会了何时该去动用远处的上下文，这正是语言理解真正需要的。MEG-XL

MEG-XL 预训练框架：BioCodec 逐通道 token 化 → criss-cross transformer → 3 秒连续掩码

图注：MEG-XL 预训练框架三面板。左侧冻结的 BioCodec 把每个 MEG 通道独立编码成 Q1 到 Q6 六层残差量化的离散 token；中间 token 叠上传感器位置、朝向、类型三类嵌入后送入 criss-cross transformer；右侧示意预训练时随机掩掉连续 3 秒的块。图上是 CamCAN、MOUS、SMN4Lang 上的预训练阶段，LibriBrain 不在其中。MEG-XL

LibriBrain100 只在这条骨干上做 50 词分类这层尾巴微调，方法上的贡献不是新模型，而是把「预训练骨干加闭集词分类」这个组合立成可复现的中台阶基准，让所有后续方法都能在同一把尺子上比较。台阶立好了，最尖锐的问题随之而来：深度优先的分法，到底值不值？

一个人 80 小时的数据，能让 32 个人的解码齐涨 15 个百分点吗？

论文的核心实验可以用一张表说完。三个任务共用同一套 50 词分类协议，只动一个旋钮：训练集里加不加另一群人的数据。

实验动的旋钮观察窗口结果
Task 1 对内sub-0 训练时加不加 sub-1..32sub-0 的 TIMIT、MOCHA-TIMIT、播客测试加广度数据后这三类分布上性能上升，主分布 Sherlock 上略降
Task 2 对外sub-1..32 训练时加不加 sub-032 人各自的 Sherlock 测试集加深度数据后 32 人齐涨约 15 个百分点，p<.001
Task 3 省数据每人微调数据从 100% 依次减到 50%、25%同样的 Sherlock 测试集25%（约 10 分钟/人）时泛化损失极小，三档差异不显著

最有分量的是 Task 2，它直接回答封面上的问题：一个人 80 小时的深度数据，能不能让 32 个只有浅数据的人读出词？图就是答案。

Task 2 核心证据：sub-0 入/不入训练时 32 名被试的 Sherlock 测试成绩对比

图注：论文 Figure 3。左面板对比「Training w/ Subject 0」与「Training w/o Subject 0」两种设置下 32 名被试在 Sherlock 测试集上的 top-10 balanced accuracy，随机基线画在 0.2，星号 *** 表示 Mann-Whitney U 检验 p<.001；右面板逐被试展开同一条差距，32 根小柱一致受益，说明效应不是个别被试撑起来的。LibriBrain100

这里有个必须点破的反常：sub-0 和另外 32 个人不是一个脑袋。头皮形状、脑沟回、神经放电的时序各有差异，跨被试的脑信号对齐一直是脑机接口的痼疾，直觉上把一个人的数据塞进别人的训练里只会带偏。结果正好相反。为什么一个人的 80 小时能帮到 32 个别人，论文没有切开模型去验证内部机制，但与证据一致的解释是：sub-0 学到的不只是某个人的耳朵，而可能是一份「脑信号与词义之间的一般映射」，这份一般性恰好补上了每人 40 分钟里学不到的东西。可以把它想成乐器：一个人把同一套曲子练了 80 小时，练出来的不只是那套曲子，而是对乐器的一般手感；32 个只练了 40 分钟的新手，借这份手感上手明显更快。落到模型上，一个可能的分工是 sub-0 的数据强化了共享权重的「手感」部分，而每个被试私有的适配层只需要很少的数据就能调好，但这套共享与私有的划分只是推断，实验本身并不识别模型的内部表征。

这套结构的学名叫跨被试迁移：先在源数据上训练一个共享模型，再到目标被试的数据上微调出一个被试相关的版本。BCI 综述 但这个学名描述的是训练流程，模型内部是否真的存在「共享权重加私有适配」的分工，该实验没有检验。LibriBrain100 的特殊之处在于，源数据不是几百人的零碎记录，而是一个人的 80 小时整块深度数据，它把「源」从广度换成了深度，结果外溢效果比预想的好：不仅涨点，还涨得极其均匀。已被证明的效果就是那个 +15 个百分点的整体迁移，机制层面的解释仍停留在与结果一致、但未直接观测的层面。

另外两个任务补齐了这张图的四边。Task 1 走反方向：把 32 个人的数据加进 sub-0 的训练，帮忙的是 TIMIT、MOCHA-TIMIT、播客这些 sub-0 自己不够厚的分布；Sherlock 主分布上略降，因为 80 小时深度数据已经把这个分布吃透了，别人的生理差异反而成了噪声。Task 3 面向临床：每人微调数据从 100% 砍到 50%、25%，25% 意味着新被试只用约 10 分钟的数据，泛化损失仍然极小，三档之间在统计上不显著。论文的原话是：先深度预训练、再对新个体微调，这条路不仅成立，「甚至可能对未来的临床应用是实用的」。LibriBrain100

深度优先也不是这一家之言。d'Ascoli 的 723 人实验给出同向的 scaling 证据：MEG 显著好于 EEG，读显著好于听，而准确率随每被试时长的增长表现出持续上升的趋势，同一条流水线在越大的数据上越走越稳。d'Ascoli 2025

723 被试七面板：MEG vs EEG、读 vs 听、总时长与每被试时长 scaling

图注：d'Ascoli 2025 的七面板对比：A 是词起始时刻附近的解码时间曲线，B 是经典模型与深度模型对比，D 显示平均准确率 MEG 明显高于 EEG，E 显示读明显高于听，F 和 G 是准确率随数据集总时长、每被试时长的散点，附 log-linear 拟合（p<0.05）。不要从条形高度读具体百分比。d'Ascoli 2025

把三个任务合起来看，它挑战了一个被默认多年的临床假设：每个新病人必须从头录海量数据。Task 2 说不需要，一个人的深度数据可以把群体的基线整体抬高，这个效应一致地落在 32 个人头上；Task 3 说每个人只需要 10 分钟。对临床这意味着什么：瘫痪病人通常没法配合长时间录制，而 10 分钟的一次短记录完全可能塞进一次门诊会话；深度这一端可以由愿意长期配合的被试事先录好，病人只贡献最后那一小段适配数据。「一个人深录一次，人人轻量适配」这个句式，终于有了 32 人规模的跨被试实验背书。

非侵入路线追上侵入式了吗？还差什么、卡在哪？

把 LibriBrain100 放回脑机接口的家族坐标里，差距先于数字显现。

BCI 记录模态家族：三层八种模态，MEG 在顶层、Utah 阵列在底层

图注：BCI 模态家族图，三排八种模态：上排非侵入（MEG、EEG、fNIRS），中排微创（ECoG、血管内电极 Stentrode、功能性超声 fUS），下排侵入（sEEG、Utah 阵列）；左右两条渐变轴分别表示侵入程度与大脑覆盖度，fNIRS 与 fUS 被框进灰色区域，标注为血流动力学信号。BCI 综述

LibriBrain100 所在的 MEG 在顶层，侵入式 Utah 阵列在最底层，中间隔着一整排微创方案。50 词闭集与 12.5 万词开放词表之间的距离，就画在这两个层级之间：电极离神经元越近，信号越干净，同样的数据量能撑起越大的词表，这是硬件的物理约束，不是算法能单独填平的。BCI 综述

但同期还有另一条同样押注数据规模化、但任务不同的非侵入平行路线，走的是语言产出端。Brain2Qwerty 让被试看着句子、在心里默念、在键盘上盲打，模型从脑信号里还原整句，架构是卷积模块加 transformer 加字符级语言模型的三段式。v1 用 35 名被试，句子级字符错误率 CER 32%；v2 把数据扩到约 100 小时（9 名被试各 10 小时），词错误率 WER 降到 39%，最好被试 22%。需要提醒的是，CER、WER 与闭集 50 词 top-10 balanced accuracy 不可直接比较：前者是出错率、越低越好，后者是命中率、越高越好，两个任务的指标不在同一把尺子上。顺带一提，v1 里 MEG 的错误率只有 EEG 的一半左右，同一个模型换模态差出近两倍，再次印证了信号质量的红利。Brain2Qwerty

Brain2Qwerty 三段式架构：脑信号窗 → 卷积 → 句子级 transformer → 字符语言模型

图注：Brain2Qwerty 的架构示意（v1 版本）：500 毫秒脑信号窗 → 卷积模块 → 句子级 transformer → 预训练字符语言模型纠错输出，左上角小图是「看词、默念、盲打」的实验范式，评估用句子级字符错误率 CER。这张图对应 v1，不要把 v2 的更新数字标到图上。Brain2Qwerty

于是同一硬件、同一时期、差不多同样的数据量，两条路线各走一端：LibriBrain100 管「听到了什么」，Brain2Qwerty 管「想打什么」。任务不同、指标不同，成绩分不出高下，但两拨独立团队在同一时期不约而同押注数据规模化，这一共识本身就是非侵入路线最强的信号。

LibriBrain100 的另一个动作是把下一步交给社区。2025 年的 PNPL 比赛还是 speech detection 加音素分类两块垫脚石，当时刻意不做词级任务，原因是一个样本经济学问题：词样本比音素样本少一个量级，词类别却多一个数量级，词级任务在 50 小时数据上喂不饱。PNPL 2025 数据翻倍之后，2026 年比赛直接升级为 50 词 word classification，并复刻论文的 deep/broad 双轨：Deep 轨是单被试 sub-0，Broad 轨是 32 名附加被试，提交窗口 2026 年 7 月 15 日到 10 月 15 日，公开排行榜接棒。pnpl

配套的工程也已经就位：pnpl 库一行安装，官方维护 Discord 与公开排行榜，参赛者连数据预处理都不用自己做。一个数据集能催生年度赛事，靠的正是这种把门槛压到最低的投入，也是「ImageNet 逻辑」里标准评测协议那一半的落地。

把账算完，LibriBrain100 没有追平侵入式，三个问题还摆在路上。第一，外溢效应目前只在参与训练的 32 个被试身上验证过，一个完全陌生的新被试能不能同样受益，不知道。第二，50 词闭集到开放式脑到文本之间还隔着词表扩张这道坎，论文坦言 brain-to-text 基线是被刻意推迟的，要等社区的方法先稳定下来。第三，整条数据路线押在 MEG 硬件上，SQUID 头盔又贵又重，可穿戴的光泵磁强计（OPM-MEG）能否接班，直接决定 80 小时深度数据在临床场景下还录不录得出来。LibriBrain100

还有一层边界容易被忽略：这是一份「听」的数据。里面没有想象语音，也没有尝试发声的范式，而瘫痪病人真正需要的恰恰是后者。论文交代，这部分数据正在同步采集中，等它进来，才是下一步真正的战场。

这类数据集论文的价值从不在于刷新纪录本身，而在于把路修到能跑。LibriBrain100 把非侵入路线从「做不到」改写成「有明确里程表」：每个新词表、每个新范式，都有数据、协议和排行榜等着被挑战，下一步的接力棒已经公开交到社区手里。

一句话记住这篇论文：它没有终结非侵入语音解码的争论，但用实验证明，规模化带来的增益可以跨过人的个体差异外溢，把「每个新病人从头录海量数据」这个临床死结，换成了「一个人深录一次，人人轻量适配」。

想深入可以读原文：LibriBrain100: One Hundred Hours of Broad and Deep MEG Data for Neural Speech Decoding at Scale — arXiv:2608.25204

参考文献

LibriBrain100：一个人的脑磁图数据，能让 32 个人读出词吗？