单人转写词错率 5%，两人同时说话飙到 85%：实时多人转写的解法绕开切分

设想你在写一套实时会议字幕系统。这篇专题只回答一个问题：「这一句是谁说的」这个归属信息，应该在哪个环节、以什么形态进入识别。这个问题紧迫到什么程度，先看一组反常数字：SOT 论文引用的同组 2019 年先导工作显示，单说话人词错率只有 5.5% 的模型，遇到双说话人重叠语音时词错率直接冲到 84.7%，识别器没有变，只是多了一个人同时开口，系统就崩了，这就是归属没有进入识别决策要付的代价。SOT 面对这个落差，本能的做法是先把混在一起的声音分开，主流方案也正是如此：先做说话人切分，把音频按人切开，再逐段转写。但这条「先分人再认字」的流水线给出的答案并不可靠，它在重叠区制造的错误不可逆，切错一刀就救不回来。所以本文要论证的解法不是把切分做得更准，而是让说话人归属成为每个文本 token 的生成条件，并保留重叠区的软不确定性，这就是「归属以什么形态进入识别」这个问题的答案。

一、「先分人再认字」的隐含假设：重叠区切错一刀，为什么救不回来？

硬切分流水线：先定谁在何时说话，再识别说了什么

传统多人转写是一条两级流水线。第一级是说话人分离与切分（diarization），回答「谁在何时说话」；第二级才是自动语音识别（ASR），把切好的每一段音频转成文字，回答「说了什么」。这套设计隐含一个假设：第一步必须是对的。词错率衡量识别结果中错词占参考词的比例，英文缩写 WER，它在单人场景下已经很低，于是系统性能上限主要由切分质量决定。

问题出在重叠区。两个人同时说话时，「谁在何时说话」本身就不严谨：两人的词在同一时刻交错叠加，任何一条硬边界都会把某些词划给错误的人，或把重叠区的内容当作噪声删掉。词一旦被删掉、或被记到别人头上，后级识别器没有任何信息能把它恢复。这就是硬切分的不可逆性。

开篇那组数字正是这个退化的量化，出自 SOT 论文引用的同组 2019 年先导工作，不是 SOT 自己的实验；但它精准说明了问题所在：重叠区里切错一刀，整个流水线就救不回来。SOT

先看图，理解传统方案在架构上为什么「一人一条路」。

图注：同一张图上四种架构并排：(a) 常规单说话人 AED，单编码器接单解码器出单条输出；(b) PIT 多说话人方案，共享编码器后分叉成多条独立输出流，每条对应一个说话人；(c)(d) 是本专题主角 SOT 的单输出分支两种训练方案，⟨sc⟩ 说话人切换 token 插在话语块之间，⟨eos⟩ 在序列末尾。SOT

这里先记住 (a)(b) 两种旧形态：要为每个说话人准备独立的输出路径，说话人一多，架构跟着加宽。

切错边界为什么不可逆：LibriCSS 的连续协议

你可能会想，那把切分做得更准不就行了。LibriCSS 数据集给出了反例。它是 2020 年发布的公共评测集：10 小时录音、8 位说话人、7 通道圆形麦克风阵列，在会议室里用扬声器重放 LibriSpeech 语料模拟对话，重叠率从 0% 到 40% 分档控制。

图注：左半是录音环境（带圆形麦克风阵列实物的混响室示意），右半是 7 通道圆阵几何：中心 0 号麦克风加外周均匀分布的 1–6 号，半径 4.25 cm。LibriCSS

LibriCSS 最狠的设计在 0% 重叠那一档。0% 重叠被拆成两个子条件：0S（utterance 之间只有 0.1–0.5 秒短静默）和 0L（固定 2.9–3.0 秒长静默）。在连续录音、不做预切分的评估协议下，把长静默换成短静默，词错率相对增加 33.9%（从 11.5% 到 15.4%）。这里根本没有声学上的重叠：两个人没有同时说话，退化的唯一来源就是切分本身。静默太短，切分器把前一个说话人的声学状态带进了后一段，属性污染让识别跟着退化。同样的 0S/0L 对比，在已知切分边界的逐段评估协议下几乎看不出差别（11.8% vs 11.7%），只有不告诉系统边界时，问题才暴露出来。LibriCSS

所以传统的「先分人再认字」吊死在两件事上：重叠区切错一刀不可逆；没有重叠时，切分边界本身也在制造污染。问题不在识别器，而在「切分」这个前置假设。综述对此有一句权威表述：分离阶段引入的错误会传播进后续 ASR，整体错误率被层层叠加。MSSurvey

那解法是什么？不是把切分做得更准，而是绕开切分：让归属直接参与识别决策。这就是下一章的 SOT。

二、把归属写进识别决策：SOT 如何改写「谁在何时说了什么」？

序列化：把「谁在何时说」编进输出序列

SOT（Serialized Output Training，序列化输出训练）的改写非常直接：不要多分支，只要一个输出分支，把所有人的转写按时间顺序拼成一条目标序列，说话人切换处插入特殊 token ⟨sc⟩（说话人切换），序列末尾放 ⟨eos⟩（序列结束）。模型边生成每个词，边决定它属于谁、下一个词是不是换人了。归属不再是前置步骤，而是解码器在每个 token 上同时做出的决定。

这解决了多说话人识别最经典的训练难题：label permutation problem（标签排列问题）。同一段两人混合语音，有「A 先 B 后」和「B 先 A 后」两种标签排列。多分支方案（第一章图里的 PIT）训练时必须枚举所有排列、挑损失最小的，S 个说话人是 O(S³) 的计算代价，人一多就不可承受。SOT 用 FIFO 排序把顺序固定下来：谁先开口谁先出现在序列里，训练代价降到 O(S)。排列的不确定性被编码进输出顺序，而不是靠枚举解决。SOT

回头再看第一章图里的 (c)(d) 两个子图：都是 SOT 的单输出分支，区别只在训练时怎么定顺序。(c) 枚举所有排列选损失最小，(d) 直接按起始时间排。(d) 就是让 SOT 在工程上可行的那个 trick。

序列化带来的三个副产品

单分支序列化不止省事，它重构了系统的能力边界。第一，说话人数不再是硬上限：PIT 的 S 条输出分支固定了最多支持几人，SOT 只数 ⟨sc⟩ 的个数就行，训练时混合 1/2/3 说话人，测试时也能见到 3 人。第二，逐词自回归可以在说话人之间建模依赖，避免两条独立分支各自把同样的话生成两遍。第三，单说话人场景没有牺牲：混合训练后的模型在单人测试上甚至小幅超过纯单说话人基线（1024 维模型单人 4.6%、双人 11.2%、三人 24.0%），一个模型同时覆盖单人与多人。

按综述的分类坐标系，SOT 属于 SISO（单输入单输出）家族：所有说话人共享一条输出序列；PIT 一族是 SIMO（单输入多输出）。综述公允地指出两类并无一致的优劣，但对「归属应当进入识别决策」这件事，SISO 的序列化是此后所有工作的共同祖先。MSSurvey

问题来了：SOT 是离线的，要等能确定顺序才出词，实时会议字幕等不了。要让「归属成为逐词条件」这件事流式化，就要看下一章 t-SOT 与它击败的双分支路线。

三、流式化之争：单分支序列化，凭什么超过「一人一条输出」的双分支？

t-SOT：把段级 ⟨sc⟩ 改成词级 ⟨cc⟩

t-SOT（token-level serialized output training，词级序列化输出训练）把 SOT 从离线推进到流式，核心改动有两处。第一，归属粒度从段细化到词：不再是一个说话人说完一整句才插 ⟨sc⟩，而是只要换人就插入 ⟨cc⟩（虚拟通道切换）token，两位说话人的词在一条输出序列里交错出现，按词被说出的时间顺序依次流出。第二，编码器换成 chunkwise 因果编码：每处理一个固定大小的音频块（chunk）就解码一批词，算法延迟（从词被说出到模型能吐出它的最小延迟）由 chunk 大小控制，论文给出 40、160、640、2560 毫秒四档。

图注：连续音频特征流进入单一输出分支，一条序列化 token 流里两位说话人的词交错出现，⟨cc⟩ 标出通道切换点；下方按切换点把同一序列拆回两位说话人各自的转写。t-SOT

单分支的流式化在 LibriCSS 连续评估协议上交出了结果：TT-36 配置在 160 毫秒延迟下平均词错率 9.0%，在 0L、0S、10% 到 40% 每个重叠档上都领先此前的流式多说话人模型。t-SOT

但别急着把 9.0% 读成「单分支打赢双分支」。这条评测里的流式对照大多来自 t-SOT 论文对既有工作的转引，其中的双分支代表 SURT 是以 dual-path 扩展版的身份出现；原版 SURT 自己报数则用另一套口径，LibriSpeechMix 仿真数据加 150 毫秒算法延迟，与这里用真实房间录音（LibriSpeech 经扬声器在会议室重放）加 160 毫秒的评测不在同一个协议里。跨这两组数字判胜负，本身就是站不住的。t-SOT 真正当场立住的，是后面要与 SURT 对照的那个工程反例。

SURT 双分支路线：一人一条输出

同期还有另一条路线，SURT（Streaming Unmixing and Recognition Transducer，流式解混与识别 transducer）。它的思路是保留「一人一条输出」：先用 unmixing（解混）模块把重叠音频拆成两个声学分量 H1、H2，各接一条 RNN-T 解码流，得到 Y1、Y2。两条解码流共享参数，但输出分开。训练用 HEAT（一种启发式固定分配：Y1 永远对应先开口的人、Y2 对应后开口的人）替代 PIT 的排列枚举，把训练代价压下来。

图注：三栏架构。(a) 顶层流水线：重叠音频 X 进 Unmixing 模块得到 H1、H2，分别馈入共享参数的 RNN-T 解码器输出 Y1、Y2；(b) SD 解混的双路结构；(c) Mask 解混用 M 与 1−M 互补切分混合特征。注意这是双输出流的设计。SURT

SURT 评测用的 LibriSpeechMix 数据这么仿真：第二条 utterance 在第一条内部的 [τ, ν] 区间随机插入制造重叠，τ 是最小延迟、ν 是第一条 utterance 的长度。SURT 的算法延迟口径是 150 毫秒。这套口径是它自己的：仿真混合数据、150 毫秒延迟、两路输出各挂一组标签，跟 t-SOT 的 LibriCSS 真实录音加 160 毫秒延迟是两个评测协议。所以 SURT 与 t-SOT 的词错率各自只在协议内部成立，谁更准靠跨协议的数字判不出来，能直接比较的只剩架构本身。

图注：LibriSpeechMix 重叠仿真协议的时间轴示意：第二条 utterance 随机落在第一条内部的 [τ, ν] 区间，τ 为最小延迟，ν 等于第一条 utterance 的长度。SURT

t-SOT 论文写给双分支看的，不是一组完胜的数字，而是一个工程反例：SURT 的推理要执行 K 次解码（每条输出分支一次），而 t-SOT 只需解一次码，架构与单说话人模型完全相同，只是词表里多了 ⟨cc⟩ 几个 token。「流式必须多分支」被证明是错误假设：归属作为 token 条件的思路可以流式化，而且不需要为每个说话人开一条输出。t-SOT 这个反例在架构层面是硬结论：单次解码、复用单说话人模型，换哪个数据集、报多少词错率都改变不了它。性能上的领先则要降格看待，如前面所见，那条对照跨着不同数据集与转引来源，只能算倾向性证据，不构成对双分支设计的独立判决。

不过 t-SOT 还有一块短板：延迟档是预设的，模型不能自己决定「这句再多听一会儿更稳」。把「等多久」也交给模型自己，是产品化的一步。下一章看 Meta 的 Muse。

四、Muse 的产品化答案：每 80 ms 决定继续听还是出词，说话人延后确认

80 ms 一步：继续听还是出词

Muse Voice Transcribe 是 Meta 于 2026 年 9 月发布的实时音频感知模型，底层 Muse Spark 家族的参数量与训练数据量未披露，以下所有数字均为发布方口径、未经独立复现。它的基本决策单元是 80 毫秒的音频块：音频按 80 毫秒（12.5 Hz）切块，每块压成一个 soft token（连续音频的离散化表示），模型在每一步做二选一：预测 ⟨next_audio⟩ 表示「继续听下一块」，或者直接吐出一个文本 token。

图注：Muse 的逐 token 决策环。每个 80 ms 音频块进来后，模型要么预测 ⟨next_audio⟩ 回到循环继续听，要么吐文本 token 出词；音频流结束时模型见到 ⟨empty_audio⟩ 便停止等待、直接输出剩余文本。机制依据博客原文，图中不含任何性能数字。Muse

「等多久」由强化学习训练出来：词错率奖励与延迟奖励做乘性组合，模型学会在准确率与延迟之间自己找平衡。发布方给出的 speed-accuracy Pareto 前沿落点大约是 3.0% 词错率、0.16 秒。这取代了 t-SOT 的固定延迟档：简单句子可以抢着出词，嘈杂重叠处会主动多听几块。

归属延后确认：软不确定性的产品化表达

把归属写进 token 流，Muse 比 t-SOT 走得更远，也保留了更多不确定性。它引入 ⟨start_of_turn⟩ 标记「轮次可能切换了」，用 ⟨speaker_{A-Z}⟩ 标签区分说话人。官方博客给出的示意序列：

<|start_of_turn|>Hello, how are you doing?<|speaker_A|>
<|start_of_turn|> Did anything fun over the weekend?<|speaker_A|>
<|start_of_turn|> Hey I'm good!<|speaker_B|>

两个设计关键。其一，⟨start_of_turn⟩ 在说话人切换时就立即出，它只表示「可能换人了」，并不立刻拍板是谁；其二，说话人标签的预测被明确延后到 chunk 末尾才确认，同一说话人被切多段时所有段共用同一个标签。系统把「这人到底是谁」的不确定性保留到最后一刻，而不是在切分那一刻硬性决定。这是「保留重叠区软不确定性」的产品化形态。Muse

发布方自报的指标是：最终转写流式词错率 3.1%、平均说话人归属错误率 17.5%（DER，speaker 标签挂错的比例）、到最终转写完成约 0.16 秒；声称支持 20+ 说话人，公开 demo 实际演示的是 8 人圆桌与一场 1 小时 11 人长会话。必须强调，这些数字都是发布方口径、未经独立复现，而且没有给出 cpWER 这类把词错与归属耦合起来的指标。

从 t-SOT 的 ⟨cc⟩ 到 Muse 的 turn/speaker token，归属条件化的粒度在演进。但 Muse 的归属终究是离散 token，模型要么说 A、要么说 B。有没有更软的形态，直接以「A 占七成、B 占三成」这样的概率份额注入声学表示？这就引出 SPSI 的机制对照。

五、机制胜负手：软归属注入，真的比硬标签辅助更有效吗？

两路编码加 FiLM：软份额如何反向塑造声学表示

SPSI（Soft Posterior Speaker Injection，软说话人后验注入）是 2026 年的一篇投稿论文（ICASSP 2027 submission，截至写作时未经同行评审）。它要回答一个更本质的问题：前几章讲的都是把归属写成离散 token，那如果把归属以概率分布的形式在声学特征层面注进模型，会不会比硬标签更有效？

机制上，SPSI 复用 Whisper-medium 编码器做两遍编码。Pass 1 不加任何条件编码一遍，由一个 soft posterior head（软说话人后验头）输出每一帧的说话人份额 P̂，是一个 simplex 概率分布（例如 A 占 0.7、B 占 0.3）；Pass 2 用同一个编码器重新编码，把 P̂ 通过 FiLM（逐特征线性调制）注入第 8、16、24 层，同时把 P̂ 池化成 4 个 speaker memory token 前置到解码器的 cross-attention 输入。解码目标仍是 SOT 序列化（prefix → ⟨spk0⟩ → … → ⟨eot⟩）。软份额不是贴在输出端的标签，而是反向塑造了声学表示本身。

图注：(a) 两路编码。Pass 1 无 FiLM，由软后验头输出 simplex P̂，橙色箭头把 P̂ 注入 Pass 2 的三处 FiLM（ℓ=8/16/24）；(b) 是 FiLM 的尺度/平移调制与 K=4 说话人 memory token 的细节；底部为 SOT 序列化目标序列 prefix → ⟨spk0⟩ → … → ⟨eot⟩。SPSI

受控对照：软信号有效，硬标签不行

受控实验在两人重叠的 LibriSpeech 混合数据上做，指标头一次用到 cpWER。先给一句直觉：cpWER 是词错率与说话人归属同时算错的联合指标，词说错算错，词说对但记到别人头上也算错（数学定义下一章展开）。SPSI 把两人重叠的 cpWER 从 50.7% 压到 49.6%（高重叠档从 60.4% 到 58.8%），改善不大，但对照组才见真章：同骨干下加硬说话人辅助目标（speaker-CE、SD-CTC-lite）只有 0.534、0.525，VAD 流水线（语音活动检测切分再转写，即「先分人再认字」的现代版）oracle 版本 0.715、估计版本 0.979，全部没能胜过基线 SOT 的 0.507；把归属换成硬掩码注入，也输给全配置。有效的不是「注入」这个动作本身，而是软 simplex 份额这个信号。SPSI

论文的边界同样要说清楚。零样本迁移到 LibriCSS（不做任何适配直接评测），SPSI 的 0.466 与 SOT 的 0.467 相当，置信区间包含 0 差异，谈不上超越。实质增益出现在冻结说话人后验头、在 OV-heavy（重度重叠）数据上适配下游层之后：LibriCSS held-out session 8–9 上 32.4% 对 SOT 的 37.5%，5.1 个百分点的差距（p<0.001）。论文也未做流式评估与 2 人以上扩展。所以准确的结论是：软归属注入有效，但胜利场景是适配之后的目标场景，不是零样本的全面超越。SPSI

到这里，机制之争有了答案：归属以软概率进入识别决策，在这项受控对照中唯一胜过该 SOT 基线的配置。但要立刻补上边界，别把单篇实验当成领域通论：零样本迁移下 SPSI 与 SOT 相当，实质增益只出现在冻结后验头、在 OV-heavy 数据上适配下游层之后，流式评估与 2 人以上扩展也没有覆盖，胜利场景是适配之后的目标场景，不是零样本的全面超越。至于 1.1 个百分点的 cpWER 改进到底算不算赢，取决于指标怎么立。下一章的 cpWER 家族会告诉你，很多「看起来赢了」的多人转写系统，其实是统计口径在帮忙。

六、怎么才算真的赢：cpWER 家族怎样戳穿「低 WER + 低 DER」？

cpWER：把归属和词错绑在一起

cpWER（按说话人拼接的最小排列词错率，concatenated minimum-permutation WER）来自 CHiME-6 挑战的定义。计算分三步：把每个说话人的识别词拼接成一条流；把假设侧的说话人与参考侧的说话人配对；枚举所有排列，取总编辑距离（错词比例）最小的一组。它同时惩罚词错和归属错：词说对了但挂错人，照样记一次替换错误。

图注：同一段录音（顶部参考的 A–H 八个词/段，底部假设的同样八个词/段）在四种 WER 定义下的最优对齐：标准分句 WER、cpWER、ORC-WER、DI-cpWER 四列，C 正确 / S 替换 / D 删除 / I 插入着色区分。WERMetrics

cpWER 有一个致命盲区：它看不见时间错位。论文给的例子很有说服力：同一段输出，cpWER 算出来 38.2%，加上时间约束的 tcpWER（time-constrained cpWER，5 秒 collar 内才允许匹配）变成 51.0%。差异全部来自一种错误形态：词被塞进了错误的说话人时间段，但字面全部正确。这种错，cpWER 发现不了，DER 也发现不了（DER 只关心语音活跃区覆盖，不关心词被放在谁的段里）。所以「分别展示低 WER 和低 DER」可以同时为真而系统实际是坏的；只有把词、时间、说话人绑在一起的指标才能戳穿它。WERMetrics

顺带一提 DI-cpWER（diarization-invariant cpWER）：它对假设端的说话人标签置换完全不变，衡量「如果归属完美，cpWER 会是多少」，与 cpWER 的差值可作为归属误差贡献的粗估探针。作者明确警告这指标不应拿来排系统名次，它会被恶意优化标签的空子。

真实场景的独立评测：共享挑战赛说话

指标立起来之后，还需要真实数据的独立评测。SLT 2026 SmartGlasses Challenge 是目前最接近真实现场的一个：106.98 小时、714 段真实 egocentric 录音（可穿戴设备视角，4 通道麦克风），88 位说话人。Track 1 是双人对话（8 类真实场景，平均重叠 7.5%），Track 2 是 3–8 人会议（平均重叠 13.6%、最大约 45%）。主办方用 tcpCER（字符级、带时间约束的说话人归属词错率，5 秒 collar）作主指标，15 支队伍参赛。

图注：挑战数据集的场景构成：上方的水平条形图是 Track 1 的 8 类双人真实场景（home、restaurant、shopping mall、street 等）占比，下方是 Track 2 的 3 类会议相关场景占比。SLT2026

结果很有信息量。Track 1 前三名 tcpCER 都低于 7%，说明中等重叠的双人场景已接近实用；Track 2 断崖式恶化，第一名 27.95%，其余队伍大多在 48.92% 以上。按重叠率和人数分桶更直观：重叠超过 20% 的片段平均 tcpCER 约 69.2%；参会人数从 3 人增加到 6–8 人，tcpCER 从 15.5% 恶化到 63% 以上。一句话：真实录音里，重叠仍然是多人转写性能的第一变量。SLT2026

这组数字与第四章 Muse 的自报构成证据性质上的对照：一边是独立共享评测、第三方可复现，一边是发布方自有口径。两边指标（tcpCER vs AA-WER）、数据集、评测方法三件套都不同，不能直接比数字；但方向一致，LibriCSS 在第一章那个「重叠即退化」的结论，在真实场景里被再次确认。

反例：联合建模不等于归属成为逐词条件

判断一个系统站在哪一边，先看输出序列里归属 token 落在哪里。但落点只能判断标签是在段前还是段后发出，不能单凭此证明内部逐词条件关系：Muse 的 ⟨speaker_A⟩ 就落在整句转写之后，这类句后标签不能当作「归属参与每词生成」的正证据。SPSI 的软份额在声学层注入，走的是另一条机制路径。反例是 2026 年的 DiaScriber，一个把 diarization 和转写一起塞进 speech LLM（Qwen3.5-Omni，AuT 编码器加 MoE 解码器）的联合模型，输出是这个格式的结构化序列：

<soc><sos><start_time>transcription1<end_time><spkid><eos>
     <sos><start_time>transcription2<end_time><spkid><eos><eoc>

图注：自下而上的架构。FBank 特征（10 ms 帧移）→ AuT Encoder（4× 下采样 Conv2d + 32× 自注意力层，输出 6.25 Hz 语音嵌入）→ Qwen3.5-Omni Hybrid MoE Thinker；顶部两行输出序列里，⟨spkid⟩ 出现在 transcriptionN 之后、⟨end_time⟩ 之后。DiaScriber

肉眼看图就够：⟨spkid⟩ 在整段转写写完、⟨end_time⟩ 之后才落下。归属是逐段的后置标注，一整段词共享一个说话人标签，而不是每个词生成时的条件。加上 DiaScriber 的评测明确是整段无分割的离线输入，论文只为训练时的注意力窗口预留了流式可能，它就是「联合建模 ≠ 归属成为逐词条件」的活标本。DiaScriber

它做得对的一件小事值得记下：报告数字时用 DER + cpWER + tcpWER 三件套，没有分开展示低 WER 和低 DER。至少 2026 年的新工作已经默认了联合口径。

到这里，判据和验收标准都齐了。

七、分水岭不在「单模型」标签，在归属以什么形态进入识别

三路形态谱

把走过的路收拢成一张图。同样是让说话人归属进入识别决策，2026 年的三条路线给出了三种形态：

图注：三种「归属进入识别决策的方式」。SPSI 的软份额经 FiLM 在声学层注入，机制上直接参与逐词决策；Muse 以 turn 标记加延后身份标签的形式出词，输出顺序本身不证明对先前每词的内部条件化；DiaScriber 的段级后置把归属写在一整段转写之后，粒度与开篇「先分人再认字」其实是同一层，只是搬进了大模型。

三路并排看，第一章那个问题的完整论证就闭环了：分水岭不在「是不是单模型」这张标签。DiaScriber 是彻底的端到端单模型，diarization、转写、时间戳一起吐，但归属是段级后置标注，没有进入每个词的生成条件，所以它站在传统「先分人再认字」这一侧。SPSI 的软份额经 FiLM 反向塑造声学表示，在机制上逐帧生效，是这三路里条件化最明确的一路。Muse 以 turn 标记加延后身份标签的形式把归属写进输出序列，方向上与 SPSI 同侧，也避开了识别前对重叠区的硬切分。但分寸要守住：输出顺序本身并不证明模型对先前每一个词都做了内部条件化，⟨speaker_A⟩ 挂在整句转写之后，词与标签之间的耦合到底有多深，公开资料没有给出机制层面的证据。

收束成判断

那怎么验收一个实时多人转写系统？把散落各章的证据拼起来：SPSI 零样本只与 SOT 相当、实质增益在适配后的重度重叠场景；SPSI。Muse 的 20+ 说话人与 0.16 秒延迟是发布方口径；Muse。独立共享评测里，高重叠区间的 tcpCER 仍然高企。SLT2026。三条拼到一起，结论不是「谁赢了」，而是一个方法论判断：验收必须是 cpWER 家族（把词、时间、说话人绑在一起）、归属延迟、长会话标签稳定性与真实重叠场景的联合考察；任何分开展示的低 WER 和低 DER 都先存疑。

还剩下一个真正的张力值得点明：低延迟承诺与跨片段身份稳定性的矛盾。Muse 的约 0.16 秒延迟来自「标签延后确认」与「快速出词」的平衡，但一个词一旦在 chunk 末尾被拍板挂上某个说话人标签，后续没有机制修正它；而在重叠超过 20%、6–8 人的长会话里，跨片段的说话人身份稳定性恰恰最容易崩。目前公开资料里还没有长会议规模（例如 1 小时、11 人、高重叠）的独立 DI-cpWER 评测，这是评估空白，不是已有结论；谁先把低延迟和长会话身份稳定性同时做到可独立复现的水平，谁才能真正接过「实时多人转写」这个题目。至于对整条「归属进入识别」路线的总括，只能保守地说：它避免了在识别前硬切分所造成的那类级联损失，切分错误不再必然把整段转写带崩；这不是承诺所有重叠错误都可逆，归属一旦拍板，依然没有机制能把它改回来。

从 2020 年 SOT 把归属写成序列，到 2022 年 t-SOT 让它流式化，再到 2026 年 Muse 的延后确认与 SPSI 的软注入，这条线其实只做了一件事：让「这一句是谁说的」从切分器的输出，变成识别器每一个词都要回答的问题。这条路线避免了识别前硬切分造成的那类级联损失，因而切分错误不再必然拖垮整段转写；但归属拍板后的不可修正性没有变，一个词一旦被拍板挂上某个说话人标签，后续依然没有机制能把它改回来。下次再看到一家厂商说「我们单模型搞定多人转写」，别急着点头，先问一句：归属是你模型的逐词条件，还是只是贴在转写末尾的标签？

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Serialized Output Training for End-to-End Overlapped Speech Recognition（Kanda et al., INTERSPEECH 2020） — arXiv:2003.12687
2. Streaming Multi-Talker ASR with Token-Level Serialized Output Training（Kanda et al., Interspeech 2022） — arXiv:2202.00842
3. Streaming End-to-End Multi-Talker Speech Recognition（Lu et al., IEEE SPL 2021） — arXiv:2011.13148
4. Survey of End-to-End Multi-Speaker Automatic Speech Recognition for Monaural Audio（He & Whitehill, CSL 2026） — arXiv:2505.10975
5. Introducing Muse Voice Transcribe（Meta Superintelligence Labs, 2026-09-01） — https://research.meta.ai/blog/introducing-muse-voice-transcribe
6. Soft Posterior Speaker Injection for Multi-Talker Speech Recognition（Zhu & Luo, arXiv 2026） — arXiv:2609.01287
7. Continuous Speech Separation: Dataset and Analysis（Chen et al., ICASSP 2020，LibriCSS） — arXiv:2001.11482
8. Word Error Rate Definitions and Algorithms for Long-Form Multi-talker Speech Recognition（von Neumann et al., IEEE TASLP 2025） — arXiv:2508.02112
9. DiaScriber: A Speech LLM for Joint Diarization and Transcription in Multi-Speaker Scenarios（Mu et al., arXiv 2026） — arXiv:2608.22796
10. The SLT 2026 SmartGlasses Challenge（ASLP@NPU et al., arXiv 2026） — arXiv:2608.12034