Falcon：看嘴型的流式分离模型，只算一遍就能从人群里挑出目标
一、真实房间里要听清一个人，考题和模型这两笔账得一起算
Falcon 这篇论文同时交出了两样东西：一套更贴近真实房间的音视频目标说话人提取评测基准 RealSSA，和一个单次前向就能完成分离的轻量模型 Falcon。相对被因果化改写的 AV-TFGridNet，Falcon 的可训练参数少 91.9%，从 6.2 M 降到 0.5 M。计算量少 20.2 倍，从 213.8 G MACs 降到 10.6 G。GPU 上处理 2 秒片段的前向时间快 11.1 倍，从 567.8 ms 降到 51.3 ms。在它自己构造的 RealSSA-Sim 测试集上，SI-SNRi 是 7.7 dB。Falcon 论文
这几个数字要放在一起看才有意义。音视频目标说话人提取（AVTSE）的任务，是用目标说话人的唇动视频指定"要听谁"，再从混音里只还原这一个人的语音。过去这类系统的评测几乎都在两人混叠、房间声学固定的合成数据上做：干扰说话人固定两个，不分近场远场，混响钉在一个值上，也没有突然响起的车笛或关门声。模型在这种数据上能把指标刷得很高，一进真实房间就失效。可要真的进真实房间，模型又必须轻到能在端侧跑，而轻量化最常见的做法是把一个小分离器反复调用 N 次来补容量，省下来的算力又按时延线性还回去。
所以这篇论文的问题陈述是"考题不真"和"模型太重"捆在一起。基准太干净，重模型才有刷分空间。换成轻模型，迭代路线又把成本吃回去。RealSSA 与 Falcon 分别对应这两半，这个耦合关系是全文的骨架。
图注：论文 Figure 1 的四类真实场景实拍，从左到右是小型会议室、咖啡店、商场中庭和城市街道。四张照片里说话人数、空间尺度和背景噪声同时变化，正对应旧基准固定住的那几个变量。图中没有任何声学数值。Falcon 论文
照片只能给出场景形态，具体变量要靠数值。四类场景的配置在论文 Table 2 里写得很细。近场与远场按到麦克风的距离划分，阈值取 3 m，理由是它近似典型室内房间的临界距离。远场干扰统一按 20 到 35 dB 的 applied SIR 混入。SIR 指干扰相对目标的能量比，数值越大干扰越弱，所以这个区间意味着远场语音被距离衰减和混响压得很低，但人数多、方向散，掩蔽很难整体清掉。这些数值在下一章展开。
管线本身不复杂，但里面有三个判断值得先记住。目标说话人的视觉序列经冻结的视频编码器得到视觉特征 V，混音经音频编码器得到 A，两者相加成 F 送进 Separator，Separator 输出掩码 M，与音频编码特征在复数域逐元素相乘，再由音频解码器还原成目标语音。
图注：Falcon 的整体管线。左半是目标说话人、近场说话人与远场干扰混成 Mixture；右半视觉编码得到 V，音频编码得到 A，相加后进 Separator 产出掩码 M，与音频编码特征逐元素相乘再解码。图里没有数值，也没有 Separator 内部结构。Falcon 论文
三个判断是：视觉只负责挑人，不负责分离，真正的分离发生在音频侧。融合发生在时频域，不在波形域。Separator 输出的是掩码而不是波形，所以它在推理时不会绕开混音另造一段语音。交付情况也值得一句：代码以 Apache-2.0 放出，权重在 Hugging Face，两个数据集需要人工审批，另有一个浏览器里的 Falcon Studio 演示，用 2 秒窗口、0.5 秒跳跃做实时分离。Falcon 项目页
二、真与可控没法兼得，基准只能拆成两半
RealSSA 的分工是仿真负责可复现的变量，真录负责泛化留出。这不是为了省事，两者在物理上互斥：真实录音里你没法指定"这一段混响 1.2 秒、近场三个干扰、距离 1.8 米"，仿真里可以，但合成数据的声学细节永远和真房间隔一层。
RealSSA-Sim 的源语料是公开的：目标音视频取自 LRS3，近场与远场干扰取自 LibriSpeech，连续环境噪声取自 WHAM!，语义化的突发事件取自 Hive。Hive 这一项是它区别于"只叠 WHAM! 噪声"的前人仿真集的关键，因为它按"车笛""关门"这类语义事件插入声音，而不是只加一段稳态噪声。四类场景的取值区间如下。
| 场景 | 房间尺寸 (m) | RT60 (s) | 近场干扰 | 远场干扰 | 突发噪声 |
|---|---|---|---|---|---|
| 小型会议 | 4–6 × 3–5 × 2.5–3 | 0.3–0.6 | 1–5 人，0.5–1.5 m | 无 | 30%，1 次 |
| 中型室内 | 8–15 × 8–12 × 3–4 | 0.5–0.9 | 1–3 人，1.0–2.5 m | 10–15 人，3–15 m | 40%，1–2 次 |
| 大型公共 | 20–40 × 15–30 × 4–8 | 1.0–2.0 | 1–4 人，1.0–3.0 m | 10–15 人，5–20 m | 50%，1–3 次 |
| 户外 | 50 × 50 × 20 | 0.05–0.1 | 1–4 人，1.0–4.0 m | 10–15 人，5–25 m | 40%，1–3 次 |
表里最容易被读错的一处是"1–5 近场加 10–15 远场"。那是场景设定的取值区间，不是每段混音固定这么多说话人。实测下来平均每段混音有 13.21 个说话人，平均近场干扰 2.5 人，训练集 100,826 条、验证集 9,133 条、测试集 9,169 条，合计约 153 小时。这个规模和动态说话人数，是它与两人混叠基准最实质的差别。
真录那一半为什么只做小规模，可以从同期的 REAL-2MIX 看出来。它用了 77 个场景、11.84 小时，为了拿到同一场景里的音色、人脸、光照、机位和声学参考，每个场景要分三段录：A 单独说、B 单独说、两人重叠说，机位和头戴麦都要摆好，还要逐场景标注视觉身份。REAL-2MIXRealSSA 于是把主力押在仿真，真录只留 54 段、约 84 分钟、10 名参与者、8 种环境，用单台 iPhone 17 Pro 采集，故意不做降噪、去混响和响度归一化。
这也解释了真录集为什么换了一整套指标。真实重叠录音里不存在一条同步的、只属于目标说话人的干净波形，SI-SDR 这类需要干净参考的指标在数学上没有定义。这属于任务本身的物理属性，不是采集疏忽。所以 RealSSA-Real 上只能报 DNSMOS、NISQA、WER 和说话人相似度，也不存在所谓的"参考分数"。任何把真录集数字与仿真集 SI-SNRi 并排比较的写法，都是错的。
三、反复调用小分离器不省算力
把一个小分离器反复调用 N 次，参数量确实不变，但 MACs 和时延会随 N 线性增长。MACs 是乘加运算次数，用来衡量一次前向要算多少。参数量只是三个轴里的一个，只看它会得出完全错误的轻量化结论。
Swift-Net 是这条路线的原型：视觉侧一个轻量编码器，音频侧先过一个 FTGS 块和融合模块，再串接 N−1 个共享同一套参数的 FTGS 块。参数共享让参数量与 N 无关，三个变体都是 0.5 M，这也是"看起来很轻"的来源。
图注：Swift-Net 的整体管线，图下方的 "FTGS × (N − 1)" 是迭代结构的自述：混音编码后先过一个 FTGS 块与融合模块，再串接 N−1 个共享参数的 FTGS 块。图里没有参数量、MACs 或时延数值。Swift-Net
把 N 调到 6、9、12 再看另外两轴，账就露出来了：MACs 是 20.6、28.6、36.6 G，端到端时延是 89.7、130.7、172.1 ms，测于 NVIDIA 2080。用相邻两档或首尾两档折算，每多一次迭代都是约 2.67 G MACs 与 13.7 ms 时延，这是我按表里三点算出来的派生值，论文没有直接写这一行。Swift-Net迭代确实换来了质量，LRS2-2Mix 的 SI-SNRi 从 13.4 升到 13.9，LRS3-2Mix 从 14.8 升到 16.0。代价是 N=12 时 172.1 ms 已经逼近被因果化的 RTFSNet 的 178.8 ms，轻量的优势在十二次迭代时被吃掉大半。
重的那一端为什么重，得回到结构上看。AV-TFGridNet 的每个 GridNet 块里，子带时间模块沿时间轴用双向 BLSTM，全频带自注意力在整段 T 上做多头注意力，任意一帧都能看到整句。这两处都依赖整句上下文，但堵法不同：双向 BLSTM 靠掩码变不成因果，必须换成单向；全频带自注意力则要加上因果掩码、让每帧只看 t′ ≤ t，才能流式跑起来。AV-TFGridNet
同一笔账还有一份独立证据。Dolphin 的附录把同一套融合模块接回纯音频 TDANet，做成 1、8、16 次迭代三档：参数量恒为 3.89 MB，MACs 从 2.99 G/s 涨到 7.04 再到 11.68 G/s，质量从 6.4 dB 升到 12.4 再只到 12.8 dB，明显饱和。这是另一篇论文自己的表格，与 Falcon 的批评互相独立，但结论方向一致。Dolphin
这里必须分清这是谁的判断。Swift-Net 原文没有 Limitations 段，也没有一句承认迭代有代价，作者把级联加参数共享直接写成优点。"迭代有代价"是 Falcon 从表格里读出来的结论，Swift-Net 的表格里只有数字，没有这句话。
四、Falcon 把能力放进结构里或训练里
Falcon 的两招遵循同一条原则：推理时既不多跑一遍分离器，也不多跑一个损失分支。容量来自一次前向里的多个分辨率，身份约束来自训练期的表征塑形。
Separator 是一个非对称 U-Net，编码器四级，第 l 级特征图的尺寸是 T/2^l × N_f/2^l，时间轴与频率轴同时减半。时频建模只发生在两处：编码器瓶颈放一个 TFRB，产出一个粗粒度的全局上下文 G；解码器的每一级分辨率上再放一个 TFRB，由粗到细补回频谱结构。四个 TFRB 因此在一次 encoder–decoder 前向里同时存在，这就是"单次前向具备四个尺度"的确切含义，不是跑了四遍。
图注：Falcon 的单次前向多尺度 Separator。输入特征 F 经编码器逐级降到四级分辨率，瓶颈处的 TFRB 产出全局上下文 G，经四个 GCI 模块注入各级 skip，解码器由粗到细每级一个 TFRB，最后与残差分支相加输出 E。图中未标卷积核、stride 或通道数。Falcon 论文
为什么多个分辨率就够用，可以看一个具体的格点。在 T/8 的粗网格上做一次时频注意力，相邻格点之间隔着原始时间轴上的 8 帧，覆盖的原始时间跨度是细分辨率下的 8 倍，等于用很低的成本拿到长程上下文。T/2 那一级的 TFRB 则负责把细粒度频谱结构补回来。粗的管上下文，细的管纹理，两者在同一次前向里完成。瓶颈产出的 G 经 GCI 门控注入各级 skip，作用是让全局上下文强调或抑制局部特征里的某些频带。
因果性不是靠离线截断，而是逐层堵死的。卷积在时间轴用左填充，频率轴用对称填充。TFRB 里频率方向的 LSTM 是双向的，时间方向的 LSTM 是单向的。2D 自注意力带 block-causal 掩码，位置 (t, f) 只能看到 t′ ≤ t 的 key。归一化用帧局部的 LN_c，不跨帧缓存统计量。频率轴可以双向，因为频率不是流式推进的维度，时间轴则每一处都不许看未来。下采样只做到三级也是被这条约束卡住的：视觉分支缓冲 3 帧，在 25 fps 下等于 120 ms 的 lookahead，音频 hop 是 8 ms，音频侧最多只有 15 帧的预算，第四级会破坏音视频对齐。论文的下采样深度消融也印证了这一点，1、2、3 级分别对应 7.1、7.4、7.7 dB，三级是流式因果允许的上限。
第二招是编码器空间的说话人对比损失。查询是掩蔽后的编码器特征，正样本是目标语音过同一个音频编码器，参考路径做 stop-gradient，负样本是每个近场干扰的干净波形过同一个编码器。损失由两部分组成，一部分把查询与正样本的余弦相似度拉高，另一部分给离查询太近的负样本加惩罚，边距 m 取 0.5，权重 λ_spk 取 1.0，逆温度 τ 从前 1000 个 epoch 由 0 线性退火到 1。远场干扰不放进负样本，理由是距离衰减加晚期混响已经把它们的残差压到 SI-SNR 误差地板以下，加进去没有额外信号。 Falcon 论文
关键在于这条损失只在训练期激活。它改变的是音频编码器的表征空间，不给推理加任何结构，因此推理开销为零。PCA 图能看出它实际做了什么：没有这条损失时，15 位目标说话人的嵌入点云弥散交叠，第一主成分只解释 84.2% 的方差。加上之后，点云沿主轴收拢成簇，同色聚拢、异色分开，第一主成分解释 98.6%。
图注：编码器空间说话人嵌入的 PCA 对比，左右共享同一套 15 位目标说话人的颜色图例。左图无对比损失，PC1 解释 84.2%，点云弥散交叠；右图加了对比损失，PC1 解释 98.6%，同色点沿主轴收拢成簇。图里是嵌入，不是分离波形。Falcon 论文
因为查询与参考共用编码器，这条损失可以挂到别的骨干上，不用改结构。实测跨三种骨干的增益是 Falcon +0.4 dB、Swift-Net-12 +0.2 dB、Dolphin +0.3 dB SI-SNRi，方向一致但幅度不同。要看清这个增益的参照物：Dolphin 本身（未加该损失）在 RealSSA-Sim 上的 WER 是 49.48%、说话人相似度 24.98，在所有提取系统里最差；加损失后它的 SI-SNRi 从 6.7 dB 升到 7.0 dB，绝对水平仍低于 Falcon 的 7.7 dB。
五、20.2× 与 11.1× 的分母是因果 AV-TFGridNet
三个数字都有明确的分母，而且是同一个分母：被因果化改写的 AV-TFGridNet，6.2 M 可训练参数、213.8 G MACs、567.8 ms GPU 时延。论文把这几行放在同一张表里，并在附录给出测量协议；但官方 README 说明，除 Dolphin 与 AV-Mossformer2 是按同一因果协议重实现外，其余基线沿用 Swift-Net 的报告值（Swift-Net 的时延在 NVIDIA 2080 上测得），所以跨行时延不宜当作同硬件条件下的严格对比。
| 方法 | 可训练参数 | MACs | CPU 时延 | GPU 时延 |
|---|---|---|---|---|
| AV-TFGridNet（因果版） | 6.2 M | 213.8 G | 5646.3 ms | 567.8 ms |
| AV-Mossformer2 | 56.7 M | 224.2 G | 16670.7 ms | 114.9 ms |
| Swift-Net-12 | 0.5 M | 45.3 G | 4163.8 ms | 172.1 ms |
| Dolphin | 5.6 M | 18.1 G | 2411.0 ms | 87.9 ms |
| Falcon | 0.5 M | 10.6 G | 1361.2 ms | 51.3 ms |
协议是这样的：2 秒 16 kHz 音频加 50 帧 25 fps 嘴部裁剪，batch 为 1，GPU 是 RTX 3090，CPU 是单线程 Xeon Gold 6226R，丢弃 5 次预热后取随后 50 次前向的中位数，GPU 用 CUDA event 计时并排除主机端开销。这些条件不写出来，51.3 ms 这个数字就没有意义。 Tap2Listen
有两个口径必须一起说。第一，51.3 ms 是 2 秒片段完整跑一次前向的时间，不是端到端流式时延。把它摊到约 250 个 hop 上，GPU 是 0.21 ms/hop，CPU 是 5.44 ms/hop，后者已经逼近 8 ms 的 hop 预算。论文自己写明逐跳执行开销和端到端时延需要用流式实现另测。第二，参数量有两个口径：0.5 M 是可训练参数，含冻结视觉编码器的总参数是 11.72 M，其中冻结的 FRCNN 唇读编码器占 11.2 M。混用这两个口径会直接改变"轻量化"的结论强度。
还有一个容易读漏的地方。官方 README 把效率账本扩到了十个方法，其中 AV-DPRNN 的 MACs 是 4.5 G、GPU 时延 5.8 ms、CPU 时延 271.0 ms，三项都低于 Falcon。所以"11.1 倍"只对 AV-TFGridNet 成立，不能读成 Falcon 的时延最低。它的优势集中在参数量、内存，以及相对重基线的倍数。Falcon 项目页
质量侧的结论是四套仿真集上 SI-SNRi 与 SDRi 全部最高，RealSSA-Sim 是 7.7 / 8.2 dB，LRS3-2Mix 是 16.4 / 16.7 dB。逐场景乘近场人数的 16 个格子里，它 11 格第一、5 格第二。这个"最高"只相对论文选定的 9 个基线，不是对整个领域的排名。有个细节值得留意：难度轴不是混响，室外格子对所有架构都最高，小型会议最难，因为干扰者处在临界距离内，频谱包络、起始时间和混响指纹都与目标高度相似。轻量迭代基线在小房间格子上塌得最狠，RTFSNet-12 全部低于 4 dB。重叠率也不是瓶颈，五档重叠下 SI-SNRi 稳定在 7.71 到 7.95 dB。
短板集中在视觉线索上，而且是断崖式的。视觉全部缺失时 Falcon 跌到 −9.91 dB，AV-Sepformer 更是 −44.09 dB，所有方法一起崩。丢失的形态比比例更重要：随机丢失 75% 时还有 5.97 dB，连续丢失 75% 时只剩 0.01 dB。也就是说模型能从分散的缺帧里插值补回信息，一旦连续几秒看不到嘴，就彻底失去"要听谁"的依据。
仿真到真实的落差同样明显。真录集上 Falcon 的 DNSMOS 是 3.276、WER 32.74%、说话人相似度 42.23，而这个集合本身没有参考分。在仿真集上，用同一协议评 ground-truth 目标语音得到相似度 64.69、WER 11.83%，Falcon 的相似度 43.05，差 21.64 分。加上作者自述的三条局限：分离器与对比损失都只在单通道上工作，仿真里的四阵元线阵只用了第一通道。真录集只有约 84 分钟、10 名参与者。对比损失依赖仿真中可得的近场干扰干净逐源波形，迁移到无标注真实录音是未解方向。此外嘴部裁剪错位、追踪到另一个说话人的鲁棒性、目标切换后的恢复速度、端到端流式时延，都没有实验。
这篇论文真正的贡献不在某个倍数，而在于它把"考得真"和"算得起"放进了同一篇里，并且把三个倍数的分母、测量协议和 lookahead 都摊开写了。判断它能不能用在你手上的场景，问三个问题就够：你的视觉线索稳不稳，你的干扰人数是两人还是十几人，你的部署口径是 GPU 还是单核 CPU。三个答案里任何一个不对，它的优势都要打折。
想深入可以读原文：Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes — arXiv:2610.32749
参考文献
- Sang, Li, Li, Huang, Hu. Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes. arXiv:2610.32749. https://arxiv.org/abs/2610.32749
- Falcon 官方项目页（代码、权重、数据集、live demo）. https://cslikai.cn/Falcon/
- Multimodal Target Speaker Extraction: Towards Unified Speaker Cues Across Modalities. arXiv:2609.35613. https://arxiv.org/abs/2609.35613
- Advances in Speech Separation: Techniques, Challenges, and Future Trends. arXiv:2508.10830. https://arxiv.org/abs/2508.10830
- Pan, Wichern, Masuyama, Germain, Khurana, Hori, Le Roux. Scenario-Aware Audio-Visual TF-GridNet for Target Speech Extraction. arXiv:2310.19644. https://arxiv.org/abs/2310.19644
- Sang, Li, Yang, Huang, Hu. A Fast and Lightweight Model for Causal Audio-Visual Speech Separation. arXiv:2506.06689. https://arxiv.org/abs/2506.06689
- Li, Gao, Hu. Efficient Audio-Visual Speech Separation with Discrete Lip Semantics and Multi-Scale Global-Local Attention. arXiv:2509.23610. https://arxiv.org/abs/2509.23610
- Identity-Faithful Audio-Visual Target Speaker Extraction with REAL-2MIX and VOXBLINK2-AVSE. arXiv:2608.03964. https://arxiv.org/abs/2608.03964
- Dialogue-Based Streaming Audio-Visual Target Speaker Extraction with Predictive Dialogue Information. arXiv:2609.30774. https://arxiv.org/abs/2609.30774
- Tap2Listen: Instant Target Switching for Streaming Audio-Visual Speaker Extraction. arXiv:2610.36643. https://arxiv.org/abs/2610.36643
- SLT 2026 REAL-TSE Challenge: Real-World Target Speaker Extraction from Conversational Recordings. arXiv:2607.15198. https://arxiv.org/abs/2607.15198