OmniCatalyst：救回全模态模型的非文本答题，靠的却是补一段文本

全模态模型接的模态越多，答对得越少：“知道却说不出口”是可测的落差

全模态模型能从画面、声音里抽取出可用的信息，却未必能在直接回答时调用它，而且接入的模态越多、答对得越少。arXiv 上的《Omni-Modal LLMs Know More Than They Say》用一个极简的对照把这条落差摆出来：同一道题问两遍，一遍要求模型做“模态知识抽取”，一遍要求它直接回答。抽取那一遍答得对，直接回答那一遍答错，而把同样的信息以文本形式补进输入，回答又恢复正确 Omni Knows More。这一对照停在任务层，它只提示该信息可能没有被直接回答这一步调用，并不能说明模型内部一定已经拿到这份信息。论文把这条落差命名为 knows-but-cannot-say。

术语在这里只需分清一层，否则后面“接的模态越多”会失去参照：论文把 multimodal 限定为恰好两种模态，omni-modal 指支持多于两种模态的模型，落差正出现在后者身上。把观察推到更极端的是第二个对照：随着输入模态数增加，知识抽取的准确率几乎不动，回答准确率却显著下滑，两条曲线越拉越开。它同样只是任务层的现象，看不出落差卡在模型的哪一环。路径层面的解释要落到表征层，论文把这一步交给下一章的 TMA 检验，它把“接不上生成”化成两个可算的量。 SAE

图注：左半是概念对照，上半展示模态知识抽取成功、下半展示直接回答失败、补入文本后回答恢复正确；右半是随模态数增加的两条准确率曲线，知识抽取那条基本持平，直接回答那条明显下滑 Omni Knows More

值得注意的是，同一道题里模型既能抽出内容又答错，也可能来自题目形式或输出格式的差异；要判断非文本表征是否真的在生成侧被冷落，必须落到表征层。

把这条落差写成“知道但说不出口”很容易像修辞。下一章要交代的，正是论文如何把它变成两个可以算出来的数。

TMA 量的是非文本表征接不接得上生成，而不是它有多少信息

论文提出的 Token-level Modality Alignment（TMA，token 级模态对齐）把“接不上生成”化成两个可算的量：非文本表征与回答 token 的相似度，以及它从生成侧分到多少注意力。TMA 的定义是在模态占位符 token 与生成回答 token 之间算余弦相似度，取最大值：

$$ s_{i,j}^{m \to r} = \cos(h_{i,j}^{(m)}, h_{i,k^}^{(r)}), \quad k^ = \arg\max_k \cos(h_{i,j}^{(m)}, h_{i,k}^{(r)}) $$

其中 $h_{i,j}^{(m)}$ 是模态 m 的占位符 token（例如 Qwen2.5-Omni 里的 <|video-pad|>）在最后一层 decoder 的隐藏态，$h^{(r)}$ 是生成回答 token 的隐藏态。论文保留了两层分布：样本内看单个样本里每个模态 token 的取值，样本间看聚合到每个样本后的取值。这个选择本身就是论点的来源，跨样本一层才能看出“整个模态”是否被系统性冷落。

关键发现就在这两层分布上。样本内，TMA 较高的非文本 token 确实相对获得更高的注意力，但它们的绝对 TMA 值都很低；文本 token 则无论插在输入序列的哪个位置，都落在高 TMA、高注意力的右上区域。跨样本同样，文本表示的 TMA 与注意力系统性高于非文本表示。论文由此给出解释：在以语言为中心的生成阶段，文本表示有更高的 generation accessibility（生成访问性），非文本模态虽被编码，却难以通向生成路径。

图注：左边散点图横轴是 TMA、纵轴是注意力，非文本 token 聚集在低 TMA 区，文本 token 散布在右上且与插入位置无关；右边跨样本分布中，文本表示的 TMA 与注意力系统性高于非文本表示 Omni Knows More

这里有两个必须点破的辨识点。TMA 度量的不是信息量，而是信息与生成表示的对齐程度，所以低 TMA 不等于没编码。TMA 也不是 CLIP 那类训练损失或跨模态对齐目标，它是对响应 token 一侧的诊断指标。 LCD

随之而来的问题是为什么不直接训练一个线性分类器去读某一层。论文的替代方案有方法学依据。一项在 Kosmos-2、LaVIT、Emu、Qwen-VL 上的 probing 研究发现，decoder-only 多模态模型的 topmost 层并不最适合编码全局跨模态信息，它因自回归预训练而过度关注下一个 token Probing MLLMs。换句话说，“该读哪一层”这个问题本身没有标准答案。另一项用稀疏自编码器沿层扫描视觉与语言特征空间的工作也显示，视觉表征在 Gemma-2-2b-it 的第 18 层附近才收敛到语言特征空间 VLM Mapping。这项证据只覆盖视觉输入，不能当作全模态的通论。两份旁证合起来说明：沿层看对齐是合理的，而挑单层做 probe 不是。

缺口是系统性的：非文本信息被一致地挡在生成门外，行为层基准也复现了同一方向

锚论文给出的机制解释在其测试的模型范围内是站得住的：非文本表征里与生成相关的那部分受到了限制，被压住的信息其实已经编码，只是流不到生成。支撑这一诊断的是论文自己的 masking 闭环实验：把 TMA 处于不同分位的 token 分别 mask 掉，知识抽取任务的得分几乎不掉，说明底层信息仍在；下游回答任务则显著掉点，而且 mask 掉高 TMA token 时掉得更厉害。这一步把 TMA 从描述指标升级成诊断指标，因为它能预测“动这一块会伤到哪一部分能力”。要守住的是这条结论的覆盖面：它支持的是“锚论文所测的这几款模型里，与生成相关的 token 受到限制”，还不能直接推成所有全模态架构的共性短板。

评测层能看到方向一致的线索，但它证明的东西比表征层窄。XModBench 用 61,320 道题，把同一语义内容在音频、视觉、文本三种模态上做六向交叉配置，让模态差异从题目内容里剥离出来 XModBench。结果是方向性失衡：Gemini 2.5 Pro 在 vision-text 这一对上相差 8.8 点，Qwen2.5-Omni 同方向差 16.6 点，audio-text 一对差 6 到 8 点。这些数字说明的是多款模型上存在同方向的行为不对称，方向与表征层的诊断一致，所以它只是与该诊断相容的行为层旁证；XModBench 读的是准确率差，既不读表征，也不读注意力，因此它并不独立复现“非文本表征被挡在生成门外”这一机制本身。

图注：水平条形图展示多款 Omni-LLM 在 audio-vision、audio-text、vision-text 三组互逆设置上的准确率差；vision-text 与 audio-text 的差距最明显，audio-vision 那一组接近对称 XModBench

这组数字要按它的量纲读：它们是评测层的准确率差，不是 TMA 也不是注意力份额。三组里 audio-vision 看着“对称”，但那是建立在低准确率之上的对称，不能理解成平衡得好。此外，评测界其实早就用 Modality Bias 这个定性说法描述过同一倾向，论文的增量是在表征层给出机制解释，而不是重复一次现象陈述 Omni-MLLM Survey。

OmniCatalyst 的修法：不训练、不改架构，只让模型先把感知自述一遍、再与原模态一起答题

这篇论文给出的修法叫 OmniCatalyst，它极其轻：不加参数、不微调 backbone，只是在推理时分两步走。第一步让模型针对每个非文本模态生成一段自述，第二步把这段描述与原始模态表示一起送进模型回答：

$$ d_m = f_{\text{LLM}}(X_m; p_{\text{desc}}), \qquad y = f_{\text{LLM}}({h_m, d_m} \cup {m \in M}, q; p_{\text{ans}}) $$

两个符号关系要讲清：描述 $d_m$ 是模型自己生成的，它并不替换原始模态表示 $h_m$，而是与之并存。这正是“推理期补全”而非 fine-tune 的关键：模型的参数一个都没动，变的是每次提问时多喂进去一段文字。

为什么这样能管用，可以借一个结构上对得上的场景来理解。假设一名目击者记下了全部细节，但流程规定只有书面陈述才算证据，原始记忆再清楚也不进入判决。模型的处境与此类似：非文本表征已经存在，但通向生成的那条路径对文本表示更友好。让它自己写一份“书面陈述”，这份文本就获得了进入判决的资格；而保留原始模态一起输入，等于同时呈上物证和陈述，而不是用陈述替换物证。这个类比还标出了修法的上限：自述是对原始信息的转写，会有损耗。论文里 ground-truth audio oracle 落在偏好的最右上角，比自生成描述的版本更靠右上，正说明这条新通道不是无损的 Omni Knows More。

效果上，论文在 OmniBench 与 WorldSense 两个基准上把 OmniCatalyst 与一类已有的模态补强方法 CoM 对比：CoM 只带来 0 到 3 个百分点，OmniCatalyst 提升 5 到 7 个百分点，显著性 p<0.001。音频子任务上的差距更清楚，同一批四款模型上 Self-CoT 提升 0.4 到 4.3 点，OmniCatalyst 提升 5.1 到 13.4 点，其中 gemma-4-e4b-it 加 13.4、gemma-4-e2b-it 加 11.2、Qwen2.5-Omni-7B 加 5.1、Qwen2.5-Omni-3B 加 5.8。如果再加一个只训练感知部分的变体，比纯推理版本还能再高 2.8 个百分点 Omni Knows More。

这些数字有一个引用边界要守住。摘要里的 +7.29% 是全篇汇总，主结果只展开 5 款模型，即 OneLLM、gemma-4-e2b-it、gemma-4-e4b-it、Qwen2.5-Omni-3B 和 Qwen2.5-Omni-7B，补充材料里另有几款模型，不能把这个平均值平摊到所有模型头上。

更值得注意的是提升落在哪个方向。论文把 baseline、已有方法和 OmniCatalyst 投到以模态偏好平衡为横轴、准确率为纵轴的平面上，音频描述把 baseline 从 35% 一带推向右上方，准确率约提升 8 个点，偏好平衡约提升 10 个点，指向的正是用真值音频描述算出的上界所在的方向。

图注：左、中两个 panel 分别是 Video 与 Audio 模态上的 TMA 与注意力分布；右侧 panel 把 baseline、Self-CoT、OmniCatalyst 的单/双 pass 音频描述以及真值音频 oracle 投到（模态偏好平衡，准确率）平面上，自生成音频描述把 baseline 推向 oracle 一侧 Omni Knows More

这说明提升不是刷单个指标，而是同时动了性能和模态平衡两条。付出的代价是每次要多生成一段描述，论文另外给了 single-pass 变体来压缩这部分开销。

它修好的是“答得出”，没修的是“为什么天生偏向文本”

这篇论文的诊断是稳的、修法是实用的，但它修好的是“能不能答出来”，并没有回答“模型为什么系统性地偏向文本”。论文自己承认，模态失衡的根因没有解决，可能来源有三类：架构以 LLM 为中心、多模态预训练数据的分布、以及异质表征之间的对齐困难。实验范围也只覆盖当前这些模型支持的模态；触觉、深度、嗅觉等模态只在“TMA 与 OmniCatalyst 是 modality-agnostic 的、可向外扩展”这一论证里被提到，并没有实测。自生成描述本身是否引入新的偏置，论文没有系统量化；论文末尾声明的代码仓库 URL 当前也不可达，复现性有待观察。

把这篇工作放回更大的谱系会更清楚它的位置。同一现象在 CLIP 上早就被命名：有工作发现在 CLIP 文本编码器的中间层确实存在否定语义的区分，但最终层为了对齐图像把这个结构压平了，称为表征塌缩；它的修法是冻结整个 CLIP，外挂两个轻量模块，把否定信号重新注入最终层表示 PeakPatch。

图注：冻结的 CLIP 文本编码器被切出 anchor、compositional peak、final 三层表征；ECN 从 compositional peak 抽取信号并预测偏差向量叠加到 final 层 embedding，SCN 再对余弦相似度做有界标量修正，两个模块联合训练而主干完全冻结 PeakPatch

这是两条不同的修补路线：一条是外挂网络给编码器打补丁，另一条是让模型自己写一段文本当新通道。它们都不改 backbone，也不微调，但诊断对象和修补手段都不同，其中一条是 CLIP 上的工作，另一条面向全模态模型。论文真正的主张不是“再多接一个模态就更强”，而是全模态能力取决于模型能不能跨模态用上信息。它交出了诊断工具和一个轻量修补，把“为什么天生偏向文本”留成了开放问题。

想深入可以读原文：Omni-Modal LLMs Know More Than They Say，arXiv:2610.16135

参考文献

Omni-Modal LLMs Know More Than They Say（锚论文）：arXiv:2610.16135
From Specific-MLLMs to Omni-MLLMs: A Survey on MLLMs Aligned with Multi-modalities：arXiv:2412.11694
Probing Multimodal Large Language Models for Global and Local Semantic Representations：arXiv:2402.17304
XModBench: Benchmarking Cross-Modal Capabilities and Consistency in Omni-Language Models：arXiv:2510.15148
What CLIP Knows but Cannot Say: Recovering Negation from Frozen Intermediate Features：arXiv:2607.23271
How Visual Representations Map to Language Feature Space in Multimodal LLMs：arXiv:2506.11976