BloomBloom
发起研究

LimiX-2：从预测标签换成建模数据生成机制，三大表格基准全第一

如果有人告诉你，过去五年结构化数据（表格数据）上最强的学习范式一直在做一件错事，你会怎么想？

这件事就是「把表格学习的目标定成预测标签 p(y|x, D_context)」。TabPFN v1（ICLR 2023）把这套范式推到 1000 样本 / 100 特征 / 10 类；TabPFN v2（Nature 2025）推到 10K / 500 / 10；TabPFN-2.5（2025-11）进一步推到 50K / 2K。每一次，监督学习的目标形态「预测 y」都被原封不动地继承下来。 TabPFN

LimiX-2（arXiv 2609.17488，Stable AI 与清华大学联合发布，2026-09-15 v1）做的就是把这一行公式改了。它不再让模型去猜 y，而是让它去学整个数据生成的机制：p(x, y | D_context)。这一行公式改动让同一个模型能统一处理分类、回归、缺失值填补，甚至从特征注意力里自然得到因果骨架。它在 TabArena（Elo 1935）、TALENT（Elo 1506）、BCCO（Elo 1432）三个性质完全不同的公开基准上同时排第一，并在 6 个因果骨架恢复数据集上均值 F1 0.7972 全部第一 LimiX-2 而非 p(y|x, D_context)，在 TabArena (Elo 1935)、TALENT (Elo 1506)、BCCO (Elo 1432) 三个公开基准同时位列第一。") LimiX

整篇解读围绕一条主线展开：传统 PFN 把目标定成「预测 y」，这条路线走到天花板；LimiX-2 换学习目标、用一个 24 层 dual-axis Transformer 把它实现出来，并在三基准上同时拿下第一名、还顺带捞出一个意外的因果副产品。 PFN

传统 PFN 的天花板：把目标定成「预测 y」到底丢了什么

先看清「预测 y」这条路线长什么样。Müller 等人在 ICLR 2022 提出的 Prior-data Fitted Networks（PFN）框架 PFN 原始概念 给出了最直观的三步流程：先从一个先验里采样海量合成数据集，再用这些数据集训练一个 Transformer，最后把真实数据集连同测试点一起塞进同一个 Transformer、一次前向就近似 Bayesian 推理。

图注：PFN 范式三步总览——从先验中采样合成数据集、训练 PFN、推理时把真实数据集与测试点一起送入模型做单次前向近似 Bayesian 推理。来源：Müller et al., ICLR 2022。

这条范式落到表格上就是 Tabular PFN。TabPFN v1（ICLR 2023）首次把 PFN 推到 tabular 分类，能力上限是 1k 样本 / 100 特征 / 10 类 TabPFN v1。TabPFN v2（Nature 2025）把这套范式推到它的成熟形态：

图注：TabPFN v2 架构总览——(a) 预训练循环与推理流程：合成表 → TabPFN → 训练损失；(b) 12 层 2D Transformer 块，每层依次做 1D feature attention → 1D sample attention → MLP，最后通过 Bézier 输出分布。来源：Hollmann et al., Nature 2025 TabPFN v2.

TabPFN v2 把能力上限推到 10K 样本 / 500 特征 / 10 类，论文明确写「在这个范围之外请用 CatBoost / XGBoost / AutoGluon」 TabPFN v2. 论文还报告了 5,140× / 3,000× 的速度优势——一次默认前向 2.8 秒就能打过调了 4 小时的 GBDT。

问题就出在这条范式的组织原则上：它从头到尾围绕的是「把测试点的 y 预测对」。模型只对 y 列做监督，特征 x 只是它的输入。表格里那些列与列之间的依赖结构、那些数据是怎么被生成的，对模型来说完全不可见。

TabPFN-2.5（2025-11）把样本量推到 50K / 2K，能力上限又向前迈了一步，但它修的还是同一件事——怎么把「预测 y」做对、做快、做稳 TabPFN-2.5. 真正卡住这条路线继续向前走的天花板，不是算力、不是数据，而是学习目标本身。

到这里，张力立起来了：传统 PFN 的能力上限与组织原则被「只对 y 做监督」这件事本身锁死——这是 LimiX-2 后面要破解的边界。

一行公式改动：从 p(y|x, D) 到 p(x, y | D)

LimiX-2 做的事情看上去像一行公式的微调，实际上是组织原则的切换。

传统 PFN 的学习目标是：

p(y | x, D_context)

给定上下文 D 与查询点的特征 x，预测标签 y。模型只学「从 x 到 y」的映射，x 本身、x 与 x 之间的依赖、x 是怎么被生成的——这一切都被丢掉了。

LimiX-2 的 Contextual Mechanism Networks（CMN）范式把它换成：

p(x, y | D_context)

给定上下文 D，估计整个数据生成机制——包括所有特征、所有变量、它们之间的联合依赖结构 LimiX-2. y 只是这个联合分布里「最值得被预测的一个变量」，监督预测是机制建模的一个特例——把不关心的特征 mask 掉、把预测对象限制到 y 上，就回到了 p(y|x, D)。

这一行公式改动带来的是硬收益：同一个条件接口能统一分类、回归、缺失值填补、因果骨架恢复四类看起来完全不同的任务。给一段上下文 D，模型既可以问「这个测试点的 y 是多少」（分类 / 回归），也可以问「这个被遮住的特征 x_j 该填什么值」（缺失值填补），还可以问「哪些特征对这个变量有直接因果影响」（因果骨架恢复）。所有任务共享同一个预训练目标 CCMM，不需要为每类任务额外接一个 head。

为什么这个改动重要？举一个具体场景。想象一张金融风控表，里面有年龄、收入、负债比、申请金额、是否违约、是否已婚、是否有房产。传统 PFN 看到这张表，只学会「从一堆特征预测是否违约」。它不知道年龄和收入之间有相关性、不知道负债比和申请金额之间有因果链、不知道是否已婚和是否违约之间没什么直接关系。LimiX-2 学的是「这张表是怎么被生成的」——所有变量之间的依赖结构都在它的视野里。当下游任务要预测 y，它能预测；当 y 列有几个 cell 缺失，它也能填补；当业务方想知道「哪些特征对违约有直接因果影响」，它能从自己的注意力里捞出来。

但只换一行公式不会自己跑通——下一章要看 LimiX-2 怎么用一个 24 层 dual-axis Transformer + 一个 CCMM 预训练目标把它在硬件上做出来。

怎么把这件事做出来：CMN 架构、CCMM 预训练、SCM 5 阶段数据

这一章是论文最硬核的部分。LimiX-2 用三件东西把上一章的「换目标」真正落地：cell-level 表示 + K=4 task slot 的双通路架构、CCMM 预训练目标、SCM 5 阶段合成数据引擎。

架构：cell-level 表示 + K=4 task slot + dual-axis attention

先看整体架构：

图注：LimiX-2 整体架构——特征用 MLP 编码、缺失 cell 用共享可学习向量占位、目标被编码进 K=4 个 embedding slot；每个 block 依次做 sample-axis attention、独立 SwiGLU、非对称 feature-axis attention；浅层特征用于掩码特征重建，最后一层 task embedding 用于分类与回归。来源：LimiX-2 Fig. 2 LimiX-2.

这张图传达的第一个关键信息是 cell-level 表示：表格里的每个 cell 都被独立编码成自己的向量，行级信息不被压缩进一个固定向量。这件事看起来不显眼，其实是后面所有「能产出特征注意力做因果恢复」的物质前提——只有 cell 级别表征，模型才能对每个特征单独 query 它的重要性。

第二个关键信息是 K=4 task slot。目标 y 被编码成 4 个 embedding slot（每个维度 d=256），外加一个 task-type embedding 加在所有 4 个 slot 上。这条 task 通路和 feature 通路在架构上是分开的——目标端不挤进特征 token 流。为什么要单独一条通路？因为「机制建模」需要模型既能看到特征之间的关系，也要让目标的预测有自己独立的表达空间，两者用同一条 token 流会互相干扰。

第三个关键信息是 dual-axis attention 中的非对称性。每个 transformer block 依次做：先在 sample 维度上做 attention（让同一特征跨样本聚合信息）→ 然后经过独立的 SwiGLU FFN → 再做 feature 维度的 attention（让同一行跨特征聚合信息）。这里的非对称性体现在：feature 维度的 Q/K/V 既能看到特征 token，也能看到 task token；但 task 维度的 Q/K/V 只看特征 token、不看 task token LimiX-2. 这一不对称显式编码「特征解释目标、目标不解释特征」这一关系——因果方向。 LimiX-2M

整个主干是 24 个这样的 block 堆叠（d=256, M=24），列标识用低秩 DFE（discriminative feature encoding, s=d/4）让模型能区分每一列的语义角色。

CCMM 预训练目标：context-conditional 跨变量跨样本重建

CCMM（Context-Conditional Masked Modeling）是这套架构的统一预训练接口。它和 BERT-style MLM 听起来很像，差在哪里？

BERT 的 MLM 是「在同一个序列里 mask 一些 token、让模型根据上下文（被 mask token 的前后文）重建被 mask 的部分」。LimiX-2 的 CCMM 不是这种「上下文来自同一个句子里」的隐式适应——它把上下文做成了显式的非参数记忆。每个训练 episode 把一张合成表分成两部分：context 行（I_ct）和 query 行（I_te）。模型用 context 行作为条件，去重建 query 行中被 mask 的特征 cell，同时也预测 query 行的标签 y。关键约束是：query 行只 attend context 行，context 行的表示计算完全不接触 query 行 LimiX-2. 这种「context 是 inference 阶段可直接查询的非参数记忆」的设计，让同一个模型在不同数据集上能自动 per-dataset 校准，不需要梯度。

CCMM 把三种任务统一到同一个目标里：分类就是预测 query 行的 y（交叉熵 over C 个类）；回归也是预测 y，但目标区间被切成 B=5000 个有序 bin（ordered bins），模型预测每个 bin 的概率再取期望值 LimiX-2. 掩码特征重建则是预测被遮住的特征 cell。三者共享同一个条件接口，唯一的区别只是输出头。

为了让模型见过足够多样的观察模式，LimiX-2 用三种 mask scheme 交替采样——per-cell（随机遮单个 cell）、per-column（整列一起遮）、block（局部矩形块遮）——并把 mask ratio 控制在 [0.1, 0.4] 之间。

SCM 5 阶段合成数据：让模型见过足够多样的「数据是怎么被生成的」

CCMM 需要预训练数据。这些数据从哪里来？LimiX-2 用一个结构因果模型（SCM）合成数据引擎批量生成。

图注：LimiX-2 的 SCM 5 阶段合成数据流程——超参采样 → DAG 生成（含 causal motifs 与拓扑约束变换）→ SCM 函数机制传播 → 特征 / 目标采样 → 任务适配。来源：LimiX-2 Fig. 3 LimiX-2.

5 个阶段做的是：

  1. 超参采样：采样任务规模、连续 / 离散特征数量、任务类型、训练 / 测试位置等元参数。每个超参从一个随机选中的分布（normal / uniform / beta）里采样，避免合成任务在某个超参维度上聚团。
  2. DAG 生成：用 causal motifs（chain / confounding / collider）递归拼接出一个有向无环图，再用拓扑约束的随机变换（边重定向、局部路径替换、节点变换）保证图的多样性且不破坏无环性。
  3. SCM 函数机制传播：根节点值采样后，按 DAG 沿边函数 + 聚合函数 + 噪声传播。LimiX-2 在 LimiX 基础上扩展了边函数集，加入 linear / kernel / piecewise / periodic / multiplicative 等更多机制类型 LimiX-2.
  4. 特征 / 目标采样：从图里挑出哪些节点作为特征 F、哪些作为目标 T，挑法是一个多目标选择机制，避免任务集合分布偏斜。
  5. 任务适配：对合成数据做观测变换（线性缩放、单调非线性、log、exp、复合算子），分类任务做随机离散化（控制类别数与频率分布），回归任务做尺度 / 偏度 / 尾部调整。

这条流水线是 LimiX 自身 hierarchical SCM 的扩展。LimiX 2025 的合成数据是 3 阶段（DAG generation → data sampling → task adaptation）LimiX. LimiX-2 把它扩展到 5 阶段，加了超参采样、causal motifs 递归、拓扑约束变换、更多函数机制。其谱系上游是 TabPFN v2 的 4 步 SCM-based prior TabPFN v2——LimiX-2 的 F/T sampling、connection-type taxonomy、post-processing 都能溯源到那里。

到此为止，「换学习目标」这件事真正落地了。架构上有了 cell-level 表示 + K=4 task slot + dual-axis attention 把 p(x, y | D) 在硬件上拆开；预训练上有了 CCMM 把分类 / 回归 / 缺失值填补统一到一个条件接口；数据上有了 SCM 5 阶段引擎喂饱它。下一章看这套组合在三个性质完全不同的基准上跑出了什么数字。

三基准实测：LimiX-2 在哪里赢，赢多少

LimiX-2 在三个性质完全不同的公开基准上同时拿到第一。先看头条结果：

图注：LimiX-2 在 TabArena（Elo 1935）、TALENT（Elo 1506）、BCCO（Elo 1432）三个基准上同时排第一，击败所有对比的 tabular foundation models 与 AutoGluon 1.6。条端标签为 Elo 点估计，阴影区为 95% bootstrap 置信区间。来源：LimiX-2 Fig. 1 LimiX-2.

TabArena：living benchmark 上的 #1

TabArena 是一个「living benchmark」——1053 个候选数据集经过手工策展筛选出 51 个真实世界表格任务，评估 16 个模型做 2500 万次运行，用 Elo 评分（Random Forest = 1000）做排名 TabArena. LimiX-2 在这里拿到 Elo 1935 排第一，比 TabFM+（Elo 1818）领先 117 Elo，比 TabPFN-3（Elo 1632）领先 303 Elo，比前代 LimiX-16M（Elo 1345）领先 590 Elo LimiX-2. 在分类子集（38 数据集）Elo 1917；在回归子集（13 数据集）Elo 2206，比 AutoGluon 1.6 NC 4h（Elo 2060）领先 146 Elo。

TALENT：传统深度学习基准上的 #1

TALENT 是南京大学 LAMDA 实验室维护的工具箱基准，涵盖 300+ 个数据集与 35+ 个深度学习方法 TALENT. LimiX-2 用 288 个数据集（300 减掉 12 个 >10 类的）拿到 Elo 1506 排第一 LimiX-2. 分类 Elo 1475（领先 TabFM 26 Elo）；回归 Elo 1584（领先 AutoGluon 1.6 EX 4h 3 Elo）；二元分类 Elo 1455；多分类 Elo 1520。三个细分上 Elo 都是第一。

BCCO：含缺失值的真实基准上的 #1

BCCO（Balanced Comprehensive Challenging Omni-domain）由 LimiX 团队自建，含 BCCO-CLS 106 个分类数据集与 BCCO-REG 50 个回归数据集，特点是约三分之一的数据集含缺失值、特征数与样本数覆盖范围宽 LimiX. LimiX-2 拿到 Elo 1432 排第一，领先 AutoGluon 1.6 EX 4h 56 Elo、领先 TabFM 63 Elo、领先前代 LimiX-16M 202 Elo LimiX-2. 分类 Elo 1321；回归 Elo 1859（领先 TabPFN-3 168 Elo）。

这三个基准的共同特点是：它们的对比池里都同时包含了 tabular foundation models（TabFM+、TabFM、TabPFN-3、TabICLv2、LimiX-16M）与 AutoGluon 1.6 这种走 4 小时 tuning 的工业级 baseline。LimiX-2 在三类对手面前全部胜出，说明这一行公式改动带来的提升不是「刷了一个榜」，而是在「广」与「深」两侧都覆盖到了。

数字读完，自然会问：三个基准都赢了，然后呢？LimiX-2 还有一项论文作者自己也没完全预料到的副产品。

意外副产品：特征注意力为什么能恢复因果骨架，剩下的事

LimiX-2 在三基准 Elo 上同时拿第一已经是答案了。然而论文作者设计实验做 probing 时发现：因为 cell-level 表示让模型能对每个特征单独 query 重要性，feature attention 天然编码了变量间的直接因果父子关系。

图注：同 CMN 框架下 attention 路由的对比——(a) 生成数据集的 DAG 节点关系；(b) 旧路由（FSN，Feature → Sample → FFN）下目标 y 对其它特征的注意力热图，被 self-attention 主导、对角线显著强；(c) 新路由（SNF，Sample → FFN → Feature）下注意力明显转向目标 y 的直接父节点。来源：LimiX-2M Fig. 2 LimiX-2M.

这张图说明一件事：在 CMN 的 cell-level 表示下，只要注意力能跨列 query，attention 模式就会自然偏向直接因果节点——它会向 DAG 上的直接父节点集中，而不是被 self-attention 主导。LimiX-2 把这套机制做了一次系统化的 probing 评测：在 6 个公开因果骨架恢复数据集（Sachs、UF、CausalChamber、PATHFINDER、DIABETES、PIGS）上跑一个简单协议——把每个特征轮流当作预测目标、阈值化 feature attention、计算骨架 F1 与 SHD（结构汉明距离）。

结果是 6 个数据集上骨架 F1 全部第一、均值 0.7972；5 个数据集上 SHD 最低 LimiX-2. 对比基线涵盖传统因果发现算法（PC、GES、NOTEARS-MLP、LiNGAM、DAG-GNN）、专门设计的因果基础模型（AVICI、TabCausal）、用 gain-based importance 的 XGBoost、以及同样基于 cell-level 表征的表格 FM（TabPFN-3、TabICLv2、TabFM）。第二名 EXAONE Tabular 的 F1 均值只有 0.6591。

论文作者明确把这件事定位为「probing experiment」，而非「LimiX-2 是因果发现算法」。这两件事差得很远：LimiX-2 的副产品是从机制建模里自然涌现出来的注意力模式，而不是专门为因果发现设计的算法。它告诉你「学习 p(x, y | D) 比学习 p(y|x, D) 能意外产出原本不是目标的能力」——这才是 CMN 范式最有想象力的部分。

局限与位置

LimiX-2 不是终点。

论文自己列出的局限很实在：缩放定律的拟合只在 12.5M–406.2M 参数范围内，2B 参数的 Elo 是 OLS 外推的预测，不是实测 LimiX-2. SCM 5 阶段的假设覆盖性（motif 集合、函数机制、观测变换）有边界，超出 motif 集合的真实因果结构可能不能被学到。LimiX-2 当前是 v1 preprint（TeX class 是 colm2024_conference.sty，但无会议接收确认；DOI 还在 DataCite 注册中）。

放在更长的图景里看，LimiX-2 是 2026-09 tabular foundation model 这场赛跑里，第一次把组织原则从「预测 y」切到「建模机制」的系统化代表。同期的 PFN 系（TabPFN-2.5、TabPFN-3）还在把 p(y|x, D) 这条路往更大参数、更多数据的方向推 TabPFN-2.5. LimiX-2 走的是另一条路——它不是「又一个更强的模型」，而是把「学习目标」这件事换掉，让同一个模型在分类 / 回归 / 缺失值填补 / 因果副产品四个能力上同时跑赢。这条路线的下一个问题自然是：当参数继续往上走、SCM 引擎继续扩展、CMN 范式继续被推到更大规模时，机制建模这条路还能不能继续向前？ 这是 CMN 范式向更大参数与更多任务扩展的开端。

想深入可以读原文：LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence — arXiv:2609.17488

参考文献

LimiX-2：从预测标签换成建模数据生成机制，三大表格基准全第一