前馈 3D 预测已经很准，为什么还当不了 SLAM 后端能反复用的约束？

前馈几何预测的「准」和「能被 SLAM 后端长期消费」是两件不同的事。前者衡量的是某一次调用在它自己的坐标系内部是否自洽，后者要求这份输出能被别的测量一起反复重加权。VGGT 这类模型缺的从来不是精度，而是三样东西：度量尺度、跨帧身份，以及一个下游能拿去否决它的置信度。

一次前向的几何自带三处缺口：没有度量尺度、没有跨帧身份、没有可被否决的置信度

VGGT 的一次前向输出一整组几何量：相机参数（旋转四元数、平移、视场角）、深度图、点图，还有供点跟踪用的稠密特征。有个容易被摘要带走味的细节：摘要里写的「3D point tracks」在正文里落地成稠密跟踪特征加跨帧 2D 对应，那组 2D 对应由一个独立的跟踪模块算出来，transformer 本身不直接吐轨迹VGGT。

图注：一次调用从左向右走完整个主干，最后分成两路输出头：一路给出相机位姿与内参，另一路给出深度图、点图与跟踪特征。流程到输出头就结束了，后面没有任何节点能拒绝或修正这些结果。图里这只说明输出形态，不代表输出带米制刻度，也不代表存在跨帧持久身份或置信度门控。VGGT

尺度这一处缺口是模型自己承认的。原文在「Ground Truth Coordinate Normalization」一节里把话说得很直：把整个场景缩放一下、或者换一个全局参考系，图像一模一样，所以任何一种缩放都是合法的重建结果；作者的处置是按训练数据算出一个规范尺度（所有 3D 点到原点的平均欧氏距离），然后让网络去学这个特定的变体。论文本身没有使用 metric scale（度量尺度）这个说法，这是对那一节的解读，但结论清楚：尺度歧义是被规范化消掉的，不是被物理量锚定的。作为旁证，它的点图评测也是先用 Umeyama 算法把预测对齐到真值再算指标，这个口径本身就不要求两者在绝对尺度上一致。

第二处缺口是参考系与帧间身份。原文规定相机、点图、深度图都表达在本次输入序列第一张图的坐标系里，第一张图的外参设为单位矩阵；另一句是跨帧关系只在特征主干内部处理，稠密头逐帧独立预测。把这两句接起来，后果很直接：参考系由本次调用的第一张图决定，两次调用之间不共享原点。每次调用都像重新设了一个原点，上一批预测和这一批落在不同的坐标系里，没法当成在同一个房间里量的东西放一起比。

第三处缺口是置信度。这一点常被忽略，因为模型其实输出过类似的东西：VGGT 除深度图与点图外还给出各自的 aleatoric 不确定性图。但在它的输出契约里，这些数字只是附带量，没有任何下游节点能据此把一条预测退回。缺的不是「有没有置信度」，而是「这份置信度能不能被后端拿来行使否决权」。

这条范式的起点在 DUSt3R。它把「先标定、再三角化」改写成一件事：网络输入两张图，直接回归两张点图，两张都表达在第一张图的坐标系里，点图与像素一一对应，深度直接取 z 坐标。作者的原话是这些点图被回归到未知尺度因子，而且不必然对应任何物理上合理的相机模型；多视图也不是一次前向，超过两张图要另做一次全局对齐，那个优化里每条边带一个尺度，只用乘积为 1 排除平凡解，全局尺度仍然自由DUSt3R

社区给这类方法定过一个标准边界，叫严格前馈设定：单次前向完成重建，不做逐场景的梯度优化、也不做测试时微调。要注意的是，这份综述对 SfM 与 SLAM 这一族的覆盖止于 2025 年的代表作，2026 年 8 至 10 月出现的那批工作不在它视野内，所以它只能当作术语坐标，不能当作水平刻度。它里面有一句更值得记住的话：移除输入标定只是把负担转移到坐标系选择与跨视图对齐上，而不是消除它，尺度与坐标约定仍然是解释输出的前提FF3D Survey。

前两处缺口来自输出形态，第三处取决于后端有没有地方安放它。

能被后端反复消费的才叫测量：一个因子就是对共享状态的一次带权残差

能被后端反复消费的东西有一个很具体的形状：它对一组共享状态做一次带权测量，并给出残差；只要它进了同一个优化器，就能和别的测量一起被重新加权。判断一个「前馈 + SLAM」系统是真融合还是假融合，第一把尺子就是这个。

先把因子（factor）这个词落成大白话：因子就是一条约束声明，它说「这几个变量之间应该满足某种关系，而我有多确定这个关系」。它由三部分构成，一组被约束的共享变量、一个衡量当前估计偏离测量多少的残差、一个说明这条测量有多可信的权重。三样凑齐、并且和别的因子放进同一个求解器，这条测量才算真的进了后端。

DROID-SLAM 提供了一个可以照着看的心智模型。它的状态量就是逐帧位姿与逐像素逆深度，两者都是待求变量，随新帧到来被反复迭代。网络部分不直接预测位姿或深度，而是预测稠密的流修正量与置信度图；修正后的对应场进入稠密 BA（dense bundle adjustment）的代价函数，误差按预测置信度加权，权重矩阵就是置信度的对角阵，也就是一条测量的置信度直接变成了它的信息矩阵。求解用 Gauss-Newton，因为每项只含单个深度变量，Hessian 呈块对角，可以用 Schur 补高效解DROID-SLAM。

图注：中间的循环单元只负责预测对应场的修正量和两个残差分量各自的置信度，绿色模块把修正后的对应场与置信度一起折算成残差与权重矩阵，再回授给位姿与逐像素深度这两路状态。右边的乘号表示这套算子在帧图的每条边上重复。DROID-SLAM

这里有一处需要说准：DROID-SLAM 不是前馈几何方法，它在测试时仍在迭代优化，状态量是逐帧逆深度图而不是跨帧共享的地标。它提供的是结构上的同构，也就是「测量进同一个优化器、带残差与权重、可被联合精修」这件事长什么样。整个东西在数学上就是一个带权最小二乘项，它和其他项共享同一组待优化变量，所以优化器可以在求解时同时调整所有项，而不是先定死一部分、再拿剩下的去凑。

权重从哪来也值得记住：网络预测的置信度直接成为残差的 Mahalanobis 权重矩阵，「这条测量有多可信」不是事后人工调的常数，而是随预测一起进来的数据。同一套残差形式换个测量来源就能复用，原因就在这里。

局部测量为什么会累积漂移，原因就藏在「共享变量」这四个字里。只约束相邻帧的测量，误差会被局部优化吸收成一个自洽的错误解，越走越偏却没有哪一项站出来指出它错了。MASt3R-SLAM 的作者把这个现象写进了自己的论文：MASt3R 的输出仍然带偏差并导致漂移，各组件就是为了缓解这一点而设计的；局限一节又承认，他们目前并没有在全局优化里精修全部几何MASt3R-SLAM。

对 MASt3R-SLAM 也要给出准确的描述：它的后端并不是「没有优化器」，而是在相似变换（Sim(3)）位姿图上做二阶优化，只是稠密几何本身不是优化变量、匹配也完全依赖网络输出、不被位姿修正。准确的说法是「预测作为外部几何状态进入一个位姿级后端」。这个区别正是下面一章要展开的对照。

事后对齐与融合确实用上了预测，但修正只施加一次，后端再也改不动它

事后对齐与融合这一族确实把前馈预测用上了，但预测留在优化器之外，修正只被施加一次，后端再没有变量能跟后续证据一起把它重新加权或否决。这不是「这些方法错了」，而是它们把预测放在了后端够不着的地方。

VGGT-SLAM 2.0 是这一范式在 2026 年初最成熟的形态。它的因子图里每个关键帧是一个节点，边分两类：子图内部的边只带非单位旋转与平移，子图之间的边只带仿射与尺度变量，节点统一放在 SL(4) 流形上优化；回环则由两帧单独构成一个子图。未标定内参原本带来 15 个自由度的重建歧义，2.0 的换法是靠重叠帧按构造必须同标定这一点把高维约束收紧，最终只解一个尺度因子，那个因子取的是两片点云对应 3D 点距离比值的中位数VGGT-SLAM 2.0

图注：图里节点是相机关键帧而不是共享地标，橙色虚线框把节点划成若干子图，粉色虚线框是由两帧构成的回环子图；图例区分子图内边与子图间边，两类边各自只带部分自由度。这张图说明的是子图之间靠图上关系拼接，不代表尺度已经恢复成真实物理尺度。VGGT-SLAM 2.0

关键在于它自己怎么描述目标：论文写的是恢复场景的真实几何，但带有相似变换歧义，因为并不估计真实场景尺度。高维漂移被消除了，相似变换层面的尺度歧义还在。这正是「修正只施加一次」的具体后果。子图一旦对齐完成，后续证据就找不到一个变量能把这次对齐重新撬开。

解耦式变体把这个特点暴露得更干净。ScaRF-SLAM 的做法是位姿完全交给经典特征法 SLAM，前馈几何模型只负责输出深度，两者唯一的交汇点是每帧或每子图的一个尺度修正标量，以及全局地图更新ScaRF-SLAM。

图注：位姿只从左侧的 SLAM 模块进入，深度只从中间的前馈模块流出，两条路唯一的合并点是帧级与子图级的尺度修正，最后汇到全局地图更新；SLAM 模块另有一条闭环轨迹直接进入地图更新。这张图是「预测留在优化器之外」的结构性证据，图里并没有画出因子图内的位姿与深度联合优化。ScaRF-SLAM

这份论文里有一句几乎可以直接当判据用的话：前馈模型输出的深度更适合被称作先验（prior），而不是测量（measurement）；这条解耦路线还走完了同行评审。

有两个边界案例必须和上面这一类分开。MASt3R-Fusion 的相似变换视觉约束是以二次型因子的形式待在同一个优化器里的，与惯性、卫星测量一起被联合求解，不能和「事后对齐」混为一类MASt3R-Fusion；而 MASt3R-SLAM 作为这条系统骨架的历史起点，准确表述是预测作为外部几何状态进入一个位姿级后端，几何未被联合精修。

把三种放法并排看一次，「预测去哪」这件事的差别就很直观了：

图注：三行对照：上行为传统稠密 SLAM 的逐帧局部测量，中行为基础模型方法先重建子图再对齐，下行为 F²SLAM 把高频跟踪与低频前馈几何同时写进一张持久稠密因子图。右下小图里的位姿误差是 TUM RGB-D 上论文自报的数值，既不能当作其他数据集的数字，也不是跨论文可比的结论。F²SLAM

把预测变成持久因子要过三关：尺度有出处、误差有大小、测量能被刷新或否决

把上面这一整条线索压成可以搬走的检查表，就是三个问题：这个系统的尺度从哪来、预测带不带可被后端使用的可信度、测量能不能被跨帧刷新或否决。任何人拿到一个「前馈 + SLAM」系统，问完这三句就能判断它是真融合还是假融合。

先看尺度这一关，它是最容易被含糊带过的一关。同一个场景上不同方法给出的全局尺度确实各不相同，这个不一致可以直接看见：

图注：同一序列上几个方法重建结果的侧视与俯视对比，图注给出其中两个方法各自拟合出的全局尺度为 1.105 与 1.111。这两个数是全局拟合尺度因子，不是误差百分比，也不是「偏离真实尺度 10%」这种结论；它直观说明的是，不做物理测量时各方法的尺度彼此不一致。FoundationVIO

尺度可以怎么来，目前能数出四条路径，各自买到的东西和代价不同。

除依赖学习式度量深度先验的概率化路径（它声称能给出度量尺度，但这一声称有其口径限制）外，其余不靠物理测量的路径拿到的都只是相对尺度。相似变换（Sim(3)）比刚体变换（SE(3)）多一个整体缩放自由度，前者允许整体缩放、后者不允许；这一点也是后面判断评测口径的关键。

走相似变换统一优化这条路线的代表是 UniSim-SLAM，它把不同视数、不同局部坐标系、不同尺度的预测统一到同一张 Sim(3) 多层因子图上UniSim-SLAM。

图注：三层节点分别是子图局部位姿、全局关键帧位姿与全局子图位姿，五类彩色边标注了时序边、桥接边、锚定项、子图间 tie 与跨子图尺度一致项。图内没有残差公式与数值；其中尺度锚定项的量来自前馈深度图之间的比值，不是惯性或卫星这类物理量，所以它钉住的是相对尺度。UniSim-SLAM

第二关是不确定性，也就是预测带不带可被后端使用的可信度。这里有两条截然不同的思路，容易被混成一条。

一条是显式协方差建模：把「预测本身有误差」写成协方差，再让优化器按方差软性降权。Scalix 是这条思路的完整样本，它给深度网络额外加了两个头，一个输出全局尺度不确定度、一个输出逐像素深度不确定度，因为尺度是作用在所有像素上的全局量，逐像素误差其实是相关的，度量深度的协方差要按传播公式合成，最后因子图里每个残差的权重统一定义为协方差的逆Scalix

图注：深度估计模块除深度之外还输出尺度不确定度与逐像素深度不确定度，这两路不确定性被送到后端因子图，分别成为深度因子与尺度因子的权重；每个关键帧额外挂一个尺度状态，边缘化时位姿图扩展到七维的相对位姿与相对尺度。图内不含任何精度或耗时数字。Scalix

这里必须划一条概念边界：Scalix 的深度先验是单目度量深度网络，不是多视图前馈几何基础模型，不能并入「前馈几何 + SLAM」这一族。另一条思路是用当前状态做一致性检验，检验不过就整条拒绝，那是 F²SLAM 的门控，留到下一章展开。两条思路的区别在落点上：一条是给优化器一个权重让它自己掂量，一条是在测量进入优化器之前就拦下来。

第三关是可复用，问题先摆在这里：一条测量能不能被后端反复刷新或否决。答案在 F²SLAM 里。

F²SLAM：把预测写成优化器原生的带权测量，后端才否决得了它

F²SLAM 证明前馈预测可以被改造成优化器原生、带权重、可被门控否决或刷新的测量；它买到的是量级更小的轨迹误差，代价是不含回环，而尺度问题并没有被它解决。

数据结构是这套做法的地基。每条有向边存一个测量，里面只有两样东西：一个目标坐标和一个权重。目标坐标是源关键帧的某个像素在目标关键帧图像平面上的位置，单位是像素；权重是两个重投影残差分量各自的置信度，写成对角信息矩阵。有了这个形状，一条前馈预测就和 DROID 那一类局部测量长得一样，可以放进同一张图。

两条流的分工是这套设计的调度层面。高频跟踪流负责选关键帧、建立与维护图上的边、频繁刷新局部测量；低频多视图流只做一件事，就是在已经存在的活跃边上生成候选测量，它不新增边、不建独立子图、也不引入独立的优化状态。两条流的输出最后汇进同一张持久稠密因子图，由同一次稠密 BA 联合优化位姿、逆深度与可选内参。

图注：上方高频跟踪流负责选关键帧、维护图拓扑并频繁刷新局部测量，下方低频多视图流在已有边上用更宽的多视图上下文刷新测量、不新增边，两条流约束同一份持久几何状态，由单次稠密 BA 联合优化。图里没有给出阈值、参数量或帧率。F²SLAM

真正承重的是门控。一条低频候选测量不会直接覆盖旧测量，它先走一遍完整判定。

候选测量先算残差，像素若投影有效且置信度高于固定下限就进入 support 集，残差足够小则计为 inlier，随后统计 support 的平均置信度、support 比例、inlier 比例与 inlier 的平均重投影误差，合成一个接受分数。分数过线就整条替换旧测量、标上来源并加更新锁，此后在剩余生命周期内不被高频流覆盖；不过线就原样保留旧测量。这个过程可以反复发生，所以一条测量是被刷新或被否决的，而不是一锤定音。

门控到底有多承重，消融数字给了答案：把它去掉之后，轨迹误差从 0.0023 米劣化到 0.5848 米，差了约两个数量级。也就是说这套系统成立与否，完全取决于门控能不能正常工作。这也解释了前面那张对照图里「三种放法」的差别为什么重要，因为门控要求测量和当前几何状态共享同一组变量，才有资格做一致性检验。

定量结果与口径要一起看。在 Replica 的非标定设置下，F²SLAM 自报的平均轨迹误差是 0.002 米，同一张表里最强的前馈基线（作者自行复现的 VGGT-SLAM 2.0）是 0.030 米；这张表的所有轨迹都用 evo 做过相似变换对齐，所以尺度自由度是被指标本身吸收掉的，它不检验绝对尺度。作者自述的局限也一并交出：不包含显式回环，因此在 KITTI 这类长时程室外序列上受限，同一份报告里 KITTI 非标定平均轨迹误差仍达 30.18 米，与室内差了三个数量级。

轨迹之外，重建也有定性上的改善，说明评估维度不止位姿一个：

图注：代表性序列上的稠密重建定性对比，展示不同方法在连续性、缺失区域与伪影上的差别。这是定性图，不能从里面读出任何定量误差。F²SLAM

FoundationVIO：把尺度钉成状态变量用物理量锚死，两条路线的数字因此不可直接排名

物理测量路线买到的是可解释的度量尺度，代价是惯性传感器、标定与同步，而且精度会随所用前馈模型的质量波动；更关键的是，两条路线的数字必须统一口径后才能并列。

FoundationVIO 的核心是把尺度做成一个状态变量，而不是事后对齐出来的一个数。因子图里的变量分两组：逐帧的位姿、速度与惯性零偏，以及逐批次的对数尺度。三类因子在同一个优化器里共同约束这些变量，惯性预积分因子提供物理量、前馈位姿因子把尺度乘进平移残差、尺度一致性因子只管相邻批次之间的相对尺度比。

图注：上半部分是图像批次进入前馈模型得到尺度未定的位姿与点图，批次之间做相似变换对齐以求出相对尺度；下半部分的因子图里，三类颜色分别对应惯性预积分因子、前馈位姿因子与尺度一致性因子，状态量包含逐帧位姿、速度、零偏与逐批次的对数尺度。三种颜色只区分因子类型，不代表残差公式的每一项。FoundationVIO

这里有一层必须讲准，否则整条路线会被误读：绝对尺度不是被「直接测出来」的观测，而是被惯性预积分的物理量锚定的，前馈模型提供的是被缩放到该尺度上的几何约束。落到公式上是前馈位姿因子的平移残差里显式乘了这个批次尺度，与一个普通的相对位姿因子唯一的区别就是这一项，所以尺度不是事后对进来的，而是残差本身的一项；而真正把绝对尺度钉死的是惯性预积分那一项，它与位姿因子共享同一批位姿变量，一起被求解。相对尺度那一部分，则来自相邻批次重叠图之间置信度加权的对齐，它本身是相对量，定不了绝对尺度。

一个容易被漏掉的角色差异：在这套系统里，前馈模型的置信度图只被用于对齐和平滑过滤，预测进入因子图时并不携带置信度权重。也就是说它这条路线解决的是尺度，而不是可信度，与上一章那两条不确定性思路正好构成对照。

轨迹层面对比时有一个公平性处理值得留意，用于视觉惯性初始化的离群位姿是被移除之后再比较的：

图注：多个序列上几个方法的里程计与 SLAM 轨迹对比，黑点标出各序列起点；其中一个用于视觉惯性初始化的方法，其离群位姿在比较前被移除。这是定性图，不能读出定量误差，也不能据此判定某个方法全面更优。FoundationVIO

两条路线放在同一把尺子上，差异不在谁更准，而在测的根本不是同一件事。

核心判断句只有一句：F²SLAM 那张表经相似变换对齐，不检验绝对尺度；FoundationVIO 那张表只对尺度未定的方法用相似变换对齐，对其余方法（含它自己）用刚体对齐，因此检验绝对尺度。所以「F²SLAM 比 FoundationVIO 高一个量级」这种写法是错的，两张表检验的不是同一件事，只有逐项对齐口径之后才能并列。

诚实校准也要一并给出。FoundationVIO 没有报告独立的绝对尺度误差指标，重建评估按固定轨迹长度分块做最佳拟合再加上精配准，这会吸收掉一部分全局尺度偏差；所以「恢复了度量尺度」这句话更严格的说法是「在刚体对齐口径下给出度量一致的轨迹与重建」。同类边界还包括：VGGT-SLAM 2.0 只做到相似变换一致性，不恢复度量尺度；UniSim-SLAM 的评测本身经相似变换对齐，同样不检验绝对尺度；Scalix 篇幅很短，深度先验也不是多视图前馈基础模型；F²SLAM 的仓库目前只有一份说明文件。

最后做一次术语校准，这一条直接影响引用时的写法。「持久因子」与「带权测量」是 F²SLAM 自造或沿用稠密 BA 传统的一组说法，不是社区通用术语。一份 67 页、数百篇参考文献的社区级综述在它的两个版本里从未出现过这个词，它在这一带用的是持久状态与严格前馈设定这类说法。要在自己的文章里表达同一件事，更稳妥的写法是学习式几何因子或优化器原生测量，并且明确标注这是对某篇具体工作的转述。

把三关收成一张可以随身带的检查卡：

三关都过，前馈预测才真正是后端能反复消费的测量；缺任何一关，单帧精度再高也只是一次性答案。2026 年下半年还有若干同方向工作（度量尺度恢复、前馈重建的不确定性、自纠错流式几何模型），不在本文的核心证据范围内，只作延伸阅读。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. F²SLAM: Turning Feed-Forward Geometry into Persistent Factors for SLAM — arXiv:2610.05207
2. FoundationVIO: Enforcing Metric Scale in Feed-forward Visual-Inertial Odometry — arXiv:2610.14951
3. VGGT-SLAM 2.0: Real-time Dense Feed-forward Scene Reconstruction — arXiv:2601.19887
4. VGGT: Visual Geometry Grounded Transformer — arXiv:2503.11651
5. DUSt3R: Geometric 3D Vision Made Easy — arXiv:2312.14132
6. MASt3R-SLAM: Real-Time Dense SLAM with 3D Reconstruction Priors — arXiv:2412.12392
7. UniSim-SLAM: Feed-Forward SLAM with Unified Sim(3) Optimization — arXiv:2608.01706
8. Scalix: Uncertainty-Aware Scale-Consistent Monocular SLAM — arXiv:2608.17553
9. ScaRF-SLAM: Scale-Consistent Reconstruction with Feed-Forward Models and Classical Visual SLAM — arXiv:2606.00307
10. MASt3R-Fusion: Integrating Feed-Forward Visual Model with IMU, GNSS for High-Functionality SLAM — arXiv:2509.20757
11. DROID-SLAM: Deep Visual SLAM for Monocular, Stereo, and RGB-D Cameras — arXiv:2108.10869
12. Feed-Forward 3D Scene Modeling: A Problem-Driven Perspective — arXiv:2604.14025