从 2D 扩散基座诱发空间智能:四组小数据 SOTA 如何证明它不是记忆
读者已经听过前面五讲:S1 给了「三不匹配框架」(representation / objective / process mismatch)的概念根,S2–S4 把 Kiss3DGen、CamPilot、Lotus-2/DVD 三个案例的两阶段管线、几何自评奖励、确定性核讲完。这一讲要回答的是一个元问题:当四个案例都报出 1/1000 量级数据 SOTA 时,这件事到底是「基座本来就会」还是「只是记住了训练集」?答案是一个条件命题——只有在表征接口、目标信号、训练过程这三把钥匙同时解掉对应三种不匹配的时候,小数据才能从冻结的 2D 扩散基座里诱发远超任务监督范围的空间能力。本讲沿着「主线回扣 → 案例串线 → 元判断 → 通用性证据 → 课程项目路径 → 边界」六步把这条线讲清楚,并落到一个可复用的五步工程模板。
一、为什么「1/1000 数据量 SOTA」不等于「基座本来就会」
要回答「这是诱发还是记忆」,先回到一个在 LLM 已经成熟、但在 2D 视觉还在补课的链路图:

图注:A little data(narrow · cheap)通过 elicits 作用于冻结的 Base model(latent competence, learned far beyond its objective),再 powers 出 Broad capability(generalizes far beyond the data you ever fed it)。注意雪花符号标注基座冻结,以及两个动词 elicits / powers 的区别:少量数据只是引出基座里已经在那里的能力,然后基座把它驱动成广泛能力。
这张图在 LLM 语境下已被广泛使用:DeepSeek-R1-Zero 用少量 RL 数据 elicit 冻结基座的推理能力;tool use 用少量样本 elicit 基座遵循指令格式的能力;VLM 用图文对 elicit 视觉问答。搬到 2D 扩散上,问题就变成:给定一个在大规模 2D 图像上预训练好的扩散基座,几十 K 量级的任务数据能不能 elicit 出远超任务监督范围的空间能力?
直觉上看,回答是「能」——Lotus 在 2024 年就用 0.059M 图像在零样本单目深度和法线估计上做到 SOTA 或可比,其中 Lotus-G 击败所有生成式与判别式方法(DepthAnything V2 用 62.6M 图像)Lotus。同期还有 ViewCrafter 把视频扩散先验用 632,152 个 rendered pairs 做相机可控 novel view synthesis ViewCrafter。但这两条路的「数据规模」仍然是大数据级别的,还不是后面要讲的小数据 SOTA。
关键观察:进入 2025–2026 年,陆续出现用 50K–367K 量级数据(比对照小 1–3 个数量级)就在对应任务上达到 SOTA 的工作。这里的「1/1000 数据量 SOTA」并不是结果本身,而是诊断——只有当数据规模反过来比对照小一个数量级、且 OOD 仍稳的时候,「诱发」才是一个有意义的命题。本讲剩下的五章,就是把这条命题的判别清单、四组案例的内部逻辑、可推广性、课程项目路径与边界都讲清楚。
二、四组案例是怎么串成一条线的:三把锁三把钥匙的对应
S1 已经把三不匹配(表征 / 目标 / 过程)讲透,本讲不再重复,只承担「三把钥匙对应三把锁」的串线工作。S2–S4 已经分别把 Kiss3DGen 的两阶段管线、CamPilot 的 visibility-aware reward、Lotus-2/DVD 的 1-step regression 讲完,本节只用最小证据把它们压成一张矩阵。
2.1 表征锁:Kiss3DGen 的最小接口
Kiss3DGen 的关键判断是「3D Bundle Image 仍是 2D 接口」。给定一个 3D 物体,作者用 Blender 渲染出「四张 RGB + 四张 normal map」的 8 块拼图,本质上是一张 2D 图,跟 Flux DiT 的原生训练分布天然兼容。在这个前提下,训练时只挂一个 LoRA(rank 128),Flux 完全冻结,I/O 不变,结果数据规模 147K vs 320K–500K baseline(差 3–10×)依然在 text-to-3D 上 CLIP/质量/几何全部 SOTA;把训练集砍到 50K 仍赢 baseline Kiss3DGen。

图注:One LoRA(rank 128, Flux stays frozen)通过 elicits 作用于 Flux(priors preserved, I/O unchanged, 冻结)。右侧 ELICITED 分支给出 Text-to-3D generation(LoRA 把 Flux 的潜在 3D 拉成 3D Bundle Image → mesh);INHERITED 分支给出 The whole Flux toolchain still works(ControlNet / Flux Redux / IP-Adapter 在 LoRA 后模型上即插即用)。

图注:论文原始框架图。Stage I 训练 LoRA 在 Flux 上做 text-to-3D bundle image 生成;Stage II 用 LRM 或 sphere 初始化 + ISOMER 优化做几何重建。两阶段清晰分工,第一阶段把 3D 任务压回 2D 图像域,第二阶段做几何与纹理恢复。
表征锁的关键不是「用什么 2D 接口」,而是「不动基座 I/O + 只挂最小代价」。这个原则带来的副产品是工具链继承:ControlNet-Tile/ControlNet-Normal/ControlNet-Canny、IP-Adapter、Flux Redux 全部直接挂在新模型上可用,不需要重新训练 Kiss3DGen。
2.2 目标锁:CamPilot 的几何自评奖励
CamPilot 的关键判断是「相机几何可以自己给自己打分」。给定 CogVideoX-5B-I2V + ControlNet 注入 Plücker Embedding 相机条件的视频扩散模型,作者训一个 camera-aware 3D decoder,把 video latent + camera pose 一起解到 3D Gaussians(3DGS),再用 3DGS 渲染出的图像与 GT 的像素差作为奖励信号。若 latent 与 pose 不对齐,3D 结构会几何畸变,渲染结果变糊——这条性质被构造成低层、可微的 reward。同时引入 visibility term,只对几何一致性确定的区域算 reward,避免对视频扩散幻觉区域的全像素监督损害多样性 CamPilot。

图注:Camera reward(tiny signal, geometry-grounded)通过 aligns 作用于 Video model(CogVideoX-5B + ControlNet, latent 3D priors),再 elicits 出 Camera-correct, 3D-consistent video。两个动词 aligns + elicits 构成「几何自评」的逻辑闭环。

图注:CamPilot 论文 Figure 1 三段流程图:(a) CogVideoX-5B-I2V + ControlNet 注入 Plücker Embedding 相机条件的 I2V 模型;(b) camera-aware 3D decoder 把 video latent + camera pose 解到 3DGS;(c) mask-aware reward optimization 反向优化视频模型。
数据规模上只用 RealEstate10K train split 的约 65K 视频,与 ViewCrafter 的 632K rendered pairs 形成 1/10 量级反差,定量上 R_err 0.023 < 0.039、FID 11.22 < 17.92 CamPilot。
OOD 证据:CamPilot 项目页的 OOD gallery 展示了沿 z 轴垂直轨迹渲染与「风格化角色」(猴毛人物 + 火炬 + 深色衣袍)的三视角一致性,角色命名不在论文主文,归入「项目页 OOD gallery」表述:

图注:中间 3D 散点图为沿 z 轴的近似垂直轨迹(颜色由底蓝→中绿黄→顶红对应 z 从 0 到 2),两侧三张渲染图为同一风格化角色在三视角下的稳定生成。这是「相机几何一致」在 OOD 跨域(项目页 OOD gallery,非训练域 RealEstate10K 室内静态场景)仍能成立的视觉证据。
目标锁的关键不是「用什么样的奖励网络」,而是「奖励信号本身必须几何一致」。这一点和 DVD 后续的 latent manifold rectification(latent 上做几何一致性约束)是同一思想的两个版本。
2.3 过程锁图像端:Lotus-2 的确定性核 + 受约束细化
Lotus-2 的关键判断是「原始 diffusion formulation 不适合 dense prediction」。论文把 Marigold 等同期工作的 ε-prediction 改为直接 predict annotation(target velocity = z^x − z^y),再把多步去噪改成 1-step regression,并约束 detail sharpener 在 core predictor 定义的 manifold 内做 ≤10 步 noise-free rectified-flow refinement Lotus-2。

图注:Lotus-2 核心架构图。FLUX backbone 的 Pack → diffusion transformer f_θ → Unpack → LCM(Λ) → 输出 z^y,标注 single-step t=1 与 clean-data prediction。LCM 是为了缓解 FLUX 自带的 Pack-Unpack 在 patch 边界产生的 grid artifact,是把单步确定性核做到 dense output 不出现拼接痕的必要细节。
数据规模 59K(约为 MoGe-2 的 0.66%,DepthAnything 的 0.09%),在 NYUv2 / ScanNet / iBims-1 / Sintel 四个法线数据集上 avg rank 2.9,严格最佳(在论文 Table II 实测值;Diffusion-E2E-FT 和 Lotus-D 都是 3.4)Lotus-2。定性证据上,teaser 图展示了在透明物体、油画等 OOD 场景下 sharp zero-shot prediction Lotus-2。
过程锁图像端的关键不是「多步去噪换成单步」这步操作,而是「把渲染管线的随机性关进笼子」——一旦把每帧的随机噪声去掉、换成确定性映射,结构稳定的几何预测才成为可能。这个判断对一个熟悉渲染管线(离线烘焙 vs 实时噪点)的读者并不意外:实时渲染用噪声模拟 GI,离线渲染则解一个确定的辐射度方程;Lotus-2 做的就是「把实时渲染式的随机 diffusion 换成离线烘焙式的确定性回归」。
2.4 过程锁视频端:DVD 把确定性核推广到视频
DVD 把过程锁从图像端推到视频端。核心是把预训练视频 DiT backbone(Wan2.1-1.3B)改造为单趟确定性回归器,diffusion timestep 不再是动态变量而是固定结构锚 τ₀=0.5(论文主文 Figure 10 / §5.3 给出 KITTI AbsRel 从 13.8(τ=0.0)到 6.7(τ=0.5)的对照,并报告 τ≥0.9 触发严重性能崩溃;refmeta 提及 Appendix D 中存在 16.3/23.7 等更大数值漂移,本次未访问附录本体)。再叠加 latent manifold rectification(LMR)缓解 mean collapse,最后用 backbone 自身的 global affine coherence 把长视频滑动窗做闭式最小二乘对齐 DVD。

图注:上方四行七列对比(RGB / DepthCrafter / VDA / DVD)展示 1500-frame in-the-wild 视频的深度估计结果;下方四个条形图从左到右为训练数据量(VDA 60M / DepthCrafter 30M / ChronoDepth 381K / DVD 367K,红色箭头 163× 指向 100M)、短视频精度、长视频精度、Boundary Recall & F1(论文 KITTI B-F1 = 0.285,图中 0.287 为 0.002 舍入差)。这是「deterministic core + 367K vs 60M 数据效率 + OOD 稳健」三重证据的视觉汇总。

图注:DVD 论文 fig:framework 总览图。上半部 video DiT backbone 在 structural anchor τ₀ 调制下做 single-pass depth regression,叠加 LMR 模块;下半部长视频 sliding-window 推理 W_A / W_B 通过 closed-form least-squares 解出 (s, t) 完成仿射对齐。τ₀ + LMR + global affine coherence 是 DVD 的三大设计关键词。
数据规模 367K frames vs VDA 60M / DepthCrafter 30M,摘要明示「163× less task-specific data than leading baselines」。定量上 KITTI AbsRel 6.7 < VDA 7.2,Boundary Recall KITTI 0.217、Bonn 0.336 DVD。OOD 方面,1500-frame in-the-wild 视频中 DepthCrafter 出现几何幻觉、VDA 在边界区域有歧义,DVD 一致且高保真 DVD。
2.5 把四组案例压成一张矩阵
S2–S4 已经把每个 case 的内部细节讲完,本节不再展开。下面是一张最小证据矩阵,每格只写「数据集 + 关键数字 + 锁与钥匙」一行:
| 案例 | 任务 | 数据规模 vs 对照 | 关键证据 | 解的锁 | 用的钥匙 |
|---|---|---|---|---|---|
| Kiss3DGen | 3D 生成 | 147K vs 320K–500K (约 1/2–1/3) | 50K variant 仍赢 baseline | 表征锁 | LoRA + I/O 不变 + 工具链继承 |
| CamPilot | 相机可控视频 | 65K vs 632K (1/10) | R_err 0.023 < 0.039;FID 11.2 < 17.9;项目页 OOD gallery 沿轨迹渲染稳定 | 目标锁 | camera-aware 3D decoder + visibility-aware reward |
| Lotus-2 | 图像深度/法线 | 59K vs 62.6M (1/1000) | 法线 avg rank 2.9(严格最佳);OOD 透明/油画定性 | 过程锁(图像端) | 1-step deterministic core + constrained refinement |
| DVD | 视频深度 | 367K vs 60M (1/163) | KITTI AbsRel 6.7 < 7.2;OOD 透明/反射/未知物体 | 过程锁(视频端) | τ₀ 结构锚 + LMR + global affine coherence |
四组案例不是四个独立工作,而是同一条件命题的四个解。三把钥匙缺任何一把,小数据 SOTA 都不成立:表征集没改对,模型就根本不知道任务是 3D 还是 2D;目标信号没对齐,模型就只学到任务标签而不学几何;过程没去随机化,结构稳定的几何预测就被噪声采样压塌。Lotus-2 把这件事点得最直白——论文摘要原文写「existing methods often uncritically use the original diffusion formulation, which may not be optimal due to the fundamental differences between dense prediction and image generation」Lotus。这条论断是「过程错配」一脉的源头,也是同作者后续 Lotus-2 直接沿用的诊断 Lotus。
三、怎么证明「诱发」而不是「记忆」:stress test + OOD gap 的判别清单
数据效率反差本身不是证明——读者完全可以说「那只是测试集偏置」。要把「诱发」从「记忆」里挑出来,需要两条腿:stress test(把基座先验去掉/换掉之后任务性能掉多少)+ OOD gap(训练分布之外场景能不能稳)。两条腿都站住,「诱发」才是一个有意义的命题。
先把四组 case 的数据效率反差摊开看:

图注:四卡片横向对比,从左到右依次为 Monocular Depth(Lotus/Lotus-2 59K vs Depth Anything V2 62.6M,1/1000 the data,Lotus matches / Lotus-2 beats)、Video Depth(DVD 367K vs Video Depth Anything 60M,1/163 the data,AbsRel 6.7 < 7.2)、3D Generation(Kiss3DGen 147K vs baselines 320K–500K(3DTopia 320K / Direct2.5 500K),约 1/2 – 1/3 the data,50K variant still wins)、Camera Control(CamPilot 65K vs ViewCrafter 632K,1/10 the data,R_err 0.023 < 0.039 · FID 11.2 < 17.9)。四组 case 共享「小数据 SOTA」这条反差骨架。
再把判别清单两条腿具体化。
腿一:stress test = 控制组 + 消融。把基座先验去掉或换掉之后,任务性能掉多少?最干净的证据来自 SDPose(同作者线 Ying-Cong Chen):去掉 diffusion prior(换成随机初始化骨干)后,OOD 退化比 in-domain 退化剧烈得多——这意味着性能几乎全部来自冻结的扩散先验,而不是监督信号本身 SDPose。同样地,SDPose 去掉 RGB 重建分支(latent reconstruction loss 这个保留生成先验的正则化)后,跨域退化也比域内退化更剧烈,这给「诱发 vs 记忆」提供教科书级证据。
腿二:OOD gap = 训练数据覆盖范围 vs 适配后模型能稳定做的事。Lotus-2 在训练集只有 59K 合成样本的前提下,零样本泛化到 NYUv2(室内)/ ScanNet(室内)/ KITTI(室外)/ ETH3D(多种)/ DIODE(多种)五个深度数据集,并且在法线任务上泛化到 NYUv2/ScanNet/iBims-1/Sintel 四个数据集,论文 Fig. 1 teaser 进一步展示透明物体、油画这类训练分布外的定性 OOD 表现 Lotus-2。DVD 在 1500-frame in-the-wild 视频上展示透明/反射/未知物体等训练分布外的几何稳定性,这是「小数据诱发跨域几何能力」的实证 DVD。CamPilot 项目页 OOD gallery(沿 z 轴轨迹渲染风格化角色,三视角一致)则给出目标锁方向的 OOD 证据 CamPilot。
更强的证据来自 GenCeption。它用 1.23M frames 合成训练就能泛化到真实场景的 OOD 类别(animals / anthropomorphic characters / robots),论文称之为「emergent behaviors」并归因于 generative pretraining 内化的 spatio-temporal world priors GenCeption。同时 GenCeption 给出一个综合数据效率区间「7× to 500× less training data」,把这条判别清单推到最高一档证据:

图注:左半部分跨任务 SOTA baseline 对比面板(DepthAnything3 / SAM3 / D4RT / VGGT-Ω / Sapiens / David / Genmo / Lotus-2),右半部分 depth 任务数据效率对比展示 video generative backbone 在远少于 V-JEPA / VideoMAE / D4RT / VGGT-Ω 数据量时的精度表现。「7× to 500× less training data」是论文 abstract 给出的综合区间,不写死具体倍数。

图注:DVD 论文 fig:teaser,1500-frame in-the-wild 视频的 RGB / DepthCrafter / VDA / DVD 四行对比网格,下方三联图为 data scaling / inference latency / long-video stability。DepthCrafter 出现几何幻觉、VDA 在边界区域有歧义,DVD 一致且高保真——这是 OOD 稳健性的视觉证据。
把两条腿合并:判别「诱发 vs 记忆」不需要看 loss 曲线或论文 SR,只要看两件事——数据规模反差(量化「比对照小多少」)+ OOD 表现(质化「跨域是否仍稳」)。这是任何人都能照着做的判别步骤,不是只有论文作者才能做的特权判断。
四、这条路只适用于四个案例吗:GenCeption 与 SDPose 把「诱发」推到更广任务
四组 case 的数据效率反差再大,也只是深度/法线/3D/相机控制四个任务域。读者完全有理由问:是不是这四个任务恰好碰上了冻结扩散基座的「甜点」?
两条独立证据线给出否定答案。
证据线一:GenCeption 把 video diffusion 当通用感知 backbone。在 Wan2.1-S 1.3B 视频 DiT 上做 multi-task post-training,单次前向就能处理 depth / surface normal / camera pose / foreground segmentation / expression-referring segmentation / 3D keypoint 一整套感知任务,对位 baseline 包括 DepthAnything3、SAM3、D4RT、VGGT-Ω、Sapiens、David、Genmo、Lotus-2 GenCeption。

图注:GenCeption 架构图,输入视频 + 文本指令 → DiT 单次前向 → 多个 dense 任务(RGB latent 解码)与 sparse 任务(learnable tokens 作为额外输入)。同一 backbone 能同时打开多种锁,是「诱发 = 通用基础模型路线」这一论断的核心承载。
更关键的是 GenCeption 把视频扩散当通用 backbone 这件事本身——这把「诱发」从单任务 SOTA 推到了「通用基础模型路线」,与本文四案例的「单锁单钥匙」形成互补:GenCeption 是「单钥匙多锁」,四案例是「单锁单钥匙」,两条线一起说明诱发机制不依赖具体任务域。
证据线二:SDPose 把诱发机制跨任务搬到姿态估计。同一作者线(Ying-Cong Chen 同为共同作者)把 Stable Diffusion v2 U-Net 当视觉骨干,从 U-Net 最后四个上采样块抽 latent,再用 task embedding C ∈ {C_RGB, C_Pose} 让同一个 U-Net 切换行为——C_RGB 分支用 ℓ2 latent reconstruction loss 重建 Z_RGB,C_Pose 分支输出关键点 heatmap,整体目标 L = L_RGB + L_POSE SDPose。

图注:SDPose 训练 pipeline。输入 x 经 SD-VAE 得 Z_RGB,进入共享 latent diffusion U-Net f_θ(timestep 固定 t=1000,text disabled),task embedding C ∈ {C_RGB, C_Pose} 切换行为:C_RGB 分支由 ℓ2 latent reconstruction loss 监督重建 Z_RGB;C_Pose 分支从选定的多级 U-Net 特征经 PAFPN-style 聚合后输出关键点 heatmap,由 heatmap MSE loss 监督。
定量上 SDPose 用 SD-v2 单 backbone + 40/42 epoch 就在 COCO val 上拿到 81.2 AP,匹配 Sapiens-1B/2B 的 82.1–82.2 AP 但用了 5× 更少 epoch;同时自建 COCO-OOD benchmark(三个 style-transferred split + 一个 13 corruption severity=3 的 split)做可控 OOD 评测,在所有 split 上 SOTA SDPose。
对一个从 3D 视觉转向具身智能/agent 的读者来说,姿态估计是具身智能最基础的低层感知。SDPose 证明「冻结 2D 扩散先验 + 最小接口」能在姿态估计上 SOTA,意味着诱发机制不限于几何感知——它能成为 embodied agent 的视觉基础层。这是这一讲对「从 3D 转向具身」这条学习路径最直接的回应。
五、课程项目级别:五步小数据适配流程与可挑的样板
四组 case 的内部细节都讲过了,但读者作为学生真正想要的是「我能不能照这条路做一个课程项目」。答案可以压成五步模板,写出来可以直接复制到 README:
# 选锁 → 选基座 → 设计接口 → 设计信号 → OOD 验证
下面把每一步展开成最小可操作的判断。
Step 1 选锁:先决定要解哪一把锁。基座冻结后,「什么不匹配在挡你的任务」是最先要想清楚的事。表征集不匹配(任务接口基座不认),用 Kiss3DGen 范式(把任务接口强行压回基座原生 2D 域);目标信号不匹配(基座默认目标不是你的任务目标),用 CamPilot 范式(设计几何自评奖励);过程不匹配(基座默认去噪过程对感知任务不稳定),用 Lotus-2 / DVD 范式(换成确定性单步 + 受约束细化)。
Step 2 选基座:根据任务选基座。深度/法线类密集预测选 FLUX / SD 系(DiT 的 rectified-flow + 几何一致性世界先验);视频可控生成选 CogVideoX / Wan2.1 系(视频扩散先验 + ControlNet 注入条件);姿态估计选 SD v2 U-Net(多级上采样块 latent 对热图解码有最丰富定位信息)SDPose。
Step 3 设计接口:最小代价挂到基座上。3D 生成走 3D Bundle Image + LoRA rank 128;相机控制走 ControlNet 8 blocks + Plücker Embedding 注入;视频深度走 LoRA rank 512(DVD 论文 ScanNet 上最优,rank 256 不足,rank 1024 边际收益低,全参数微调反而过拟合)DVD。一旦 LoRA 不破坏基座 I/O,所有基座插件自动可用:

图注:Kiss3DGen 的 3D 增强与编辑流程。ControlNet-Tile / ControlNet-Normal / ControlNet-Canny / IP-Adapter / Flux Redux 在 LoRA 后模型上的接入路径,无需重新训练。这是「工具链继承」的具体路径——证明基座插件总线可以直接挂在 LoRA 后模型上。
Step 4 设计信号:奖励信号或监督信号必须与任务本质对齐。CamPilot 用 visibility-aware reward(相机几何自己给自己打分);Lotus-2 用 clean-data prediction target(target velocity = z^x − z^y 而不是 ε);DVD 用 LMR(latent 上一阶差分对齐)+ global affine coherence(闭式最小二乘)。
Step 5 OOD 验证:造一个可控的 OOD split 跑一遍。SDPose 的 COCO-OOD 是范本——Monet via StyTR2、Ukiyo-e via CycleGAN、color-sketch、13 corruption via albumentations,severity=3,固定随机种子 SDPose。如果不在这个 split 上 SOTA,回到 Step 1 重选锁。
下面给四个可挑的样板:

图注:Lotus-2 两阶段推理 pipeline。core predictor 做 single-step regression,detail sharpener 在其 manifold 内做 ≤10 步 noise-free rectified-flow refinement(T'_inf ≤ 10 可调)。这是「deterministic core 样板」的视觉锚点。
| 样板 | 适用学生 | 解的锁 | 关键数字 |
|---|---|---|---|
| Kiss3DGen | 单卡即可 | 表征锁 | 50K variant 仍赢 baseline;LoRA rank 128;Flux 冻结 |
| Lotus-2 | 单卡即可 | 过程锁图像端 | 59K 训练数据;法线 avg rank 2.9 严格最佳;FLUX backbone |
| SDPose | 单卡/4 卡 H200 | 跨任务(姿态) | 40/42 epoch;COCO val 81.2 AP;5× 更少 epoch |
| GenCeption | 需要 GPU 集群 | 单钥匙多锁 | 1.23M frames;7×–500× 数据效率 |
课程项目级别的小数据适配不是「复现 SOTA」,而是「挑一个 case、跑通五步、写清 OOD 验证」——这是这一讲给学生留下的最终工程接口。
六、这条路的边界在哪里:三个还没解掉的不匹配
把四组 case + 通用性证据都讲完之后,必须诚实交代这条路的边界,而不是把它包装成「诱发万能」。
边界一:长序列漂移。DVD 在长视频上用 global affine coherence(闭式最小二乘解 s, t)做局部对齐,这条解法在 1500-frame in-the-wild 视频上有效(论文 fig:teaser 顶部对比网格)DVD,但 global affine coherence 本身是局部解——闭式最小二乘只能解一个仿射变换,长视频漂移在更复杂场景下并未根除。DepthCrafter 与 ChronoDepth 在长视频上的几何幻觉、VDA 的边界歧义仍然存在,DVD 用 backbone 的先天性质改善了这件事,但「任何长视频都稳」是不存在的。
边界二:OOD 定量 benchmark 尚未广泛采纳。Lotus-2 的透明/油画 OOD、DVD 的透明/反射/未知物体 OOD、CamPilot 的风格化角色 OOD,目前都是定性证据(项目页 + 附录网格),没有跨域定量 benchmark 在社区广泛采纳。SDPose 的 COCO-OOD 是为数不多的自建可控 OOD 评测,但仅在本文作者内部使用,第三方独立验证尚未广泛出现 SDPose。读者若要给自己的工作判别,需要自己造一个 severity=3 的 corruption split 才能复现。
边界三:诱发 vs 通用基础模型路线的边界正在变模糊。GenCeption 已经把 video diffusion 当通用感知 backbone,SDPose 在姿态估计上跨任务——诱发是「用更小的数据适配」,通用基础模型是「从头用大模型」,二者关系尚未定型。当任务本身需要的几何先验不在扩散基座里(罕见但存在)时,诱发就退化成普通的 few-shot fine-tuning,文章宣传的「基座本来就会」就不再成立。
把三个边界合并起来看:三把钥匙同时解三把锁是一个条件命题,而不是「诱发万能」。读者应该把这一讲读成「判别清单」而不是「成功公式」——给定一个新论文,先看它有没有同时解三把锁中的每一把,再看它的 stress test 和 OOD gap 是否站得住,最后才决定这是「诱发」、「记忆」还是「打补丁」。
参考文献
本专题引用的核心资料如下,建议深入学习时阅读原文:
- Lotus: Diffusion-based Visual Foundation Model for High-quality Dense Prediction — arXiv:2409.18124
- ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis — arXiv:2409.02048
- Kiss3DGen: Repurposing Image Diffusion Models for 3D Asset Generation — arXiv:2503.01370
- CamPilot: Improving Camera Control in Video Diffusion Model with Efficient Camera Reward Feedback — arXiv:2601.16214
- Lotus-2: Advancing Geometric Dense Prediction with Powerful Image Generative Model — arXiv:2512.01030
- DVD: Deterministic Video Depth Estimation with Generative Priors — arXiv:2603.12250
- DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos — arXiv:2409.02095
- GenCeption: Video Generation Models are General-Purpose Vision Learners — arXiv:2607.09024
- SDPose: Exploiting Diffusion Priors for Out-of-Domain and Robust Pose Estimation — arXiv:2509.24980