1966 年说一个暑假能"看懂图片"，60 年没兑现——计算机视觉全景导读

1. 一张照片，机器看到的不是画面，而是一串数字

你打开手机相册，搜一个「beach」，十几张海滩照片很快排出来。这件事今天平常到不值得提起，但它的背后藏着一个悬置了六十年的问题：机器凭什么"看懂"了这些照片？

先看看机器眼中的照片长什么样。屏幕上的蓝天、白云、沙滩，对计算机来说只是一张填满数字的网格，每个格子里是这个像素的颜色值，例如 [123, 45, 67]。人看到的是画面，机器看到的是数组，中间隔着的就是计算机视觉（Computer Vision）这门学科的全部内容：把这一串数字，变成"这是一片海滩"这样的理解。

图注：同一张海滩照片，在人眼和计算机里是两种东西。左边人看到蓝天白云和沙滩，右边计算机看到一张彩色数字网格，每个格子的数字和颜色对应一个像素。底部公式点出全篇主线：Image → Numbers → AI → Understanding，而计算机视觉做的事就是 Numbers → Understanding（从数字到理解）。

把这条链路压缩成一句话就是 Image → Numbers → AI → Understanding，难点全在最后一步。1966 年，麻省理工学院人工智能组的 Seymour Papert 写下一份备忘录《The Summer Vision Project》，目标写得雄心勃勃：用一个暑假，建成一个视觉系统里"足够成为模式识别里程碑"的那一块。六十年过去，这份备忘录还经常被翻出来，因为"Goal: One summer"和"60+ years later"之间的落差本身就是结论：机器看懂图片，远比当年想象的要难。

图注：1966 年 7 月的 MIT 备忘录照片，作者 Seymour Papert，标题《The Summer Vision Project》。右侧箭头把承诺与现实并置：上方写 Goal: One summer（目标：一个暑假），下方写 60+ years later（六十年后），落款一行大字：Lesson: Vision is HARD。

先别被"没兑现"劝退，这正是这门课值得读的原因：所谓"看懂一张图"，从来不是一件事。今天的计算机视觉研究至少分成五个方向，各回答一个问题：

接下来的每一章，我们都追问同一个问题：要让机器离"看懂"再近一步，它还缺哪一块？五章走完，这五个方向会拼成一条完整的接力线，从"认出像素"一路接到"动手改变世界"。

2. 认出"一只猫"靠谁？——感知的两次转折：人写特征，到数据自学

先讲"看懂"里最容易的部分：感知（Perception），也就是认出图里有什么。这一块的答案在六十年里换了两次。

第一次转折：从人写特征，到让网络自己学

在深度学习之前，机器认图靠的是"手工特征"（hand-crafted features）：由工程师写代码，把图像里值得注意的东西算出来。比如 SIFT 负责找尺度不变的稳定关键点，HOG 统计一块区域里梯度朝各个方向分布的情况，LBP 比较每个像素和它邻居的大小关系来刻画纹理。这套思路到 2004 年前后已经相当成熟，能可靠干活。下图就是 SIFT 在严重遮挡、杂物堆叠的场景里认出训练过的物体：SIFT

图注：SIFT 端到端识别示例，三栏布局：左为训练图（玩具车、青蛙），中为杂物遮挡的测试场景，右为识别结果，红、绿、黄三个平行四边形框出被认出的物体，框内小方块是对上关键点的位置。SIFT

但手工特征有一个天花板，可以概括成四句话：任务特定，换个任务就要重新设计；泛化差，换个场景、换个数据集就掉链子；难设计，特征要靠专家的经验慢慢调；难扩展，撑不起大规模开放类别。人写特征这条路，到 2010 年前后已经摸到了顶。

转折发生在 2012 年的 ILSVRC 图像分类竞赛上。那一年第二名用的是当年手工特征路线的最强组合 SIFT 加 Fisher Vectors，top-5 错误率 26.2%；冠军 AlexNet 是一套八层卷积神经网络（CNN），做的事情和 SIFT 完全不同：没有人告诉它该看什么特征，它只是从 120 万张带标签的图里自己学。结果是 15.3% 的 top-5 错误率，比第二名低了约 11 个百分点。AlexNet

注意一个细节：15.3% 是 7 个这样的网络投票出来的成绩，单个网络在验证集上约 18.2%。但这不妨碍对比的干净，因为第二名的 26.2% 就来自你上一段刚认识的手工特征路线。同一场比赛、同一个榜单，比的内容从"谁的特征写得好"变成了"谁的架构能从数据里学得好"。

让网络"自己学特征"这件事长什么样，看 AlexNet 第一层自己学出来的 96 个滤波器：

图注：六行十六列共 96 个小格，是 AlexNet 第一层卷积自己学到的卷积核。放大看，里面大都是不同方向的边缘和色块纹理，和 SIFT、HOG 当年手工刻画的其实是同一类东西，只是不再由人设计。AlexNet

再看这套 8 层架构本身。输入 224×224×3 的图像，经过 5 层卷积、3 层全连接，最后输出 1000 个类别上的概率。图上那道上下对称的双路分叉不是精妙设计，而是 2012 年的工程疤痕：单块显卡只有 3GB 显存，装不下整个网络，作者只好把网络横切成两半，分到两块 GPU 上训练。AlexNet

图注：AlexNet 架构示意：输入 224×224×3 的图，5 层卷积接 3 层全连接，输出 1000 类；每层都是上下对称的双路结构，中间有交错连接，这是当年两块 GPU 分工留下的痕迹。AlexNet

第二次转折：CNN 的"先验"被搬进数据

CNN 赢了 ImageNet，但它身上带着一堆人给的先验（归纳偏置，inductive bias）：卷积只在局部窗口里看，天然假设相邻像素才有关系；平移等变性假设物体挪个位置、类别不变；二维邻接结构假设图像是棋盘状的网格。这些假设在数据不够大的时候很管用，可它们毕竟也是人写进去的。

2020 年的 ViT（Vision Transformer）把问题反着问：如果数据足够大，这些先验还必要吗？ViT 的做法极端得简单：把图像切成 16×16 的小块（patch），每个小块当一个 token，像处理一句话那样喂给标准的 Transformer，最后取一个特别的 [class] token 做分类。ViT

图注：ViT 主架构：图像被切成小块，每个小块线性投影成一个 token，序列前加上一个 [class] token 和位置信息，整串送进堆叠的 Transformer 编码器，最后取出 [class] token 的输出做分类。右侧是编码器内部，多头注意力、MLP 加残差。ViT

结果很有意思：在 ImageNet（约 128 万张训练图）这种百万级数据上，不带先验的 ViT 打不过同规模 CNN；但把预训练数据推到 ImageNet-21k 甚至 3 亿张图的 JFT 之后，ViT 反超了，而且预训练算力还省下好几倍。先验没有消失，只是从网络结构里搬进了数据。

所以感知这六十年的历史，本质是"知识放在哪里"的搬家史：从人写的特征，搬到网络结构，再搬到数据。每次搬家都让下一个缺口浮出水面。搬到数据之后，缺口立刻出现了：网络学出来的类别集合是固定的，训练时定了一千类，它就只会这一千类。可真实世界里哪有"恰好一千类"这回事？机器还算"看懂"了吗？

3. 只会认固定一千类，机器还算"看懂"了吗？——开放词汇与证据链推理

上一章结尾留下的问题是：固定类别不够用。这一章的答案，是把语言拉进来，当视觉的第二套坐标系。

开放词汇：识别变成"匹配"

传统分类器的结构是"图像编码器加一个固定长度的分类头"，类别写在分类头里，换个类别就得重训。2021 年 OpenAI 的 CLIP 换了个思路：不训分类头，改让模型在海量"图像加文字说明"的配对里学对齐。训练时，一个 batch 里 N 张图配 N 句话，模型把所有图像和所有文本两两算相似度，得到一个 N×N 的矩阵；对角线上的配对是真的，要拉近，其余错配对要推远。学完之后，图像和文本落在同一个向量空间里，这个模型是拿 4 亿个图文对喂出来的。CLIP

图注：CLIP 的核心结构。左半是训练：图像编码器和文本编码器分别把 N 张图、N 句话编码成向量，两两算相似度构成 N×N 矩阵，对角线（真正配对的图与句）被高亮，训练目标就是让对角线大、非对角线小。右半是零样本推理：把候选类别名填进"A photo of a {类别}"模板，编码成文本向量，和图像向量比相似度，取最高者。CLIP

推理的时候就变成一场纯匹配：你想认"猫"，就捏一个句子"一张猫的照片"，把它编码成向量，再和图片向量比相似度。模型根本不需要在训练时见过"猫"这个类。效果有多好？CLIP 从头到尾没在 ImageNet 训练集上学过，拿到测试集上零样本分类，top-1 达到 76.2%，接近当年全监督训练出的 ResNet-50，而那个 ResNet-50 是看过全部 128 万张带标注训练图的。CLIP

这种"开放词汇"的劲儿还能往视频里走。Meta 在 2025 年发布 SAM 3（Segment Anything 系列第三代），把提示从点、框升级成概念：你给一个文本概念，比如"黄色校车"，模型在视频里把这个概念对应的所有实例分割出来，并且物体移动、相互遮挡时，这个概念始终跟着那个物体走。SAM 3

图注：SAM 3 架构总览：文本和图像提示先分别编码，再同时进入检测器和跟踪器；检测器负责在新的这一帧找出概念所在，跟踪器借助记忆库把上一帧的概念传播到当前帧，两者合并输出这一帧的分割结果。SAM 3

推理：把识别结果当证据，交叉验证

有了语言，识别从"固定集合里挑一个"变成了"和任意描述匹配"。再往前一步，感知就升级成了推理（Reasoning）：不满足于说出"有什么"，而是把多个识别结果当作证据，交叉验证出一个结论。

最震撼的例子是纯视觉定位。一张雪山照片，没有招牌、没有 GPS 元数据、没有参考街景，AI 看了十几秒，回答：这是乌兹别克斯坦西天山 Amirsoy 滑雪场的上段雪道，坐标约北纬 41.50 度、东经 70.00 度。

图注：一张没有任何文字标识、没有地图参考的雪山照片，AI 回答这是乌兹别克斯坦 Amirsoy 滑雪场上段雪道，并给出约 41.50°N、70.00°E 的坐标。纯视觉线索支撑了一个可验证的地理结论。

另一类例子离生活更近：给一张新加坡熟食中心的室内照片，要求定位到具体是哪一家。答案不是"多做一个识别"，而是把识别结果串成证据链。

图注：新加坡一座熟食中心的实拍：可辨认"友源熟食""佳美熟食"等摊位招牌，金属天花板下挂着吊扇，是典型食阁布局；右下角一位食客的 T 恤印着"Challenger Wins"，恰好与目标地点的路名对应。这些视觉线索就是定位推理的证据。

证据分三层。第一层是标识：招牌文字本身就是最强的坐标信号，中英双语的摊位命名风格是新加坡熟食中心的特产。第二层是建筑：金属天花板、大吊扇、开放式集中餐饮区，符合新加坡组屋楼下的官方小贩中心（Hawker Centre）布局。第三层是文化语境：双语招牌、烧腊档口，指向华人社区特征。三条证据互相印证，最终定位到裕廊区（Jurong）的 Challenger Way 熟食中心。推理不是多做一步识别，而是让多个识别结果互相投票。

这类"看图推理"的应用还有不少。UI2App 能盯着几张静态界面截图，推理出点击按钮之后状态怎么变，生成一个能跑起来的应用；FractFlow 一类工作在把视觉推理流程化。它们共享同一个模式：感知负责提供证据，语言模型负责把它们组织成结论。这也暴露了这条线的边界：推理再怎么强，也只是在消费现实世界，还没法凭空创造画面。下一章就来看"无中生有"。

4. 机器怎么从无到有画出画面？——"画家"与"修图师"两条生成路

生成（Generation）方向的问题很朴素：给一段噪声或一句话，让模型凭空变出一张图。这条路走到今天有两条主流路线，可以借两位创作者来记：一位是"画家"，一位是"修图师"。

画家：GAN 一笔画成，靠对手挑刺进步

画家路线是 2014 年的 GAN，即生成对抗网络（Generative Adversarial Network）。它训练两个网络打架：生成器 G 拿一段随机噪声 z 当输入，直接"画"出图；判别器 D 负责当评委，判断眼前这张图是真的还是 G 画的。G 的目标是让 D 认错，D 的目标是识破，两者交替训练。理想终点是：G 画出来的分布和真实数据分布完全重合，D 猜不出真假，只能掷硬币，此时判别器的输出恒为二分之一。GAN

图注：GAN 的对抗过程示意，(a) 到 (d) 四条小图是分布在不同训练阶段的形态：黑色点线是真实数据分布，绿色实线是生成器画出来的分布，蓝色虚线是判别器的判断。随着训练推进，绿线一步步贴向黑线，到最后两者重合，判别器只能给出 1/2 的猜测概率。GAN

GAN 的毛病也随之而来：画家一笔画成，画错了只能整张重来，控制不了细节。StyleGAN 的改进就是让画家"分层工作"：把一张脸的生成拆成三层风格，粗层（低分辨率）决定姿态、脸型、发型这类大结构，中层决定五官和表情，细层（高分辨率）决定肤色、光照这类细节。下图是把两张不同人脸（源 A 和源 B）按层混合的结果：换粗层，B 的姿态搬过来了，A 的五官还在；换细层，只是把 B 的配色罩上去。StyleGAN

图注：StyleGAN 风格混合网格：左上角是源 A 的参考脸，上排其余是 5 个源 B 候选；下面三行分别把 B 的粗层、中层、细层风格替换到 A 上。肉眼可见：粗层换姿态脸型，中层换五官表情，细层只换肤色光照。StyleGAN

修图师：扩散模型从噪声里反复去噪

修图师路线，也就是扩散模型（diffusion model），走的是完全相反的哲学：不从零画起，而是从一团噪点开始一遍一遍地"修"。训练时先给目标图加噪声，加到什么都看不清，再学一个去噪网络；推理时每一步只擦掉一点点噪声，反复几十步，噪点里渐渐浮现出清晰的画面。

只是直接在高分辨率像素上修，计算量太大。2021 年底提出、2022 年随 Stable Diffusion 走红的 LDM，即潜空间扩散模型（Latent Diffusion Model），Stable Diffusion 的基础，聪明之处在于"先压缩再修"：先用一个自编码器把图像压进低维的 latent 空间，也就是隐空间，一套丢掉人眼察觉不到的细节、只留语义的压缩表示；扩散只在低维空间里跑，需要成品时再解码回高清。同一套骨干，换不同的条件输入，就能干文生图、图像修复、超分辨率等不同的活。LDM

图注：LDM 三段式架构。左段是像素空间：编码器把像素压成 latent，解码器把去噪后的 latent 还原成图像；中段是潜空间：扩散过程加噪、去噪 U-Net 反复迭代；右段是条件注入：文本、语义图等条件先编码，再注入去噪过程的注意力层，等于给修图师一张需求单。LDM

从图到视频：把每一帧安排成剧本

生成做完单张图，下一步自然是让它动起来，变成视频。课件里的示例提示词是"一只松鼠吃超辣面条"这类不着边际的画面；这类模型产出的东西长什么样，看 Stable Video Diffusion 的三组演示帧：

图注：Stable Video Diffusion 的三行文生视频帧，每行 4 帧对应一个提示词：雨夜东京屋顶打碟的机器人 DJ、爆炸的奶酪屋、穿紫袍的胖兔子走过奇幻小径。同一个模型，换提示词就换一个世界。

但视频之所以难，不只是"多生成几帧"这么简单。课件里给了一段完整的分镜脚本《猩红守望者：毁灭之华》，每个镜头要写清楚动作、摄影机位、主体、光线、调色、音效：第一镜写"骑士单膝跪地，以发光剑支撑自己，花海中尘埃漂浮"，到第二镜"剑刺得更深，嗡鸣骤增，花瓣震颤"，每个维度都要可控。视频生成不是连续放几张图，而是要把每个瞬间的动作和呈现写成能控制的剧本。

生成这条路走到这里，能造出"看起来对"的画面，但它有个根本缺陷：画面里没有因果。往桌上加一个苹果，碗会不会被压塌？扩散模型不知道，它只负责让苹果画得逼真。要补上"世界会怎么变"的预判，就得请出世界模型。

5. 机器能预判"接下来会发生什么"吗？——世界模型的两步进化

世界建模（World Modeling）研究的是：让模型在内部学会一套"世界的运行规律"，从而预测下一步。这一方向从 2018 年到现在走过两步。

第一步：V/M/C 三件套，最省事的世界模型

2018 年的论文 World Models 给出了一个极简框架，只有三个组件。V（Vision，视觉模型）把当前这一帧像素压缩成一小段向量，回答"我看到了什么"；M（Memory，记忆模型）是一段循环网络，把过去几帧的历史滚进一个隐藏状态，回答"事情是怎么发展到现在的"；C（Controller，控制器）拿 V 的压缩和 M 的记忆拼在一起，决定这一步的动作。WorldModels

图注：World Models 的 V/M/C 三件套。观察画面进入 V 被压成向量，M 沿着时间轴滚动记忆，C 综合两者输出动作，动作影响环境，环境产生新画面再回到 V，构成封闭回路。WorldModels

控制器刻意做得极小，就是一个线性映射：

$$a_t = W_c [z_t , h_t] + b_c$$

一句话解释：把"这一帧的浓缩" $z_t$ 和"历史的浓缩" $h_t$ 拼成一个向量，乘一个权重矩阵、加一个偏置，就是动作。决策的复杂度全压在 V 和 M 身上。

最反直觉的是训练方式：控制器不是直接在真实环境里学，而是先让 M 学会预测下一帧，然后让控制器在 M 生成的"幻觉未来序列"里练策略，练完再搬到真实环境。论文里的对照实验能说明"预测未来"为什么值钱：在赛车游戏 CarRacing 里，完整用上记忆链的模型拿到 906 分，只把当前帧压缩向量给控制器、不看历史的版本只有 632 分。不看历史就没法预判弯道，再好的驾驶技术也白搭。WorldModels

这就像台球高手出杆前，脑子里已经把球撞出去之后的几杆路径预演了一遍；只盯着当前一个球位就急着挥杆的人，打不出翻袋。把"未来预演"这一环放进系统里，就是世界模型在做的事。

第二步：Genie 从无标签视频自学可交互世界

2018 年的版本有个奢侈前提：训练时拿得到真实动作标签。2024 年 DeepMind 的 Genie 把这个前提也去掉了，它从 3 万小时完全没有标注的游戏视频里，自己学出了一个可以玩的世界。Genie

图注：Genie 的三件套：输入 T 帧视频，视频分词器把它们压成离散 token，潜在动作模型从帧与帧的差异里推断出动作，两者一起进入动力学模型，预测出下一帧。结构和 V/M/C 同构，但动作不再需要标签。Genie

最妙的部件叫潜在动作模型（Latent Action Model，LAM）。看两帧相邻画面，编码器结合历史帧和未来帧，猜出"中间发生了什么操作"，猜出的动作被离散成一个小小的词表；解码器再用历史和这个动作把未来帧重建出来。它的训练信号来自"重建得对不对"，根本不来自任何人工标注。有个细节务必记住：LAM 训练完就被整个丢弃，推理时换成玩家手里真实的按键。也就是说，模型学会的是"动作空间长什么样"，至于谁来按，无所谓。Genie

图注：潜在动作模型的结构：上半的编码器同时看历史帧和未来帧，推断出中间的动作，离散成码表里的一个潜在动作；下半的解码器拿历史帧加上这个动作，重建未来帧。训练信号来自重建质量，不是标注。这套动作词表训练完即弃。Genie

把三件套组装起来，Genie 就能把各种输入变成可玩的世界。文字生成的夕阳场景、随手画的手绘草图、一张真实照片，都能变成按着手柄就能前进后退的交互环境。

图注：Genie 的输入输出：文字生成的场景、手绘草图、真实照片三种输入，分别生成对应的可玩帧序列；每行下方标注了手柄按键序列，按不同的键画面会走向不同的分支。

后面的演进是一条直线：Genie 2 把世界模型从 2D 推到 3D 可玩环境，Genie 3 做到 24 FPS 实时交互，甚至能用文字改天气、往场景里塞新物体。不过这两代目前只有 DeepMind 的官方博客介绍，参数和基准都未公开，当个方向感看就好。Genie

世界模型的这一步很清楚：给机器装上一个"能在内部预演未来的模拟器"，而且这个模拟器连动作标签都不用，从视频里自学。但光会预演还不够，预演出来的念头得接上真实世界的肢体。下一章看这条路：让机器人动手。

6. 让机器人干活，为什么"看一步走一步"会撞墙？——VLA 的路线与天花板

具身智能（Embodied Intelligence）把视觉和行动接起来。这一章先看主流路线 VLA，即视觉-语言-动作模型（Vision-Language-Action），再看它撞上的墙。

第一步：动作也是另一种语言

2017 年之后，自然语言模型证明了"词语的序列"能被大规模学到。DeepMind 的 RT-2 在 2023 年提出一个大胆的接口设计：把机器人的动作也当成"语言"来写。夹爪要平移多少、旋转多少、开合与否——6 维位姿加夹爪共 7 个连续维度，每个维度切成 256 档（另加一条终止指令），编码成文本 token，和互联网上的图文问答数据混在一起，让同一个模型共同微调。推理时模型先吐出一串动作 token，再反解码成机械指令送给机器人。RT-2

图注：RT-2 的三栏流程：左栏是两类训练数据，互联网规模的图文问答配上机器人的动作问答；中栏是模型本身，ViT 看图像、语言模型处理指令，输出的动作 token 再反解码成机械命令；右栏是部署后的闭环控制，机器人完成分碗、接住快掉落的袋子等任务。RT-2

这个设计的妙处是：动作和文字共享同一个 token 空间以后，互联网上学的知识直接迁移给了机器人。之前"先规划、再控制"的两段式管线，被合并成一个端到端的模型。

第二步：机器人也需要大模型级的数据

RT-2 这样的模型要练起来，光靠自家机器人采的数据远远不够。2023 年 10 月，21 家机构把 60 个现成的机器人数据集合并成 Open X-Embodiment（OXE）：22 种机器人本体、527 项技能、100 万条以上真实轨迹。OXE

图注：Open X-Embodiment 数据集概览：中央信息框列出 22 种机器人本体、527 项技能、60 个数据集、100 万条轨迹，来自 21 家机构、34 个实验室；四周是按颜色分组的各子数据集拼贴。单台机器人能采集的数据量远远不够大模型吃，把几十种机器人的数据合并起来才行。OXE

第三步：动作从"离散档位"升级成"连续生成"

RT-2 把动作切成 256 档，这个离散化是有代价的：灵巧动作需要极其细腻的表达，档位不够用。2024 年 Physical Intelligence 的 π0 改用了 flow matching 直接生成连续动作，不再过档位。架构上也做了分工：一个 3B 参数的 VLM 骨干负责听懂世界，外加一个 300M 参数的动作专家（action expert）专门管动手，总参数约 33 亿，两者只在自注意力层交互，各自的 MLP 独立。π0

图注：π0 架构：左上是预训练数据混合，自有灵巧操作数据加开源数据；中间是 flow matching VLA 模型，由 PaliGemma 初始化的 VLM 骨干加动作专家组成，输出一整段连续动作；右边是它控制的多种机器人形态：双臂、移动操作、单臂。π0

还有一个"动作生成"的变体值得一提：Diffusion Policy 把整个动作序列当作一团噪声，用修图师那套去噪手法，一步步从噪声里"修出"一段合理的动作轨迹。它和 π0 都指向同一个结论：动作分布天生多模态，适合用生成式模型来学，而不是回归一个平均值。DiffusionPolicy

撞墙：看一步走一步，不知道世界会怎么变

VLA 路线走到这里已经能干活，但它有个结构性的缺口。把它画成输入输出就是：观测 O 加指令 L，直接映射到动作 A，中间没有任何一环在回答"我这一动之后，世界会变成什么样"。课件把这个缺口写得非常直白：不预测未来，没有物理理解，也没有因果理解。

打个比方，这种策略是"看一步走一步"：机器人伸手去拿桌上的杯子，它知道手该往哪儿伸，但它不知道杯子旁边那瓶水会被手碰倒。因为它眼里只有"现在"这一帧，没有"我动完之后会发生什么"的预演。

于是问题来了：上一章的世界模型不是正好能预演未来吗？能不能把它和动作生成接起来？能，而且接法不止一种。这就是下一章的主题：世界动作模型。

7. 给机器人装上一张"心里地图"：世界动作模型，与五大方向的一张全景图

三种接口，一眼看清差别

把三类模型画成"输入到输出"的接口图，差别一目了然。WAM Survey

图注：左半是三种模型的接口对比：VLA 从当前观测和语言只输出动作，世界模型从当前观测和动作只输出下一帧观测，WAM 同时输出下一帧观测和动作；右半是 WAM 与 VAM、Video Policy 的概念交叠关系。WAM Survey

• VLA：给定当前观测 $o$ 和指令 $l$，只生成动作 $a$，建模 $p(a \mid o, l)$。它是反应式的，观测直接映射动作。
• 世界模型（World Model，WM）：给定当前观测 $o$ 和动作 $a$，只生成下一帧 $o'$，建模 $p(o' \mid o, a)$。它只预测未来，不碰动作。
• 世界动作模型（World Action Model，WAM）：把两者合成一个目标，同时预测未来、同时生成动作，建模 $p(o', a \mid o, l)$。

回到上一章的比喻：VLA 是看一步走一步，WAM 则是心里有地图，出手之前先在内部把"世界会怎么变"预演一遍，再把预演和动作一起生成出来。WAM 不是 VLA 加世界模型的简单堆叠，而是一个联合目标：动作生成必须与所预测的未来严格对齐。复旦大学等团队（OpenMOSS）2026 年 5 月的 WAM 综述给出了这套定义，并把现有工作梳理成两条落地路线：WAM Survey

• Cascaded（级联）：先让一个世界模型预测未来，像素级或 latent 级都行，再由一个独立的动作模型从预测里解出动作。两段分开训练。

图注：Cascaded 的三种结构：像素视频经学出来的逆动力学模型解出动作（1a），像素视频经几何提取（位姿或光流）解出动作（1b），latent 未来表示交给动作模型解出动作（2a）。共同点是"先预测未来，再解动作"。WAM Survey

• Joint（联合）：一个骨干同时出未来和动作，共享训练目标。其中扩散派的做法是把视频和动作放在同一个 DiT 里一起加噪、一起去噪。课件给出的 Dreamzero 就是这类：

图注：Dreamzero 把"预测未来"和"生成动作"并成一件办：左半是训练阶段，视频帧和动作曲线一起加噪、由同一个 DiT 去噪（joint flow matching）；右半是推理阶段，在真实世界闭环执行，每执行一段就用真实观测刷新对未来的预测，再往下走。

注意推理那一半的闭环：预测不是一次性下注。这就像打台球，每杆打完都重新观察球的位置、重新瞄下一杆，预测和行动交替推进，而不是一次把所有球路都算死。这样即使预测有误差，也会被真实世界不断纠正。

收口：五大方向是一条接力线

到这里，前面五章的内容可以拼成一张全景了。这张树状图是截至 2026 年 5 月的 WAM 研究坐标，感知、生成、世界建模、VLA 都作为背景分支挂在树上，Genie 3 这类 2026 年年中的新动向还在树外。WAM Survey

图注：WAM 全景分类树：背景分支是 VLA 和世界模型，架构分支把 Cascaded 与 Joint 两大类铺开，训练数据与评估维度各自成支，叶节点是代表工作名。它不是完整论文清单，也不是严格时间线。WAM Survey

五个方向各自把什么变成什么、当前卡在哪，一句话说清：

最后给你几个复习抓手，每章一个判断：

1. 感知的六十年，是"知识放在哪里"的搬家史：从人写特征，搬到网络结构，再搬到数据。
2. 开放词汇的本质，是把识别从"封闭类别里挑一个"换成"和任意文本描述匹配"。
3. 生成有两条路：一笔成型的画家（GAN），和反复精修的修图师（扩散）。
4. 世界模型是让机器带着一个能在内部预演未来的模拟器行动，而且这个模拟器可以从无标签视频里自学。
5. VLA 是"看一步走一步"的反应式策略，中间缺了"世界会怎么变"这一环。
6. WAM 把预测未来和生成动作合成一个目标，是这条接力线在 2026 年的坐标。

机器的"看懂"，从 1966 年的一个暑假之约开始，六十年里换了四次答案：先是人写特征，再是数据自学，然后是语言对齐的开放词汇，最后问题本身升级了，从"看懂"变成了"动手"。站在今天往回看，五大方向不是并列的五个抽屉，而是一条从看懂到行动的接力线；线的终点，是让机器既懂物理、又敢动手的世界动作模型。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. ImageNet Classification with Deep Convolutional Neural Networks（AlexNet） — NeurIPS 2012 Proceedings
2. Distinctive Image Features from Scale-Invariant Keypoints（SIFT） — IJCV 2004
3. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale（ViT） — arXiv:2010.11929
4. Learning Transferable Visual Models From Natural Language Supervision（CLIP） — arXiv:2103.00020
5. Generative Adversarial Networks（GAN） — arXiv:1406.2661
6. A Style-Based Generator Architecture for Generative Adversarial Networks（StyleGAN） — arXiv:1812.04948
7. High-Resolution Image Synthesis with Latent Diffusion Models（LDM） — arXiv:2112.10752
8. Recurrent World Models Facilitate Policy Evolution — arXiv:1803.10122
9. SAM 3: Segment Anything with Concepts — arXiv:2511.16719
10. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control — arXiv:2307.15818；Open X-Embodiment: Robotic Learning Datasets and RT-X Models — arXiv:2310.08864
11. Genie: Generative Interactive Environments — arXiv:2402.15391；Genie 2 与 Genie 3 见 DeepMind 博客：Genie 2、Genie 3
12. π0: A Vision-Language-Action Flow Model for General Robot Control — arXiv:2410.24164
13. Diffusion Policy: Visuomotor Policy Learning via Action Diffusion — arXiv:2303.04137
14. World Action Models: The Next Frontier in Embodied AI（WAM Survey） — arXiv:2605.12090