计算机视觉领域概述

照片应用里输入 "beach" 就能把整本旅行相册搜出来，自动驾驶在雨夜里分清路人与路灯杆，机器人看一眼厨房就能执行"把碗放进洗碗机"。这些能力共享同一个学科底座：计算机视觉。它早已不是"认出图里是什么"这么单纯的事。这篇带你走一遍现代 CV 的地图：五条线，各自回答什么问题，为什么偏偏是这个顺序。

计算机视觉到底在解决什么问题？

你可能会说，计算机视觉就是让机器"看懂"图片。这个说法不算错，但含糊。问题在于，"看懂"对人和机器指的不是同一件事。你看到一张海滩照片，看到的是沙滩、海水、蓝天白云；机器看到的不是画面，而是一串数字。这门课程（香港科技大学 AIAA 5026《计算机视觉及其应用》）在第一周的巡礼课上，用一张图把这件事钉成了整组专题的地基：

图注：左侧"你"看到的是海滩，右侧"计算机"看到的是一串带方括号的像素数字（[123]、[45]、[67]…）。中间的 Computer Vision 箭头，就是要把数字矩阵变成理解。底部两行公式把整件事说死：Image → Numbers → AI → Understanding；而计算机视觉的本质 CV: Numbers → Understanding，正是这条链的后半段。

这句话值得读两遍。Image（图像）先变成 Numbers（数字），AI 在数字上工作，最后得出 Understanding（理解）。所以 CV 的本质不是"机器识图"，而是"机器对数字做推理"。人看海滩是秒懂语义，机器拿到的是像素值矩阵，二者之间隔着整个 Computer Vision 这个箭头。

既然 CV 的本质是把数字变成理解，那么"理解"本身是分层的。课程框架开宗明义：Computer vision is no longer only recognition，计算机视觉不再只是识别。它把现代 CV 划成五个方向：Perception（感知）、Reasoning（推理）、Generation（生成）、World Modeling（世界建模）、Embodied Intelligence（具身智能）。每条线回答一个不同层次的问题：

注意，这个顺序不是随手排的。每条线都在补上一条线留下的缺口：识别为推理提供证据，生成为模拟提供手段，模拟为行动决策提供前提。为什么偏偏是这个顺序，读到最后一章自然明白。先走第一站：机器怎么从数字里认出 X？

机器怎么认出"这是 X"？

感知是 CV 最古老的任务，也是这条链的起点。先做时序定位：2012 年之前，识别靠的是 SIFT、HOG 这类人工设计的特征描述子加浅层分类器，特征要由专家按任务手工设计；2012 年 AlexNet 用端到端训练的深度卷积网络在 ImageNet 挑战赛上大幅胜出，从此特征不需要人写，改由模型自己从数据里学出来。这是感知线第一个范式断代，课程把 2012 到 2020 命名为 Deep learning era。AlexNet

但感知线真正有意思的变化，发生在"识别"这件事本身被重新定义的时候。2012 年之后十年，识别的主流形态是闭集分类：模型在 ImageNet 那 1000 个固定类别里选一个标签，训练时没见过的东西它无从谈起。2021 年 OpenAI 的 CLIP 打破了这堵墙。它把识别的监督信号从"固定类别标签"换成自然语言：一个图像编码器和一个文本编码器一起训练，学习预测一个 batch 里图文对的正确配对，训练数据是互联网上抓取的 4 亿对图文。训练完之后，模型不再需要为每个新数据集单独训练分类头，只要把候选类别名写成自然语言 prompt（比如 "a photo of a {label}"），算图像与每条文本的相似度，取最高者即可。这就是 open-vocabulary recognition（开放词汇识别）：识别从"在闭集里选标签"变成了"用语言匹配"。CLIP 用这套做法做零样本迁移，甚至不需要 ImageNet 那 128 万张标注样本。CLIP

CLIP 的论文第一张图把这次范式变化画得最清楚：

图注：上半部分对照两条路线：标准图像模型训练"图像特征 + 线性分类器"去猜固定标签；CLIP 改为图像编码器与文本编码器共同训练，预测一个 batch 内的图文配对。下半部分是零样本迁移：查询图像与各条候选文本 prompt 各自编码，取相似度最高者作为预测。双塔、对比学习、零样本，三件事一张图讲完。CLIP

OpenAI 之后是 Meta 的接力。2025 年的 SAM 3 把开放词汇从图像级分类又往下推了一层：它定义的任务叫 promptable concept segmentation（可提示的概念分割），输入是一句简短名词短语（比如 "yellow school bus"）或图像示例，输出是图中所有匹配实例的分割 mask 和唯一 ID。也就是说，语言/概念 prompt 不只告诉你"图里有没有这种东西"，还逐像素地告诉你"这些东西在哪儿"，并且能跨视频帧跟踪。架构上，图像级检测器与基于记忆的视频跟踪器共享同一个 backbone，识别与定位由 presence head 解耦。SAM 3

图注：SAM 3 架构概览：图像级检测器与基于记忆的视频跟踪器共享单个 backbone，识别与定位由 presence head 解耦。概念 prompt 从图像级分类一路下沉到像素级分割与视频跟踪。SAM 3

感知线到这里并没有落幕，而是被统一到了"语言/概念驱动"的新形态。它的机制细节（SIFT/HOG 一路如何走到 CLIP 和 SAM 3）《感知的进化：从手工特征到开放词汇识别》一篇会展开。这里只要记住这一行的产出：识别给出的是"节点"。图里有 X、X 在哪个区域，仅此而已。认出 X 不等于知道 X 意味着什么。这正是下一站要补的缺口。

认出之后，怎么推出结论？

把感知和推理的边界一句话钉死：识别告诉你图里有 X；推理要回答这是哪里的 X、为什么在这里、接下来会发生什么。识别产出的是节点（对象、类别、区域），推理把这些节点串成结论。举个具体例子：识别能告诉你"画面里有一把宽 0.6 米的椅子"，推理要回答的是"门宽 1 米，这把椅子能不能搬进去、摆在哪个角落"。

推理线在 2025 年才被系统性地整理成一个独立范式家族，名字叫 thinking with images。Su et al. 2025 的综述提出，这类模型的共同点是把图像从"静态前提"升级成"动态、可操作的认知工作区"：模型在思考过程中主动查询、修改、甚至生成新的视觉中间步骤，而不是把图看一遍就只在文本里推理。论文用了个贴切的比喻：人做题时会在草稿纸上画辅助线，thinking with images 就是让模型在图上做等价的视觉操作。ThinkingWithImages

顺着这张范式图，可以把推理线内部的结构一眼看清：

图注：Su et al. 2025 的 thinking with images 三阶段范式图：Stage 1 从固定工具清单中挑选（工具驱动的视觉探索），Stage 2 编写可执行程序做定制化视觉分析（程序化视觉操作），Stage 3 直接生成新图像作为推理的中间步骤（内生视觉想象）。三个 stage 不是严格的时间先后，而是可并用的认知成长轴。ThinkingWithImages

顺着这张图走一遍三阶段。Stage 1，模型作为规划者，从一组现成工具（目标检测器、裁剪缩放、Set-of-Mark 提示）里挑该用哪个、按什么顺序组合；Stage 2，模型作为视觉程序员，直接写可执行代码（比如用 matplotlib 画一张 2D 顶视图）来做定制分析；Stage 3，模型生成新图像当推理步骤，比如先画出"摆好新沙发之后的房间"再据此自检。从"挑选工具"到"生成图像"，模型对视觉证据的操作能力逐级加深。

这一行独立成线，是因为它把感知给的"节点"串成了"结论"。具体案例（给一张街景照片定位到具体地点、从静态 UI 截图推断交互逻辑）《视觉推理：从"看到什么"到"推出结论"》一篇会展开。钩子留在这里：推理处理的是"已经存在的视觉"。那机器能不能凭空造出视觉？下一章，方向倒过来。

机器能凭空画出图像吗？

生成是感知的对偶方向。感知把图像编码成表征，生成把表征解码回像素；一读一写，共用同一套表示。这个对偶关系在工程上的证据很具体：CLIP 学出的视觉-语言表征同时被两条线使用，感知线拿它做开放词汇识别，生成线拿它当条件生成的输入，DALL-E-2、Stable Diffusion 都调用 CLIP 的文本编码器。

有编程背景的话，可以借一对老朋友来抓这个对偶：序列化和反序列化。序列化把内存里的对象变成可存储、可传输的字节流，反序列化再把字节流还原成对象，两件事方向相反，共用同一份序列化格式。感知是把像素"序列化"成表征，生成是把表征"反序列化"回像素。这个类比只是辅助，跳过不影响主线。

生成线有自己的范式时间线。Cao et al. 2023 的 AIGC 综述把这条线断代得很干净：2013 年 VAE 打开潜空间生成的路，2014 年 GAN 用生成器与判别器的对抗带来深度学习时代第一个范式断代，2017 年 Transformer 成为跨模态汇流的拐点，2020 年前后 DDPM/DDIM 等扩散模型迅速取代 GAN 成为主流，2022 年 Stable Diffusion、DALL-E-2、Imagen 三足鼎立，文生图进入工业化。AIGC Survey

时间线本身值得看一眼：

图注：Cao et al. 2023 的 CV/NLP/VL 三轨生成史时间线：CV 侧是 VAE、GAN、扩散家族，NLP 侧是 Transformer 与 GPT/BERT 系列，VL 侧是 CLIP、DALL-E-2、Stable Diffusion。三轨在 2017 Transformer 与 2021 CLIP 处汇流，这正是"生成与感知共用视觉-语言表征"的图形化表达。图覆盖到 2022 年的文生图节点，不含之后的文生视频。AIGC Survey

VAE、GAN、扩散各自怎么工作，《生成：让模型学会创造像素》一篇会展开。这里要看的是生成线最接近世界模型的作品。2024 年底 DeepMind 的 Genie 2 接受一张提示图，就能生成一个可以被键盘鼠标操作的世界：同一个潜在状态，按下不同的动作（W 前进、A 向左、E 攻击），产出不同的下一帧。Genie 2

图注：Genie 2 交互逻辑示意图：提示词经 Imagen 3 生成起始帧，编码器把它压成潜变量网格，键盘动作（W 前进、A 向左、E 攻击）叠加到网格上，解码器针对每个动作各自生成后续帧。同一个潜在状态、不同动作产出不同轨迹。这是官方博文的概念示意，不代表真实训练架构。Genie 2

"动作 → 下一帧"意味着画面开始对输入做出反应，而不只是自说自话地延续。但先别急着下结论："会画连续帧"和"推得合理"是一回事吗？下一章回答这个问题。

画得出世界，就能预演世界吗？

上一章的 Genie 2 是"视频生成是世界模型的一种候选"的证据，这一章要划清边界。世界模型补的不是真实感，而是可推演性。DeepMind 2025 年给过一个干净的定义：world model 是能利用对世界的理解去模拟世界局部的 AI 系统，让 agent 既能预测环境会如何演化，也能预测自己的动作会怎样影响环境。注意关键词：不是"画得更像"，而是"推得对"。

这条线的奠基节点是 2018 年的《World Models》（David Ha 与 Jürgen Schmidhuber）。它的骨架用三个字母就能记住：V 把高维观测压成低维 latent，M 记住历史并预测下一个状态，C 输出动作。World Models

图注：World Models 2018 的三件套：V（视觉模型）把观测压成 latent z，M（记忆模型）拿 z 和动作更新状态并预测下一个 z，C（控制器）从 z 与历史状态输出动作。箭头把"观测 → latent → 动作 → 下一状态预测"串成时间步因果链。World Models

关键不在这三个组件本身，而在论文摘要里的那句话：agent 可以在自己内部"幻觉"出来的环境（原文叫 hallucinated dream）里完整地训练策略，再把策略迁回真实环境。这就把世界模型和"更逼真的视频生成"分开了：前者存在的意义是让 agent 先在内部排练，而不是把画面渲染得更漂亮一点。

一个方便的直觉是"从数据里学出来的游戏引擎世界模拟层"。游戏引擎里那个模拟层干的事，是接收玩家输入与当前世界状态，算出下一帧世界状态；世界模型做的正是同一件事。差别只在规则的来源：游戏引擎的规则是程序员一行行写死的，世界模型的规则是从视频数据里学出来的。这个类比可跳过。

这条线的最新代表是 DeepMind 的 Genie 3（2025 年 8 月）。官方给出的四项规格把可推演性推到实时交互前沿：24fps、720p、能保持数分钟的环境一致性、以及 promptable world events，也就是可以用文本描述改变生成世界（改天气、加物体加角色），支持各种 what-if 反事实场景。按 DeepMind 官方说法，Genie 3 是它自家第一个允许实时交互的世界模型，并在一致性与真实感上较 Genie 2 更进一步。Genie 3

V/M/C 内部怎么训练、Genie 系列一路如何演化，《世界模型：在机器内部模拟世界》一篇会展开。到这里四条线走完：看见、推出、画出、推演。最后一个缺口很自然：在真实世界里，靠什么动起来？

预演之后，能在真实世界动起来吗？

具身智能把前四条线的产物全部收口到"行动"上。它的核心模型形态叫 VLA（vision-language-action models，视觉-语言-动作模型）：把已经在互联网规模数据上预训练好的 VLM 当主干，再接一个产生机器人动作的头。读图、听话、动手，一个模型完成。注意，VLA 是一个模型类别，不是某一个模型。

这个类名本身有出处。2023 年 Google DeepMind 的 RT-2 第一次把这族模型命名为 VLA，做法很直接：把机器人动作也表达成 text token，跟语言 token 一起微调进一个 VLM，再部署成闭环的机器人控制。互联网规模学到的视觉-语言知识，第一次被直接搬到了动作端。RT-2

两年后，范式跃迁发生在 Physical Intelligence 的 π0（2024 年 10 月）。它把动作输出从"写进 token 表"换成 flow matching 连续生成，模型结构变成"更大的 VLM backbone + 更小的 action expert"（主干用 PaliGemma 初始化），训练数据横跨单臂、双臂、移动操作平台。看架构图最直观：π0

图注：π0 框架概览：左侧是预训练混合数据（自研灵巧操作数据 + OXE 等开源数据），中间是"VLM backbone + action expert"两层结构，右侧接到多个形态不同的机器人。一个模型 = 视觉 + 语言 + 动作，是这张图最想传达的事。π0

同一套权重在不同形态的机器人上跑，这就是跨本体训练。π0 论文里附了一张训练平台全家福：

图注：π0 实验使用的机器人拼贴：6 自由度 / 7 自由度单臂、双臂、全向与非全向移动操作平台。π0 在同一批平台上联合训练，这是一张"物理平台多样性"的事实图，不是性能对比。π0

跨本体训练不是空话，背后有数据规模的支撑：Open X-Embodiment 汇编了 21 个机构、22 种机器人本体、超过 100 万条真实轨迹，据官方项目页，把全球约 34 个实验室的约 60 个数据集统一成一份，在它之上训练的 RT-X 模型已经表现出正迁移。Open X-Embodiment

2025 年 4 月的 π0.5 再进一步：用异构数据共训练（多机器人数据 + 高层 VLM 语义预测 + web 数据），端到端学习的机器人第一次在完全陌生的家庭环境里完成长时间任务，比如整理厨房和卧室。π0.5

从 RT-2 的"命名"到 π0 的"范式跃迁"再到 π0.5 的"开放世界泛化"，具身线的三步走把整张地图收口：看见、推出、画出、预演，最终都是为了可靠地动起来。SayCan、RT-1、WAM、Dreamzero 这些具体路线，《具身智能：把视觉、语言与动作接成闭环》一篇会展开。五条线从"看到"走到"行动"，这个顺序为什么不是随意的？最后一章。

五条线为什么是"这个"顺序？

回到开场那张图。Image → Numbers → AI → Understanding 是五条线共用的底座；走到这一章，"理解"之上又长出了"行动"。把整条链摊开看，它其实是这样的：

图注：五条线的衔接因果链。感知给出节点，推理把节点串成结论，生成把方向对换（理解造回像素），世界模型把画面变成可推演的环境，具身智能把推演迁回真实行动。箭头上的三句话是三条衔接链：识别为推理提供证据、生成为模拟提供手段、模拟为行动决策提供前提。

这三条衔接链不是硬凑出来的。2025 年 10 月的 Physical AI Survey（Xiang et al.）独立提出了一条四阶段路线：perception → reasoning → modeling → interaction。感知把感官数据变成结构化物理表征，推理从观测推导解释，建模做基于物理原理的预测性模拟，具身交互通过物理操作与环境反馈闭环。注意它的"建模"阶段可以容纳我们单列的"生成"作为子手段：生成 ⊂ modeling。也就是说，"识别 → 推理 → 生成 → 模拟 → 行动"的排序与近年物理 AI 文献的方向一致（如该综述独立提出的四阶段路线），不是课程自造。而且这篇综述自己也强调，四阶段不是严格串行的 pipeline，而是结构依赖：后面的能力依赖前面学到的结构。Physical AI Survey

外部坐标系长这样：

图注：Physical AI Survey 的四阶段框架：Physical Perception（识别物体属性）、Physics Reasoning（理解符号系统与物理规律）、World Modeling（模拟与预测）、Embodied Interaction（与物理环境交互）。它是一个独立综述提出的路线图，与本篇五条线在后三阶段自然对齐。Physical AI Survey

所以五条线不是分类抽屉，而是一条因果链，每一步都在补上一步留下的缺口。这张地图的深读顺序，也就是你接下来点开的顺序，后一篇用前一篇的产物：

• 《感知的进化：从手工特征到开放词汇识别》：识别怎么从专家手工设计特征走到语言驱动的开放词汇，机制细节在这里补。
• 《视觉推理：从"看到什么"到"推出结论"》：把节点串成结论的具体案例与完整证据链。
• 《生成：让模型学会创造像素》：VAE、GAN、扩散、文生视频的架构与来龙去脉。
• 《世界模型：在机器内部模拟世界》：V/M/C 的算法、Genie 系列的演化。
• 《具身智能：把视觉、语言与动作接成闭环》：从 SayCan 到 RT-2 到 π0/π0.5，以及 WAM 路线。

读完这五篇，你手里就不再是一张地图，而是一条能一步步走通的链路：从像素到理解，从理解到行动。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. AIAA 5026《计算机视觉及其应用》第一周技术巡礼：「How AI Sees?」课件概念图 — 课程课件内嵌图（无外部 URL）
2. CLIP: Learning Transferable Visual Models From Natural Language Supervision — arXiv:2103.00020；SAM 3: Segment Anything with Concepts — arXiv:2511.16719
3. ImageNet Classification with Deep Convolutional Neural Networks（AlexNet） — NeurIPS 2012 proceedings
4. Thinking with Images for Multimodal Reasoning: Foundations, Methods, and Future Frontiers（Su et al. 2025） — arXiv:2506.23918
5. A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT（Cao et al. 2023） — arXiv:2303.04226
6. Genie 2: A large-scale foundation world model（DeepMind 官方博文） — https://deepmind.google/blog/genie-2-a-large-scale-foundation-world-model/
7. World Models（Ha & Schmidhuber 2018） — arXiv:1803.10122；Genie 3: A new frontier for world models（DeepMind 官方博文） — https://deepmind.google/blog/genie-3-a-new-frontier-for-world-models/
8. RT-2（Google DeepMind 2023） — arXiv:2307.15818；π0（Physical Intelligence 2024） — arXiv:2410.24164；π0.5（Physical Intelligence 2025） — arXiv:2504.16054
9. Aligning Perception, Reasoning, Modeling and Interaction: A Survey on Physical AI（Xiang et al. 2025） — arXiv:2510.04978
10. Open X-Embodiment Dataset（RT-X 项目页） — https://robotics-transformer-x.github.io/；论文 — arXiv:2310.08864