AI 通识课笔记：从"只会照章办事"到"学得会却会看走眼"

这份笔记帮你把港科广《AI 通识课》第一、二讲（UCUG 1002）的重点重新顺一遍。它围绕一条主线展开：机器从只会照预设规则跑的"计算器"，一路走到能从数据里自己学规律的神经网络与深度学习，再长成今天会说话、会画图的大模型。而这条路上最值得记住的分界，出现在最后的收尾：学统计规律学来的本领，既是它强大的来源，也是它会被极小一段噪声骗得看走眼的根源。

1. 又快又自动的机器，凭什么我们不肯叫它 AI？

先看一节你在家里天天遇见的机器。洗衣机按下模式就自己转完整个流程，计算器一按就有结果，速度快、全自动。课件的结论却很反直觉：这类装置通常不算 AI。为什么？因为它们只是按人类预设的规则执行，不会从自己的经历里学习，也不会应对没见过的情形。一台算得再快的计算器，把规则搬得再熟练，也不算"智能"。

那分界到底画在哪？课件给了一条能用来判断的标准（讲义所载）：会不会从数据里学到规律，并据此自行调整自己的行为。顺着这个标准，连自动驾驶、人脸解锁、ChatGPT 这类"看起来像 AI"的系统，都要用同一个问题去检验：它是在机械执行，还是在感知环境、从中学习并调整策略？

把这条分界讲清楚需要三个元件，也就是 AI 的三大要素：算法（algorithms）、算力（computing power）、数据（data）。算力是把规则算得多快，算法是算的方式，数据是"喂"给机器去学的素材。缺了"从数据里学"这一步，剩下两样再强，也只是在重复搬运规则本身。

课件把 AI 可能展现的能力列成了一张表，通常被概括为五种（讲义所载）：感知（Perception），看、听并解读环境；学习（Learning），从数据和经验里发现模式；推理（Reasoning），推断、规划并解决问题；语言（Language），理解并生成人类语言；行动（Action），作出决策、适应并与世界交互。注意一个 AI 系统可能只具备其中一两项，未必样样俱全。

课件在这一节最后抛出的开放问题，正是全书的引子：如果一个机器表现得很智能，它是否真的"理解"？ 别急着答。带着这个问题往下读，等到最后你会拿到一个能自己作答的答案，而不是一句口号。

这一节你要带走的话：判断一个系统算不算 AI，不看它快不快、是否自动化，只看它会不会从数据里学到并自行调整自身行为。

2. "机器会不会思考"是怎么被改造成一道能检验的题？

要把"思考"变成一道能动手检验的题，最早的成功来自艾伦·图灵。1950 年他在论文《Computing Machinery and Intelligence》里做了一次漂亮的设问转移：与其争论"机器有没有真正的意识"这种说不清的本体论问题，不如把它换成一场能实际操作的游戏，也就是后来所称的图灵测试（Turing test），原名"模仿游戏"。

游戏规则很简单。一位审问者隔着墙，通过纯文字通道分别与两个隐藏实体对话，一个是真实的人，一个是机器。审问者必须只凭文字问答判断谁是谁，看不到、听不到任何其他线索。图灵把机器放到"人"的位置上，问的是：如果审问者没法可靠地分出人和机器，就应当认为这机器表现出了类似人的智能。图灵1950

这一转移的关键在于把"智能"从说不清的内在本质，搬到能被外部观察检验的行为上。它不证明机器有内在理解，只是给了个可操作的约定。这条"行为过得去 ≠ 证明内在理解"的边界，会在最后一章回扣成"表现得聪明 ≠ 可靠理解"的远祖。

把镜头拉远，看这条时间轴上的坐标。神经网络这一侧有几个公认节点：1943 年 McCulloch 与 Pitts 提出用神经元建模的抽象计算单元（M-P 神经元）；1956 年达特茅斯会议上"artificial intelligence（人工智能）"一词诞生；2012 年 AlexNet 以大比分赢得 ImageNet，是深度学习复兴的热门落点。AI史评综述

与它并排的是课件里另一条"符号 AI"路线的里程碑，注意这些年份以课件为准、非外部综述背书：1966 年 MIT 的约瑟夫·维森鲍姆做出对话程序 ELIZA；1980 年专家系统 XCON 在工厂落地；1997 年 IBM 的深蓝在国际象棋上击败世界冠军卡斯帕罗夫；2011 年 IBM 的 Watson 在电视问答节目 Jeopardy! 战胜人类冠军。

符号路线和神经网络路线长得很不一样，但把它们摆在一起会看见同一个规律：ELIZA、深蓝、Watson 强的都是封闭世界，规则由人类预先写全，比如棋类规则、百科题库。一旦来到真实、开放、规则写不完的世界，靠人手写规则这条路的"墙"就暴露了。

所以今天谈 AI 几乎都落到神经网络与深度学习上，并不是因为它"新"，而是因为它用"从数据里学"绕开了"靠人写规则写不完"那堵墙。正如综述里那句大白话：机器学习是一门研究"信用分配"的学问，本质是找模式、据此预测并改善未来表现。AI史评综述

这一节你要带走的话：AI 史不是一串年份，而是一次路线更换。为什么换路线？因为规则写不完，所以改让机器自己从数据里学规律。

3. 自己学的神经网络，怎么一层层长起来，又为什么非得有那道弯折？

要理解"机器怎么从数据里学"，得先看清神经网络里最基础的那一格。我们把一个神经元（neuron）拆开看，它就做三件事：把进来的若干输入各乘以一个权重（weight，即 w），再加一个偏置（bias，即常数 b），最后过一道**激活函数（activation）**打个弯。用记号写就是先求和 $z=\sum_i w_i x_i + b$，再 $y=\sigma(z)$。

很多这样的小格按层连起来，就成了网络：一层叫隐藏层（hidden layer），网络里夹着 $n$ 个隐藏层就叫深度网络。所谓"深"，指的不是别的，正是隐藏层的数目。课件给过一个直观对照（讲义所载），把几个代表性网络的深度沿时间轴排开：2012 年的 AlexNet 常被记为 5 层、2014 年的 VGG 到 19 层、同年的 GoogLeNet 到 22 层。这里有个口径要换算清楚：课件写 AlexNet"5 层"其实只数了卷积层；按论文口径它一共有 8 个可学习层，即 5 个卷积层加 3 个全连接层。AlexNet

深度学习里"加深有效"有一个非常直观的墙。你可能会问：既然每多加一层，网络不就能表达更复杂的映射、应该更强吗？AlexNet 在 2012 年 ImageNet 上以约 15.3% 的 top-5 错误率夺冠（第二名高达 26.2%），就直观地支撑了"加深 + GPU + 大数据"的配方。AlexNet 注意到这里还埋着一层"味道"：AlexNet 之所以可训、训得快，关键之一就是用了能加快收敛且不易饱和的 ReLU 激活。AlexNet

来看它的分层结构长什么样。

图注：AlexNet 的官方架构总览。左侧输入逐层经过若干卷积（标出卷积核尺寸如 11×11、5×5 等与每层神经元数），右侧是两次全连接（dense，各 4096 个神经元）及最末 1000 类输出。上下各一并行管线示意两张 GPU 分担任务。AlexNet

沿这条深度轴继续往深走，VGG 用一堆很小的 3×3 卷积把网络从 11 层一路堆到 19 层（论文用代号 config，社区叫 VGG-16/19），发现在 ImageNet 上几乎每加一代深度错误率都降一些，但到 19 层附近就饱和了，更深并不继续带来收益。VGG论文

那为什么加深会"撞墙"、甚至更深反而更差？这就要说到激活函数那道"弯折"。你已经有"激活函数引入非线性"的直觉，我们把它补成能转讲的一句论证。设想一个没有激活函数的网络，每层只是 $z=Wx+b$ 这种线性变换。两层叠起来写成 $y=W_2(W_1x+b_1)+b_2$，乘开就是 $(W_2W_1)x+(\dots)$，本质上仍是一个线性变换，多少层都坍成一层，表达不了复杂的非线性映射。正是激活函数加的那道"弯折"，让每一层都能真正改变映射形状，网络才有能力学复杂规律。

再往前一小步：VGG 之后，大家自然想继续堆更深。下面这一章就该讲，堆深到 30 多层、上百层之后，出了什么岔子，又靠什么把它接回来。

4. 越深并不免费：信号一路相乘被磨没，残差用一条旁路把深度接了回来

先把"梯度"这个词钉成一句大白话：梯度（gradient）是网络犯错后，沿网络一层层往回送的纠错信号。每一层都要靠它知道自己该往哪个方向、改多少参数。可关键在：这个信号在往回传的路上一层层地相乘。

你已经知道回声渐弱的直觉，现在我们把它升级成可复述的"连乘"解释。设想某个修正信号从最后一层往回传，每过一层就要乘一个数。如果每一层都把它乘小一点，比如乘 0.5，那么传过 20 层就变成 $0.5^{20}\approx10^{-6}$，也就是几乎消失不见了，叫梯度消失（gradient vanishing）。反过来，如果每层乘 2，20 层后就是 $2^{20}\approx10^{6}$，数值爆炸得不可收拾，即梯度爆炸（gradient exploding）。两种极端下，前端（离输入近的那几层）要么收不到反馈、学得非常慢，要么更新量过大、直接震荡出 NaN。

消失/爆炸梯度作为深度网络的"根本难题"，早在 1990 年代就被反复诊断过，学界归结为：在深或递归的网络里，回传的误差信号要么快速萎缩，要么无限放大，两种情况下训练都会失败。AI史评综述

但真正让加深卡住的，还不只是信号磨没。我们来看微软研究院那篇《Deep Residual Learning》，它报告了一个更微妙、也更该记住的现象：当网络深到 VGG 那种 19 层饱和点以后再往下堆，普通（不带特殊结构的）网络 plain-18 层验证误差 27.94%，plain-34 层反而升到 28.54%，更深的 34 层整个训练过程误差都更高。这种"越深越差"叫退化（degradation）。ResNet

这里必须纠正课件里常见的一个微表述。论文明确指出：在这种加了批归一化的设定下，退化"不太可能"由梯度消失引起，前向、后向的信号都是健康的，真正的问题更接近难优化 / 收敛太慢。也就是说，ResNet 主要修的是退化（难收敛），顺带才帮到信号流通，不能简单说它"修的就是梯度消失"。ResNet

怎么把塌掉的深度接回来？ResNet 的办法是给网络的每个单元加一条残差连接。看论文的原图。

图注：一个残差单元。主路把输入 x 经过若干权重层学出一个函数 F(x)，右侧一条恒等捷径把 x 原样送到底部的加法节点，二者相加得 F(x)+x，再过一道激活输出。ResNet

把它写成一行的话，残差单元的作用是 $y=\mathcal{F}(x,{W_i})+x$：主路不去从头学一个完整的映射，而是只学一个残差、即"还需要补多少"的修正量，再把原来的输入 x 原样加回来。那条不加参数、不算额外算力的恒等"旁路"，让信号和梯度都可以不必经过那串乘法直达深层。ResNet

于是有了下面这张极具冲击力的对照图：左边是没有残差的普通网络，越深（红色 34 层）验证误差越高；右边加上残差之后，反转过来，红色 34 层反而比浅的青色 18 层误差更低。

图注：训练过程中误差随迭代的变化（细线为训练误差、粗线为验证误差）。左图普通网络里 34 层（红）比 18 层（青）误差更高，即退化；右图同样加深 34 层后低过 18 层，说明残差让"更深更好"重新成立。ResNet

有了这条旁路，网络终于能一路堆到当时 ImageNet 上最深的 152 层仍可训练，单模型验证误差降到约 4.49%，并赢得 ILSVRC 2015 分类第一。ResNet

你要带走的话：梯度消失是"信号一路相乘被磨没"；残差则是给深网加的一条"不走那么多次乘法"的旁路，主要修的是更难察觉的退化/难优化，让网络能一路推到上百层。能稳定训得很深，是后面生成大模型能立起来的地基。

5. 从认出猫狗到会自己写、自己画：三个能"造数据"的架构

有了能稳定训深的网络之后，大约 2014 年前后机器迎来一次方向转折，从判别（认出一张图是猫还是狗）转向生成（自己"造"出新数据）。那三四年里涌现出三个都被归进"生成/基础模型"的架构，常被讲义称作"三兄弟"，各出各的招。

第一招叫对抗造假，代表是 GAN。它同时训练两个模型：一个生成器，一个判别器。生成器负责把噪声变出逼真的假样本，判别器负责分辨手上这张图是真实的还是生成的，两者像博弈一样互相升级。作者证明，到理想极限时生成器复原了真实数据分布、判别器再也分不出真假，也就是判别器对每张图都只报一半一半的 50% 置信。GAN

第二招叫变分重建，代表是 VAE。它不靠对抗，而是把一张输入图片压进一个低维的"隐变量 z"，让编码器学习给出 z 的分布（算均值与方差），再从那里采一个点，交给解码器尽可能把输入重建回来。换个说法，就是先给数据找一个又紧凑又有意义的中介"密码"，再靠它复原，而生成就是在隐空间采一个点再解码。VAE

第三招叫自注意力，代表是 2017 年的 Transformer。这是"三兄弟"里最终长成巨人的那一个。它和前两者的关键差别在于架构形态：它彻底丢掉了循环神经网络（RNN）那种"一个词接一个词串行处理"的结构，也不要卷积，而是让句子里每个位置都能在一层内通过"自注意力（self-attention）"看见整句其他所有位置，再按相关程度加权聚合。Transformer

单看"每个位置彼此看见"似乎只是换了个花招。真正致命的是并行性带来的后果：RNN 因按时间步串行共享隐状态，处理一句 n 个词需要 O(n) 步顺序操作，谁都得等前一个算完；Transformer 的自注意力一层之内就把所有位置两两看齐、最少顺序操作是 O(1)，可以在同一批样本里大幅并行。Transformer

下面是这张奠定了整个大模型世界"家族原点"的架构总览图。

图注：论文 Figure 1 的 Transformer 架构示意图。左侧是编码器栈的重复块（多头自注意力 + 前馈，各自套残差与层归一化），右侧是解码器栈（在自注意力之上对编码器输出再做一层注意力），末尾经线性层与 softmax 输出概率；左侧编码器输出经连线供解码器参考。Transformer

这一张图光看还不够，左右两列的名字得由文字来说明。图左列反复堆叠的块就是编码器（encoder），右列是解码器（decoder）。Transformer 还要额外做一件事：因为结构里没有能"数顺序"的循环，必须在每个词向量的基础上，按它在句中的位置加一竖位置编码（positional encoding），否则模型分不清"我打你"和"你打我"。

把上面几件事接起来，就是为什么今天的大模型几乎都姓 Transformer：因为可并行，喂海量文本做大规模预训练在经济上才变得可行；而预训练做的其实极简单，就是大量文本里根据上文预测下一个 token。可并行 + 可扩展，把机器从"分类器"推到会写会画会对话的"生成器"，也就是大模型的时代。负责任综述正是把自注意力的可并行化称作大模型海量预训练的"催化剂"。ResponsibleFM综述

你要带走的话：2014 前后三个会"造数据"的架构里，是 Transformer 的自注意力靠"可并行、所有位置同时看齐"这一条，让海量文本的预训练成为现实，于是它长成了我们认识的大模型。接下来看看这些大模型都已经进了哪些日子。

6. 大模型进了你的日子，但把它当全能神仙才是看懂 AI 最易犯的错

课件后半部分把大模型在社会里的应用分行业摆了满满一排（案例均以课件所载为准）。要给它们归归类，现代的可靠综述把基础模型大概分成四大类：只处理文字的大语言模型（LLM，Text→Text）、能看图再说话的多模态大语言模型（MLLM）、文生图的图像生成模型，以及视频生成模型。ResponsibleFM综述

用这四类去套课件里的产品，立刻清楚它们各自替代了什么。医疗里是"虚拟医生"，比如 Deepsage-GIST 在做诊断报告书写助手；金融里是前台 copilot 与无代码量化工具（Kquant-LingCopilot、Alpha-gpt），让人用自然语言而不是写代码去搭量化策略；教育里是 Duolingo 这类个性化 AI 辅导；心理支持里有 Wysa、Woebot 这类匿名的 AI 对话陪伴。连文旅领域也有新系统，比如 Google 的 Talking Tours India 用大模型为印度文化地标生成语音导览（此为讲义所载，属 2026 年推出的新例，需以官方页复核再当铁证）。ResponsibleFM综述

看完这一排应用，最该问的不是"哪个行业没被 AI 覆盖"，而是一个更冷静的分界：能力强 ≠ 可靠 ≠ 负责任。把能力做到最强不难，但一个模型要做到"可靠"（准确、一致、稳健地完成任务，尤其在环境和分布变化之时）和"负责任"（行为符合公平、隐私、安全、对齐等伦理）是两回事，中间还隔着一整圈的缺口。

现代可靠/责任综述把这圈缺口归纳成了九大研究维度，就是下面这张 taxonomy 图。

图注：综述对"可靠且负责任的基础模型"的总体总览，中心环引出九大研究维度（偏见与公平、对齐、安全、隐私、幻觉、不确定性、分布漂移、可解释性、AI 生成内容检测），各扇区再连到它们的子研究框。它回答"能力之后还缺什么"，不是一张行业应用地图。ResponsibleFM综述

这张图里最扎眼的两个字是"幻觉"。综述给了一句话定义，正好用来回答你开头那个"它真理解吗"：模型对提问作了错误回答，却带着高置信讲了不实的"事实"，也就是我们常说的"一本正经地胡说八道"。能力强、自信满满地说错，恰恰说明它学的是统计规律、说错也照样听起来笃定。ResponsibleFM综述

光有一句定义还不够有力，我们来收一个贯穿全书的实例：对抗样本（adversarial example）。课件开头那张三帧图讲的正是它：一张正常熊猫图，人眼看完全没变，网络读它的置信度却从"熊猫 57.7%"一路跳到"长臂猿 99.3%"。把图骗倒的，是一段肉眼几乎看不见的微小对抗噪声。这里有个依据原论文要更正的小地方：这个演示在原始论文里用的是 GoogLeNet，讲义误标成了 AlexNet。对抗样本论文

为什么高置信还会看走眼？这篇论文的观点很反直觉：主因不是模型的非线性，恰恰相反，是它近乎线性的本质 × 高维的敏感方向。在高维空间里，把成千上万个方向各挪动一丁点，累积起来就能对输出造成大改动；我们习惯了三维世界"小改动只能带来小影响"，才会对这种数百上千维里累积放大的现象毫无防备。对抗样本论文

把这一例接回开头图灵的设问，你的答案已经能自答闭环：图灵式的"行为上过得去"，原本就只是行为层面的约定，不代表证明了内在理解；而机器学习到的又只是统计规律，极小扰动就能把它带偏，因此"表现得很聪明"当然不等于"值得完全信任的可靠理解"。

所以全篇最后一句话是清醒而非悲观：大模型越强、用得越广，越要在"可靠"和"负责任"两件事上多问一嘴。它会在你信任它那份笃定时一本正经胡说，也会被微不足道的一段噪声骗得看走眼。会从数据里学，是它强大的来源；而它学的只是统计规律、并非真理解，是它天生的边界。学得会，却会看走眼，这两件事本来就长在同一棵树的两条枝上。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Computing Machinery and Intelligence (Turing, Mind 1950) — https://www.cs.mcgill.ca/~dprecup/courses/AI/Materials/turing1950.pdf
2. Annotated History of Modern AI and Deep Learning — arXiv:2212.11279
3. ImageNet Classification with Deep Convolutional Neural Networks (AlexNet, NeurIPS 2012) — NeurIPS Proceedings
4. Deep Residual Learning for Image Recognition (ResNet) — arXiv:1512.03385
5. Generative Adversarial Networks (GAN) — arXiv:1406.2661
6. Auto-Encoding Variational Bayes (VAE) — arXiv:1312.6114
7. Attention Is All You Need (Transformer) — arXiv:1706.03762
8. Very Deep Convolutional Networks for Large-Scale Image Recognition (VGG) — arXiv:1409.1556
9. Explaining and Harnessing Adversarial Examples — arXiv:1412.6572
10. Reliable and Responsible Foundation Models: A Comprehensive Survey — arXiv:2602.08145