1002ai第一课

这份讲义只回答一个问题：机器的智能到底从哪来？我们会从 1950 年图灵的那场「扮人比赛」起笔，一路走到今天的语音助手和推荐系统。走着走着你会发现一条意外的线索：图像识别、语音转文字、猜你喜欢，这些看起来八竿子打不着的产品，底下装的其实是同一副引擎。先用一句话记住整张地图：智能不是人写出来的规则，而是机器从数据里自己学出来的规律。

我们会分七步走完这条路：先问机器能不能思考，再给出答案（从数据找规律），接着拆开找规律的那台机器（神经网络），看清它靠什么学会（损失、梯度下降、反向传播），用一个历史里程碑（AlexNet）证明这套机制真能赢，再看它在三个日常场景里反复出现，最后掂量它的短板（过拟合），收成一张能自测的复习清单。

机器真的会思考吗——图灵用一场“扮人比赛”把问题变得可以检验

故事的开头是一个听起来很空的问题：机器能思考吗？如果就这么直接问，几乎没法回答。什么叫思考？什么算机器？不同的人答案完全不同，争上一天也分不出对错。

1950 年，数学家图灵（Alan Turing）写了《计算机器与智能》这篇论文。他不想陷入文字争论，于是干了一件很聪明的事：把原问题换成一个更好检验的问题。他在论文里坦言，「机器能思考吗」这句话太含糊，不值得直接讨论，不如换一种谁都能上手验证的问法Turing1950。这个新问题是：让一台机器和一个真人轮流参与同一场「扮人游戏」，如果审讯者分不出谁是机器，就算这台机器会思考。这套判据后世通称「图灵测试」，虽然 1950 年原文里其实只叫 imitation game（模仿游戏）。

我们来看这场游戏长什么样。

图注：图灵测试的结构示意：两个房间之间只有一条递纸条的窄缝，审讯者看不到、听不到应答者，只能靠文字判断。右边房间里，机器应答者可以故意撒谎（「伪装」），真人应答者则诚实作答（「帮助」），审讯者要判定哪个是机器。

这场游戏的设计里有三处关键。第一，审讯者只能通过文字交流，视觉、听觉、触觉全被切断，于是「物理能力」和「智力能力」被干净地分开：机器不用假装会跳舞，只要对话像人就行。第二，审讯者只拿到 X、Y 两个匿名标签，不知道谁是谁。第三，胜负规则不对称：机器可以撒谎来骗过审讯者，真人则要诚实回答来帮助审讯者。于是原问题被替换成：当机器顶替真人上场时，审讯者判错的频率，和真人局里相当吗？相当，就算通过。

有一点要特别提醒：图灵测试是 1950 年的历史标准，不是今天该拿来判定 AI 有没有「通过」的现代准则。别拿现在的对话助手去硬套它「过没过」。它的价值在于替我们问出了第一句可检验的话，但这句话只回答了「怎么算像人」，还没回答「智能究竟从哪来」。

有意思的是，图灵自己就把答案指向了学习。他回应「机器只能做我们命令它做的事」这个反驳时提出：与其把规则写死，不如写一个「儿童机器」程序，再像教育小孩一样训练它。也就是说，图灵认为通向智能的路不是手工敲规则，而是让机器从经验里自己调整。这正好是下一章的正题。

智能从哪来——答案是机器不靠人写规则，而是自己从数据里找规律

如果智能不是人写出来的，那它从哪来？机器学习给出的答案是：从数据里自动找规律。

过去想让电脑做事，得请程序员把「如果……那么……」的规则手工写清楚，比如识别猫要盯着一大堆特征拍脑袋。机器学习换了个思路：不进规则，进数据。你把一堆「照片 + 正确答案」喂给它，让它自己找出「什么样的像素组合该判成猫」。这套循环里有三个关键动作：接收样本、把预测和真相的差距量化成损失、再顺着损失把内部参数微调一遍。看下面这张图，一次「学习」长什么样就清楚了。

图注：机器学习「学习」的三幕循环（从左到右）：第一幕「输入样本」，带「猫」标签的照片进网络、输出一串不确定的分数；第二幕「计算损失」，把预测分数和真实标签的差距量化出来；第三幕「更新权重」，微调内部参数让误差变小。一条弯箭头从第三幕指回第一幕，表示反复迭代，直到网络能正确分类没见过的新图。

机器学习只是「人工智能」这个大目标底下的一类方法。要理清整片森林，最方便的地图是三层包含关系：人工智能（AI）是最顶层的目标，让机器完成通常被认为需要人类智能的任务；机器学习（ML）是实现这个目标的一类方法，核心就是从数据里自动学规律；深度学习（DL）是机器学习里以多层神经网络为代表的那一支。给这个坐标撑腰的不是随便一本教材，而是 LeCun、Bengio、Hinton 三位深度学习奠基人合写的 Nature 经典综述，它开篇就把这种从属关系讲得很清楚：越来越多应用在用一类叫 deep learning 的技术，而这正是一类让系统从数据中学习的技术的子集LeCun2015。

上图从上到下范围逐层收窄：箭头指向的是上一层的子集，最外层的人工智能最大，最里层的深度学习最小。

那么「从数据学规律」具体怎么个学法？最常见的分法按训练信号来：监督学习用「输入 + 正确答案」成对的数据，机器对着标准答案调整自己，这是最常用的一类；无监督学习只有输入、没有答案，机器自己去数据里找结构；强化学习让机器不断试错，靠「做对了给奖励」学会策略，典型场景是玩游戏。此外还有一对容易混的任务类型，区别就在预测值：分类预测离散的类别标签（这张图是猫还是狗），回归预测连续的数值（明天 23.5 度）。回归背后的最小二乘算例，我们会在第 4 章亲手算一遍。

到现在，第一块地基打好了：智能从数据里自动学规律，而学又分成好几类。但「从数据找规律」听着很美，机器到底靠什么来找？下一章拆开那台名叫「神经网络」的机器。

找规律的那台机器长什么样——一个神经元是“加权求和+非线性”，堆起来才能逼近复杂函数

如果说「从数据找规律」是目标，那神经网络就是完成目标的机器。要懂这台机器，先懂它最小的零件：神经元。

一个神经元只做两件事。第一步，把上一层传来的所有数字加权求和：每个输入乘上一个权重，全部加起来，再加一个偏置（bias，决定加权和要多大这个神经元才值得被激活）。第二步，把求和结果送进一个非线性函数压一下，得到输出，这个输出叫激活值（activation）。写成一个式子就是 $a = f(\sum_i w_i x_i + b)$。一大堆这样的神经元分层叠起来就是网络：输入层接收数据，中间若干隐藏层逐层加工，输出层给出最终判断。

用 3Blue1Brown 的经典课程当例子：一个识别手写数字的网络，输入层 784 个神经元（对应 28×28 像素的明暗），两个隐藏层各 16 个，输出层 10 个对应数字 0 到 9。这么一张小网络，一共有约 13,002 个权重和偏置3B1B。机器由成千上万个小旋钮组成，每个旋钮就是一格可调的权重，这就是「能学」的原材料。

光把神经元堆起来还不够，这里藏着全篇最反直觉、也最关键的一个点：每一层都必须引入非线性，否则多层网络会「贬值」成一层。为什么？因为如果每个神经元都只做加权求和、不加非线性，那整条链从头到尾只是一连串乘法和加法，化简合并之后，最终还是一个线性函数。几个线性函数叠在一起还是线性函数，表达能力不会随层数增加，多层和高层就白堆了。只有加进激活函数（早期常用 sigmoid，现在更常用 ReLU），网络的表达能力才真正随层数增长。ReLU 的规则极简单：负输入输出 0，正输入原样通过。

为什么「能表达复杂函数」这么金贵？因为真实世界的数据大多不是线性的。识别一张萨摩耶的照片，网络既要对细微差别敏感（分清萨摩耶和北极狼），又要对无关变化保持淡定（背景、姿态、光照变了都没关系）。这种「既细又稳」的要求，只有非线性多层函数才扛得住。深度学习这个词，指的就是这一支靠多层非线性模块堆叠、自动学习多层次表示的方法LeCun2015。

机器有了，参数也有了。可下一个问题更关键：这一万多个小旋钮，凭什么会自己变对？这就轮到「学习」的引擎登场了。

它凭什么会自己变聪明——先量化“差多远”，再靠梯度下降把误差从输出一路算回去

这一章回答两个最常卡壳的问题：到底在调什么？每一步怎么调？答案拆成两条腿：先量化差距，再沿差距下降最快的方向调整。前一条腿叫损失函数，后一条腿叫梯度下降，而反向传播负责高效算出每一步的调法。

**第一条腿：损失函数。**它的作用是把「学得好不好」压缩成一个数字。对单个样本，把网络每个输出分量和期望答案对应的分量相减、平方、再求和；把所有样本的这个值取平均，就是整批的损失。学习的目标一句话：让这个损失尽可能小。最经典的损失叫二次代价，也就是最小二乘意义上的均方误差，Michael Nielsen 的书里给出的定义是

$$C(w,b) = \frac{1}{2n} \sum_x |y(x)-a|^2$$

Nielsen

别被符号吓到：$y(x)$ 是期望答案，$a$ 是网络输出，$|\cdot|^2$ 是逐分量差值的平方和，$1/2n$ 是取平均、顺便消掉后面求导冒出来的系数 2。它衡量的就是「预测和真相差多远」。

有了「差多远」的数字，第二步是把每个小旋钮往「让差距变小」的方向拧。直觉上，把损失想成一座起伏的山丘，网络的每个参数是一个坐标，训练就是在山上找那条一直向下的路。梯度就是站在当前位置看：微微调大每个权重，损失会升还是会降、变化多少。我们沿梯度的反方向走，损失就会变小，反复走到底就摸到谷底（损失极小处）。整条循环长这样：

**跟着算一遍。**现在把符号落到具体数字上，这也是最小二乘这个名称的来历。只看一条样本：输入 $x=1$，期望答案 $y=2$；模型是最简单的线性预测 $a = wx$（先忽略偏置）。损失 $C = \tfrac{1}{2}(a-y)^2 = \tfrac{1}{2}(w-2)^2$。求导得梯度 $\frac{dC}{dw} = (a-y)x = w-2$。取学习率 $\eta = 0.1$（学习率就是每步迈多大，Nielsen 书里用 $\eta$ 表示），从 $w=0$ 出发，按 $w \leftarrow w - \eta\frac{dC}{dw}$ 迭代：

损失一路下降，w 一路向 2 逼近，因为 $w=2$ 时预测恰好等于期望、损失归零。学习率定大小的分寸：步子太小收敛慢，太大则一步越过谷底、反复震荡甚至越爬越高。

真实训练比这大得多，于是有了随机梯度下降（SGD）：与其每步用全部几万个样本算平均梯度，不如把数据打乱、分成约 100 个样本的小批量（mini-batch），每批算个近似梯度就更新一次。3Blue1Brown 的比喻很传神：小批量像「醉汉踉跄但走得快地下山」，全量像「精打细算、慢而稳地下山」3B1B。

最后一条腿：反向传播。只剩一个问题：网络这么深、参数这么多，那个梯度到底怎么高效算出来？答案是反向传播，本质一句话：用链式法则，把输出端的误差逐层回传，算出每个参数该往哪边调多少。网络的每一层都是嵌套在上一层里的函数，输出对某个权重的敏感度，等于沿途所有局部变化率连乘，这正是链式法则。反向传播先做一遍前向计算拿到各层激活值，再从输出层把误差一层层传回去，每传一层就顺手算出那一层所有权重的梯度。这套机制 1986 年由 Rumelhart、Hinton、Williams 发表在《自然》上，它最了不起的地方在于：不被任务直接指定的隐藏单元，能靠梯度下降自己学出有用的表示，而不是像更早的感知机那样靠人手把连接固定死Rumelhart1986。

**反向传播也来算一遍。**用一个只有一条链的最小网络：输入 $x=1$ → 隐藏值 $a_1 = w_1 x$ → 输出 $a_2 = w_2 a_1$，期望 $y=2$（先不看激活函数，真实网络每层会多乘一个激活函数的导数）。设 $w_1 = w_2 = 1$。前向：$a_1 = 1$，$a_2 = 1$。输出端误差 $\delta = \partial C/\partial a_2 = a_2 - y = -1$。现在从后往前：

• 对 $w_2$ 的梯度：$\partial C/\partial w_2 = \delta \cdot a_1 = -1 \times 1 = -1$
• 误差继续回传一层：$\partial C/\partial w_1 = \delta \cdot w_2 \cdot x = -1 \times 1 \times 1 = -1$

取 $\eta = 0.1$，两个权重都加上 0.1，变成 1.1。重算输出：$a_2 = 1.1 \times 1.1 = 1.21$，离期望 2 近了一步。留意计算顺序：输出端的误差先用于 $w_2$，再乘上 $w_2$ 沿链传回 $w_1$。这就是「从输出一路算回去」的含义。真实网络里这一步会写成输出层误差、逐层回传、再算每个权重梯度的四条基本方程（Nielsen 书里叫 BP1 到 BP4），骨架就是我们刚算的这条链Nielsen。

到这里，整套引擎齐了：损失量化差距，梯度下降指挥方向，反向传播算出每一步的调法。这就是「学会」的全部秘密。可你也许会问：这套东西真能解决现实问题吗？下一章，用 2012 年那个引爆一切的 AlexNet 来回答。

当这套机制被放大成一座工厂——AlexNet 用 2012 年 ImageNet 证明“从数据学特征”真能赢

神经网络不是纸上谈兵。2012 年，它在一场硬碰硬的图像识别大赛里向全世界证明了实力。这就是 AlexNet 的故事。

先看比赛规模。ImageNet 是一个包含超过 1500 万张标注图片、约 2.2 万个类别的大数据集。从 2010 年起，一年一度的 ILSVRC 挑战赛用它的子集考各家模型：约 1000 个类别、每类约 1000 张图，训练集约 120 万张。AlexNet 就是为这场比赛而生的卷积神经网络（CNN），由 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 在 2012 年发表，约 6000 万参数。

CNN 能对付图像，靠的是三种层的明确分工：

卷积层是主角：拿一个小的窗口在整幅图上滑动，局部地扫出边缘、纹理这类特征；池化层负责压缩尺寸、提升效率，也顺带抑制过拟合；全连接层把前面提纯后的特征组装成对 1000 个类别的评分，最后过一个 softmax（把一堆分数压成和为 1 的概率）。AlexNet 一共 8 个带权重的层：前 5 个卷积层加 3 个全连接层。

真正让 2012 成为「引爆点」的是比赛结果。AlexNet 在 ILSVRC-2012 拿下 top-5 测试错误率 15.3%，第二名大约 26.2%，一次把错误率压到几乎砍半AlexNet。请注意这组数字反常在哪：它不是好一点，而是砍半级别的碾压。在那之前，学界普遍不看好深度网络，AlexNet 用成绩把怀疑压了下去。

它凭什么赢？三样东西凑齐了：更快的 GPU、更大的数据、从数据里学到的特征。AlexNet 在约 120 万张图上用两块 GTX 580 GPU 训练了五六天。转折的关键在最后一项：网络最底层的卷积核自动学出了像边缘、纹理这样的基础特征，而不是靠人手设计特征提取器。把「特征工程师」这份工作也交给数据，正是深度学习与传统方法的分水岭。直到今天，回顾深度学习这十几年，学界仍把 ILSVRC 2012 的 AlexNet 当作 CNN「真正成功」的起点，靠的正是大数据、GPU 与学习到的特征这三件套（截至 2025-10 的最新综述仍这么定位）DLsurvey。

AlexNet 的意义，是把前几章抽象的「数据→特征→预测→优化」骨架，第一次放大成一座能赢的大工厂。而接下来你会发现，这套骨架并不只属于图像。

同一副引擎，三个场景——图像、语音助手、推荐系统共享同一条“数据→特征→预测→优化”流水线

AlexNet 证明了引擎在图像上能赢，语音助手和推荐系统则会告诉你：这副引擎可以到处通用。表面上看这三个产品天差地别，拆开之后走的却是同一条四步流水线（pipeline）：数据 → 特征 → 预测 → 优化。

先看推荐系统，它离你的日常最近。视频网站、购物 App 里的「猜你喜欢」，本质是一个信息过滤问题：根据你过去的行为和偏好，预测你有多喜欢某件东西，再把高分的东西推给你。Raza 等人的综述把整条端到端流程画了出来，你会发现它和前几章学的机器学习核心完全同构RecSys。

图注：推荐系统的通用框架流水线：数据获取 → 数据准备与特征工程 → 模型训练与验证 → 候选生成与排序 → 评估（含 A/B 测试与离线在线评估）→ 部署与监控，再接反馈回路指回开头，形成持续改进的闭环。整条链就是「数据→特征→预测→优化」的具象化。RecSys

传统推荐怎么「猜你喜欢」？一类叫协同过滤，核心假设是「口味相似的人，未来的喜好也相似」：你和某个用户在过去看的片子上高度重合，那 TA 看过而你没看过的，就值得推给你。另一类叫内容过滤，比较物品本身的属性和你的偏好画像。更现代的深度推荐再进一步：把每个用户、每件商品都学成一串低维数字向量，也就是 embedding（把对象变成一串能参与计算的数字），再让网络学习「哪样的用户向量配上哪样的物品向量该给高分」。注意：这里没有任何独立发明，它就是「从交互数据里学规律」的又一次套用。

再看语音助手。它的核心是「语音转文字」的自动语音识别（ASR）。经典做法极其繁琐：要把声学建模、发音词典、语言模型、搜索解码拆成一个个独立组件，靠外部知识源硬拼。端到端 ASR 换了一种思路，用一个神经网络把声学和语言信息联合建模，直接从音频帧序列学到文字序列，不再依赖人为拼装的部件ASR。看它的架构图，还是熟悉的配方。

图注：端到端语音识别的 AED 编码器-解码器架构：语音特征帧序列进入编码器，被编码成更高层的表示；解码器结合由编码器输出加权得到的上下文向量，逐符号生成文字序列。这就是「语音 → 文字」这条预测流水线的骨架。ASR

图像的例子我们在第 5 章已经看过：照片加标签当数据，卷积层提特征，全连接层出预测分数，再用损失和梯度下降优化。三个场景摆在一起，结论很干脆：输入无论是像素、语音还是用户行为，骨架只有一条。应用再五花八门，底下的引擎从不换血（顺带一提，语音综述只覆盖到 2023 年，推荐综述自称覆盖 2017 到 2024 并持续季度更新，两家讲的是同一种趋势）。

不过，这里必须诚实：学会一套规律，不等于每次都学得好。这套引擎有个著名的毛病叫过拟合。下一章看怎么识破它、怎么防治它。

学得到≠学得好——模型会“背答案”，怎么识破、怎么防治，加上一张能自测的复习清单

训练数据有限而参数很多时，会出现一个「聪明反被聪明误」的现象：模型不再理解规律，而是把训练样本背下来。这就是过拟合（overfitting）。它的特征很典型：在训练集上表现极好，一到没见过的测试集上就断崖式下跌，也就是泛化能力差。

用一个生活场景来理解：有个同学复习时不弄懂原理，只把上次考过的原题和答案背得滚瓜烂熟。原题重现他全对，可题目一换数字、一换问法就傻眼。真实世界永远不会原题重现，线上的新数据也不会正好是训练集里那几张图。模型背答案就是坏学生的翻版：它记住了训练样本的细节乃至噪声，却没学到能迁移到新数据的规律。2025 年的深度学习综述在总结模型「常见病」时，把这类问题摆在很靠前的位置：模型对没见过的场景鲁棒性差，真实场景一复杂，泛化就露馅DLsurvey。

怎么防治？方向只有一个：逼模型学「规律」而不是「背答案」。常用手段每招配一句直觉：

以 Dropout 为例说透一点：训练时随机关掉约一半隐藏神经元，模型不能指望某一两个神经元拍板，只能靠群体协作，学出的特征更健壮，泛化自然更好。「背答案 vs 真理解」这组对照，就是你在复习时识别模型是否得病的试金石。

主线走完了，最后把容易混的概念收拢成一张能自测的辨析表。全讲义最要紧的是三组辨析，它们都是「从数据找规律」这个大答案的不同切面：

你甚至可以拿这张表做自我检查：随手指一个 AI 产品，把它拆回「数据→特征→预测→优化」四步，再判断它属于哪类学习、做分类还是回归。若能，你就真正把这副引擎装进自己脑子里了。

回顾全程：图灵的扮人比赛只给了可检验的判据，没给来源；机器学习补上「从数据学规律」的答案；神经网络给了那台机器（加权加非线性，非线性是分水岭）；损失、梯度下降、反向传播给了它「学会」的引擎；AlexNet 证明放大后真能赢；语音和推荐证明引擎能到处通用；最后我们掂量了它的短板过拟合。这条路走完，「机器的智能从哪来」就有了一个完整、诚实、可复述的答案：从数据里，一次一次把误差调小而来。

参考文献

本讲义引用的核心资料如下，建议深入学习时阅读原文：

1. Computing Machinery and Intelligence（A. M. Turing, 1950, Mind） — https://doi.org/10.1093/mind/LIX.236.433
2. Deep Learning（LeCun, Bengio & Hinton, Nature 2015） — https://www.nature.com/articles/nature14539
3. Learning representations by back-propagating errors（Rumelhart, Hinton & Williams, Nature 1986） — https://www.nature.com/articles/323533a0
4. ImageNet Classification with Deep Convolutional Neural Networks（Krizhevsky, Sutskever & Hinton, NeurIPS 2012） — https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks
5. A survey on deep learning fundamentals（Artificial Intelligence Review, 2025） — https://link.springer.com/article/10.1007/s10462-025-11368-7
6. 3Blue1Brown — Neural Networks series（Grant Sanderson, 2017） — https://www.3blue1brown.com/lessons/neural-networks/ 与 https://www.3blue1brown.com/lessons/backpropagation/
7. A Comprehensive Review of Recommender Systems（arXiv 2407.13699） — https://arxiv.org/abs/2407.13699
8. End-to-End Speech Recognition: A Survey（arXiv 2303.03329） — https://arxiv.org/abs/2303.03329
9. Neural Networks and Deep Learning（Michael Nielsen, 2015, 免费在线书） — http://neuralnetworksanddeeplearning.com/