AI 导论零基础课堂笔记：从一台够快的机器，到会认图写文的大模型

你正在修的这门《人工智能导论》课，听起来内容很杂：一会儿讲历史，一会儿画神经网络，最后还把 GPT、自动驾驶、医疗大模型全都塞了进来。但你追着听完全程会发现，它其实只追问一个问题：今天那些能认图、开车、写文章甚至陪你聊天的机器，到底靠什么"聪明"起来的？

答案不是靠人把规则一条条写进机器，而是靠一套能从数据里自己找规律的装置，在参数、层数和算力的配合下越滚越大。这份笔记就顺着这条主线走：从"什么才算 AI"讲到单个神经元，再一步步讲到网络怎么自学、怎么变深、深了又怎么"学不动"，最后落回到大语言模型那句有点扫兴却最要紧的真相上：它们底层只是在海量文字上"预测下一个词"。每章开头我先把它引入的更早的问题串起来，你读的时候会感到话头是被一层层接住的，而不是一堆零散知识点。

全程白话，公式只到直觉那一层；需要数学的地方我不会逼你求导，只要求你"懂它在干嘛"。最后一章还会给一小段能跑的 Python，你可以亲手看着它一点点变准。

1. 一台又快又全自动的机器，凭什么仍不算"智能"？

先丢掉"AI 就是很聪明的机器"这种直觉。课上一开始就拿两台你天天见的东西开刀：复杂图形计算器和固定程序洗衣机。你把一长串定积分丢给计算器，它几毫秒就算出 0.7853981634，够快吧？洗衣机按你选好的程序把衣服洗完，全自动吧？

可它们通常都不算 AI。为什么？因为它们只是在忠实执行人预设好的规则：按哪个键就调哪个公式、对哪个程序就走哪段流程。它们从不在数据里学点新东西，从不解释自己遇到的不确定情况，也从不会因为用得多而调整自己的行为。所以课程说得很直接：

自动化 ≠ 智能（Automation ≠ Intelligence）。

再补一个限定就更好懂：如果有一台"智能洗衣机"，它能根据你过去洗过的衣物、当地水质、季节温湿度，自己摸索出一套更省水又洗得干净的参数并不断优化，那它就沾 AI 的边了。差别不在"它会不会执行"，而在"它有没有在一堆经验数据里自己找出规律、自己调自己"。

把这条判断放到整个工业史里看更有感觉。看下面这张工业 1.0 到 4.0 的时间轴：

图注：工业革命的四个阶段画成时间与复杂度两个轴。1.0 用机器代替手工（1784 年第一台机械织机）、2.0 靠电气搞流水线（1870 年辛辛那提屠宰场）、3.0 让可编程控制器自动跑设定好的规则（1969）、直到 4.0 才冒出"能理解人、甚至超越人的智能系统"（2011 常被当作 4.0 的起点）。复杂度的曲线上，只有最后一格才是课程真正关心的"智能"。

这张图帮你记住一件事：复杂度一路在涨，但前三个阶段只是"机械化、电气化、自动化"，都是人把聪明写进设备和流程里；只有到了 4.0，机器才开始谈得上"自己理解、自己适应"。这就是"自动化不等于智能"的生产力视角。

那么 AI 到底是什么？课程给了一个直觉式定义：AI = 让机器去执行通常需要人类智能才能完成的任务的能力。它不要求一个系统五种能力全具备，常见的一张表是五选几：

光靠一样不一定算。能做人脸解锁的系统主要靠感知 + 一点学习；能自动驾驶的车几乎需要全部五样。而让一台机器具备这些能力靠什么？课堂上反复强调三要素：算法（Algorithms）、算力（Computing Power）、数据（Data）。算法是"怎么学"的方法，算力是"跑得动"的机器，数据是"学什么"的材料。三者缺一，现代 AI 就转不起来。

不过课程里还有一句夹在脚注里、却最值得记住的白话：现代 AI 绝大多数是在数据里学出来的统计模式，它"表现得聪明"不代表它真有意识或真懂得我们在意的"理解"。机器行为上很聪明，你真的可以说它"懂"了吗？这个问题按下不表，后面会反复回来。

现在把最重要的那张"名词套娃图"摆出来，它是我们全篇的地图：

图注：四个同心圆从外到内：Artificial Intelligence（人工智能）⊃ Machine Learning（机器学习）⊃ Deep learning (Artificial Neural Network)（深度学习 / 人工神经网络）⊃ Large Language Model（大语言模型）。每一层都是它外面那层的子集：所有大语言模型都是深度学习的一种，所有深度学习都是机器学习的一种，所有机器学习都属于人工智能这个大类。

这张图我会让你记到念完为止。因为后面每讲到"机器学习 / 深度学习 / 大模型"，你都可以先在脑子里把它放回这圈里，问一句"它离'从数据里自学'是哪一圈"，定位立刻就清楚了。而判断一台机器是不是"真 AI"的那条分水岭，也就在"是自己写规则，还是从数据里学"这条界线上：Luger

那么问题来了：既然要"从数据里自学才叫真 AI"，为什么人类花了几十年，前前后后还走过那么多弯路，才让机器真的会自学？下一章把七十多年历史讲成一条能串起来的故事线。

这一节的落点就一句：一台又算得快又全自动的机器，可以完全不是 AI；判断的关键只有一个，它到底是"照我写好的规则跑"，还是"自己从数据里找规律"。

2. 七十年里机器下赢棋又考翻名嘴，为什么最后"让机器自己学"那条路赢了？

把时间倒回 1946 年，世界上第一台通用电子数字计算机 ENIAC 问世，能算但只是台超大的计算器。紧接着的历史可以用一股张力来切：到底是靠人把聪明"写"进去，还是让机器自己"学"出来？ 这两条路线你来我往，一直到今天仍在交锋。

先讲"写规则"一边的代表。1950 年，数学家图灵（Alan Turing）发表了一篇短文，哲学家们正要争"机器能不能思考"，他直接把问题给换掉了。图灵说你给"思考""机器"下定义难到要命，不如改成一场能操作的行为测试：审讯者（interrogator）通过纯文本电报，分不出屏幕另一头坐的是真人还是机器，就当这台机器算会"思考"了。Turing 1950

有意思的细节是：图灵自己从不说"图灵测试（Turing test）"这个词，他通篇叫它"模仿游戏（imitation game）"，"图灵测试"是后人给他简化起的名字。看讲义这张流程示意：

图注：图灵测试的三方设定：上方审讯者 Player C 分别向"计算机 A"和"人类应答者 B"提问（黑色箭头），两台"应答者"再作答（红色箭头）。审讯者隔着文字，用问答判断哪个是人、哪个是机器。这就是把"机器能想吗"翻译成"装在盒子里骗过我，就算你聪明"的行为判据。

图灵这么做有深意：他不去争论"机器有没有内部体验"，而是把"聪明"定义成一种从行为上可检验的外观。这为后面一整代 AI 铺了路：想判断机器聪不聪明，看它在实际任务里的表现就行，不必先弄清楚它"心里"怎么想。

随后历史踩着几个高光点走。1956 年达特茅斯会议上，"人工智能（artificial intelligence）"这个词第一次被提出。之后很长一段时间，"写规则"那一路占上风：1966 年的 ELIZA 是一个模仿心理治疗师套话的对话程序，1980 年代 XCON 这类专家系统把你行业里老师傅的判断规则成百上千条地敲进机器，一度比人更会配电脑系统。

机器也确实在这些"写死聪明"的任务里风光过两回。1997 年，IBM 的深蓝（Deep Blue）在国际象棋上击败世界冠军卡斯帕罗夫——这是靠暴力搜索所有走法，规则由人写死。2011 年，IBM 的 Watson 在美国智力竞赛《Jeopardy!》里赢过人类冠军，它能用超快速度检索海量知识库——可它还是没有"会学"这把钥匙。这些胜利都极震撼，但课程提醒我们看清一件事：它们更像"规则和知识库堆得出色"，更像在模拟聪明，而不是真的有一台机器自己从经验中生长出聪明。真正难的问题是那些没法写成规则的：怎么认出一张从来没见过的手写"3"？怎么辨别猫和狗？这要靠另一条路。

另一条路就是神经网络。它的小火苗早在 1943 年由两位神经科学家（McCulloch 和 Pitts）点燃，他们想用数学模型描述大脑神经元；1980 年代这股火重新旺起来。真正给它盖章、"正名"的是 2024 年的诺贝尔物理学奖：诺奖官网在给霍普菲尔德（John Hopfield）和辛顿（Geoffrey Hinton）授奖时写了一句官方理由，"表彰那些使机器学习能够基于人工神经网络实现的基础发现和发明"。Nobel 2024

物理学界为什么会把一个"神经网络奖"颁给做 AI 的物理学家？诺奖背景页把核心思想概括为，许多简单单元协同起来，会涌现出单看任何单个单元都看不出的复杂集体行为（这门课常把它凝成一句：简单连接，凑出复杂智能）。霍普菲尔德 1982 年造了一张能"存图"的网络：把图像像素当作节点，调节节点间的连接强度，让图片像滚到能量山谷底一样被存下；你喂它一张残缺带噪的图，它会自己"滑"到最近的一张完整记忆里。辛顿随后用统计物理（玻尔兹曼方程）把这张网升级成带"可见节点"和"隐藏节点"的玻尔兹曼机，让机器第一次能自己发现数据里从未被告知的特征。Nobel 2024

注意"隐藏节点"这个词提前出场了。它正是后面神经网络章节的关键：那些既不属于输入、也不属于输出、躲在中间的单元，可以让机器自己长出我们从未设计过的中间特征。霍普菲尔德 1982 年的网络只要不到 500 个参数，今天的大语言模型参数以万亿计——尺度差了不知道多少倍，但底层那团"简单连接凑出智能"的火种，从那时候就烧起来了。

把整条时间带收口成一句：人类写规则那条路（符号 AI、专家系统、深蓝、Watson）写得很惊艳，但受限于"每一条聪明都得人先想到、再敲进去"；让机器从数据里学那条路（神经网络）一开始被冷落、被嘲讽（1960 年代末理论低谷、AI 冬天），却靠着"随时可以喂更多数据、算力一到就能放大"的自然禀赋，最终成为今天整个 AI 版图里最粗的一根主脉。Luger

既然要自学，那我们从最小的一格问起：一个神经元到底在算什么，凭什么算"聪明"？ 这就是下一章的正题。

历史这一节记住两句就够：过去七十年，一条路靠人把聪明"写"进规则，一条路让机器从数据"学"出来；因为真正难的活儿没法写成规则，能让机器自学的那条路，笑到了今天。

3. 网络里最小的一格"聪明"，原来只做一道简单算术——那它凭什么够用？

你之前知道神经网络大概是"自动调一堆参数让输出越来越准"。这一章把那句话里的"一格"拆开看：单个神经元到底怎么把输入变成输出。

你把它想成一个打分的小考官就通了。它收到一堆意见（输入），但每条意见分量不一样，比如要判断"今晚要不要带伞"，"天气预报说会下雨"比"楼下阿姨穿了红衣服"重要得多。神经元给每个输入配一个权重（weight），权重大就说明这个信号重要；再有一个偏置（bias），好比这位考官天生"愿意喊 yes 还是 no"的门槛，决定它多容易兴奋。

然后三步走：

1. 把每个输入按它的权重掂分量，全部加起来（这是加权求和，记权重为 $w_i$、输入为 $x_i$）。
2. 再加一个偏置 $b$，得到一个中间分数 $z=\sum_i w_i x_i+b$，偏置决定这个"起步分"调在哪。
3. 把这个分数过一个激活函数（activation function） 打个弯，输出最终结果。

看这张讲义里单神经元的计算流程图最直观：

图注：输入 $x_1\dots x_K$ 先各自乘权重 $w_1\dots w_K$（weights），全部汇聚进中间那个"+"求和节点，同时偏置 $b$ 也加进去，得到 $z$；$z$ 再进入激活函数 $\sigma(z)$（Activation function），输出最终 $y$。这就是单个神经元"掂分量 → 定起点 → 打个弯"的全过程。

其中激活函数这一步，正是你最早不会、却是整间屋子承重墙的东西，我先把话说白：它让前面那个可能会一路放大或缩小的"直线分数"，变成一条能被"掰弯"的曲线，好让很多层连起来后能表达复杂关系，而不是退化成单纯把直线拉长。

目前你只需知道最常用的三种"弯头"，都画在下面这张对比图里：

图注：左 Sigmoid 是一条把任何实数分数压到 0 到 1 之间的 S 形曲线（$x$ 越大越靠近 1、越小越靠近 0，$x=0$ 时约等于 0.5）；中间 Tanh 是压到 −1 到 1 之间、过原点的 S 形；右边 ReLU（Rectified Linear Unit，修正线性单元）最简单粗暴：输入是负的就一刀切 0，输入是正的，原样放行，$y=\max(0,x)$。

其中 sigmoid 那条"把分数压到 0 到 1"的 S 形，是神经网络里最常见的理解入口：它像一个平滑的开关，不像硬开关那样"啪"地从关到开，而是给一点缓冲地过渡，且输出永远在一个温和的范围内（压扁在 0~1）。这里有一个看名字就想问的点：一个神经元里塞一条 S 形曲线，跟一条单调的直线比，强的究竟在哪？答案藏在下一层。

先收住不推公式：线性叠起来，仍是线性。假如每个神经元只做"加权求和"、不加那个会掰弯的激活函数，那么不管你叠多少个神经元、多少层，整个网络在数学上仍然等价于一条（被放大或偏移的）直线。直线函数永远表达不了"异或（一个 1 一个 0 才输出 1）"这类靠一条线切不开的关系。Nielsen

所以激活函数不是可有可无的调味料，它是让网络"从一条线，长成能表达任意复杂形状"的必要零件。这里我给一个可能帮你抓住"为什么必须非线性"的数字手感：一个单层网络表达不了的任务，中间加一层隐藏单元就能解——1986 年那篇把"反向传播"讲给大众的论文里，作者专门举例：检测对称性这类任务，"只把输入连到输出是不够的，必须用中间层"。你不需要会证，只要心里记住：缺了"能把直线掰弯"的激活，网堆多少层都是白堆；有了它，一层套一层，味道才开始变得复杂。

不过这时候你会冒出一个很自然的怀疑：一个只会算这么道简单乘法加法的"格子"，看起来蠢得很，凭什么能拆下认图片这种大活？答案下一章完全给出：一个格子很弱，可如果是几百万个连成一片，它们怎么靠"一点点调自己"把一个任务越来越难的部分切下去。 那才是"学习"这个词真正落地的仓库。

单个神经元这关：给输入按重要性权重掂分量 → 加个偏置定起点 → 过一道会掰弯的非线性激活；而那个"弯"正是千万千万不能省的一笔，少了它，网络多少层都只是放大过一条直线。

4. 它凭什么自己越调越准：每个样本各说各话，为何全被"平均"成一小步？

你现在知道单个神经元长什么样了，也隐约觉得很多人连起来很能打。可那句你一直挂在嘴边的"自动调一堆参数让输出越来越准"，到这里还是空话：到底每一步怎么走？

把一句话拆成"误差 → 梯度 → 更新"三段，你就能亲手把握住学习的那一下动作。

先说它怎么发现自己错了。给网络一堆"正确答案"（比如这是数字 3），网络吐了个预测，预测跟正确答案差多远，就叫误差 / 代价（cost）。误差越大说明越离谱。课程里那段手写批注就点破了目标：要调整参数，让"模拟出的向量和真值标签之间的距离（残差）"尽量最小。

知道错了以后，决定往哪个方向、改多少。方向跟着"梯度（gradient）"走，梯度你可以直觉化成一句话：错误对每个参数"敏感度"的地形坡度，顺着下坡最陡的方向微调一点，误差就会降一点，这就是梯度下降（gradient descent）。

可真正的麻烦来了：手上有几万个样本，网络如果先想"这一个告诉我往上提"、下一个又喊"往下压"，到底听谁的？关键的直觉在课程反复强调的一句话里：让每个样本各提各的意见，再把它们"平均"成一小步。 真正动手时不是排队一个个练，而是随手抓一小撮样本（叫 mini-batch），算出这一撮平均想往哪改，就朝那个平均方向挪一小步，然后换下一撮接着挪。这种"用一小撮样本估个大概方向就走一步"的做法，就叫随机梯度下降（SGD）。它快，因为不用看完全部样本才动一步；它稳，因为小步走 + 平均意见让它不怎么容易撞进一个死胡同。Nielsen

最后一个疑团是这些"往哪改"的判断，网络怎么知道要摊到离得最远的第一层头上？讲课里用那张"反向传播"示意图把动作讲得很清楚：

图注：误差（Error，最右）先传到输出单元 Output，再一路向左，经 Layer 3、Layer 2 传到最远的 Layer 1（EARLIER LAYERS）。每个向右走路的粗箭头（这里方向从右往左）上都标着一个乘号，代表把误差按"该层的激活斜率"乘出一条"纠错信号"。这就是"反向传播（back-propagation）"的名字由来：不是把数据往前喂，而是把误差从输出往回一层层"传"给前面每一层，好让它们各自知道该往哪改。

那张图上每个乘号背后都藏着一小步"导数相乘"，但你不需要真的会求导，只要抓住一句话：错误发生在输出端，却因为每层之间的连接是可以一层层顺藤摸瓜追回去的，所以输出层的"错"能一路指导离它最远的第一层该往哪拧。 这正是 1986 年那篇论文里一句著名描述的现代版复述：这个训练过程反复调整连接权重，为的是最小化"网络实际输出与期望输出之间的距离"。Rumelhart 等 1986

这也是"反向传播（back-propagation）"名字的真正来源：它其实是一句"纠错信号从输出往返回传"的意思，不是某位作者一个人的发明（论文正文致谢了 David Parker 的个人通信和 Yann Le Cun 的独立发现）。

到这儿，最值钱的一件事顺带发生了：那些藏在中间的"隐藏单元（hidden units）"，你从没设计过它们该认什么，可训练结束时它们会自动各自长出一组内部表征——有的专门负责捕捉某类边缘、某个局部形状，而你从头到尾只告诉网络"答对了还是答错了"。你甚至可以去"偷看"它们学会的东西，往往是你作为人类根本没想到要设计的特征。这正是前头第二章"让它自己学才是真赢家"最硬的一次实锤。Rumelhart 等 1986

讲再多理论，不如亲眼看着它学会一次。下面这段是我按 Michael Nielsen 那本《Neural Networks and Deep Learning》里的教学网络思路、用现代 numpy 重画的一个概念示意（不是论文原代码，数字会因随机初始化浮动），让你看到"误差随轮次往下掉"这件事是真的：

import numpy as np

# 教它学逻辑 AND：两张输入（0/1）同时为 1 才输出 1
X = np.array([[0,0],[0,1],[1,0],[1,1]])
y = np.array([0.,0.,0.,1.])

np.random.seed(1)
w = np.random.randn(2) * 0.5   # 权重
b = 0.0                        # 偏置

def forward(x):                # 单神经元：加权求和 + 过激活
    return 1.0/(1.0+np.exp(-(x@w + b)))   # σ(z)

for step in range(2001):
    p = forward(X)
    error = p - y              # 离正确答案差多远（这里是误差）
    grad = (error * p*(1-p))   # 误差 × 激活的斜率，近似求出每个参数该改多少
    w -= 0.5 * (X * grad[:, None]).sum(axis=0)   # 顺梯度下坡一小步
    b -= 0.5 * grad.sum()
    if step % 500 == 0:
        print(step, "误差平方和≈", round(float(((y-p)**2/2).sum()), 5))

如果你跑起来（把代码存成 .py 或在 notebook 里运行），会看到类似 0 误差平方和≈ 0.2、500 误差平方和≈ 0.06 这样每次打印都更小的曲线，最后逼近 0。这就是"它学会了 AND"：仅仅靠误差越小越好地微调两个权重和一个偏置，它在几百步里就摸出了正确答案。Nielsen 原书用同样的思路在 74 行代码里训练出一个能认手写数字的网络，他也如实说明书里报的识别率（单周期后 9129/10000，最好约 95.4%）是"best-of-three"、会随随机初始化浮动，别当铁打的通用指标。Nielsen

把这段代码看完，你就有了一张很具体的图：所谓"让机器学"不是魔法，而是"量差距 → 估坡度 → 朝下坡平均走一小步 → 再来"这同一个动作，被可靠地重复几千几万次。当一个网络里有几百万个这样的参数、几十层这样的格子时，同一个动作反复做，它就能把认图片这种硬任务慢慢啃下来。

学习关：先量"差多少"（误差），再看每个参数该往哪拧能让误差变小（梯度），最后把每个样本的意见平均成一小步顺着下坡走（SGD）；误差从输出往回传，一路指导最远那层——同时，藏在中间没人设计过的单元自己长出了有用的内部特征。

5. 把网加得越深就越会认图吗？——真的会，但也最先撞上"深了学不动"的海沟

有了"能自学"的机制，你八成会想：那我拼命多堆一层，是不是就更聪明？对认图这种硬活，答案一开始真的是"会"。

早在深度学习还没名号的手写数字时代，机器就在做"看图"了。把一张 28×28 的灰度图（784 个像素）喂给一个三层网，它就能认 0 到 9。真正让这套"用卷积的眼光看图"的想法爆发的是 2012 年的 AlexNet。它不走"给人写规则"的老路，而是用一个能自己学的小窗口在图上扫来扫去，逐步把"边、角、色块"这些最底层的结构拎出来，再一层层拼成越来越抽象的"形状、部件、整体的猫或车"。讲义上那张经典 CNN 管道图把它画得很清楚：

图注：一张 28×28 的图先进第一层 5×5 卷积（输出 6 张特征图），再过 2×2 平均池化缩小，接着第二层 5×5 卷积（16 张），再池化，最后接三层全连接 FC(120)→FC(84)→FC(10)，10 对应 10 个数字。粗看就是一个能逐层从"局部边缘小特征"提到"全局分类"的管道。

这种"由边到形到物"的分层观察法就是 CNN 的核心直觉，你不需要背通道数，只要记得它看一张图是从最底层的一格格小边缘，一路升到认出这是猫还是狗。2012 年 AlexNet 那次是把这种"更深 + 更强算力"用在百万级图上，直接拿下 ImageNet 大赛（论文自报 top-5 错误率约 15.3%，对着第二名约 26.2% 算是历史性的一步，那只是 2012 年的坐标，不是今天的 SOTA）。AlexNet 2012

既然要认的东西这么难，直觉就是：越深越好，多堆几层吧。可就在这条"加层"的路上，出现了一个反直觉的硬钉子。下面这张是 ResNet（残差网络）论文里的关键图，你只需看它的走向，别从图上抠百分比：

图注：ResNet 论文 Fig.1：在 CIFAR-10 上比较 20 层与 56 层"普通（plain，不带捷径）"网络。反直觉之处在左半：明明只是多堆了层，56 层网络的训练误差却比 20 层还高——这不是"练过头了记不进去训练集"的过拟合，而是更深反而更难优化。ResNet

这张图把这句话砸实了：网络更深，不是说推上去就完了——它可能连训练集里的东西都学不进去。论文作者把这种现象叫退化（degradation），它不是过拟合，而是更深的那段网络本身的优化变难了。ResNet

为什么深了就这么难练？这里藏着的正是那三个大字：梯度消失（或爆炸）。回想上一章的反向传播——误差从输出一层层往回传，每一层都得把前面那层的纠错信号乘上一个数。假设每传一层这个数都约等于 0.1，那么传过 30 层后，$0.1\times0.1\times\dots\times0.1$（30 次连乘）早就把信号磨成 0 了。这就像人传话：每一棒都稍稍抖掉一点，传到离发话人最远的那第很多棒时，早就听不清原话了——离输出最远的第一层于是几乎收不到"该往哪改"的通知，学不动了。反过来如果每层乘的数都大于 1，连乘会把信号放成天文数字，梯度爆炸，一样练不稳。

ResNet 的破法漂亮至极，它不在梯度本身动刀，而是给信号另外修一条直路。看这张残差块图，它就是整章的答案：

图注：ResNet 的经典残差块（论文 Fig.2）：输入 $x$ 分两支——主路经过两层（每层后接 relu 激活）在学"要修的那个差" $\mathcal{F}(x)$；旁路把 $x$ 原样跨过这两层，直接送到下方的加法节点，输出 $\mathcal{F}(x)+x$。这条旁路是"恒等捷径"，不多花一个额外参数。ResNet

为什么这条路能救命？因为万一要补的那部分本来就是 0（网络已经够好、什么都不用改），主路只需老老实实输出 0，把 $x$ 顺着旁路原样放过去就行——哪怕中间若干层暂时不会练、输出 0，错误信号仍能顺着旁路这条"直路"畅通无阻地传回前面的层，等于给反向传播开了一条不限速的 vip 通道。人传话越传越糊的问题，被"给话本身单独架一根不过任何人的直拨线"彻底绕开了。这就是"残差（residual）"的含义：每层块只负责学"还需要补多少"，而不是从零再造一张图。ResNet

而"这样一改，深度才第一次真正变得好用"不是嘴说，下面这张左右对照图就是实验室里的对比：

图注：ResNet 论文 Fig.4（ImageNet 训练）：左栏是"普通（plain）"18 层 vs 34 层，34 层没能在训练上压过 18 层（被人传话越传越糊拖累）；右栏换成"残差（ResNet）"网络后，同样 18 vs 34 层，34 层终于反超 18 层。曲线走向比具体数值更重要，它说明"加了直路，变深才终于有用"。ResNet

别把 ResNet 当成把一件东西"造得更准"的技术，它是把"更深的网络能不能练得动"这个问题从根上解开的手术：让很深很深的网络变得训练得动、不会更笨。ResNet 论文还报告最深训到 152 层（论文自报），那已经是 2015 年的深度了；这些层数、百分比都是历史坐标和论文自报数字，不必背。你只要带走"多堆一层不是白堆，前提是给信号架一条直路"这个判断即可，因为下一章你会发现，这条"捷径 + 残差"的思想接下来被用在了几乎所有更后来的大模型身上——包括 Transformer。

深了会笨那一下的真相：反传的纠错信号每过一层就被乘一次，连乘把它磨薄或放爆，最前面的层于是学不到；ResNet 靠"只学要补的差 + 旁路原样架过去"给信号修了条直路，深网络从此第一次能练得动。

6. 都是"预测下一个词"？会翻译会写文会陪你聊的大模型，靠谱到哪一层该停手？

前五章我们把"机器自学"讲到了能认图、能开车。可你手机里那个能聊天、能翻译、能帮你写作业摘要的玩意儿，底层到底是什么？这一章把它最后一层皮揭开，有时候这个答案有点扫兴，但它特别重要。

2017 年，一篇叫《Attention Is All You Need》的论文提出 Transformer，它是对"让机器处理句子"这件事的一次架构革命。人话版本是这样的：老办法处理一个句子，得一个词一个词排着队看（像 RNN 那样，有先后顺序的瓶颈）；Transformer 取消了这个排队，让句子里的每一个词都能同时跟全句所有其他词"打招呼"互通信息，而且这种相互关注可以完全并行地算，快得多。Transformer

看这张稍有点吓人的官方架构图，是整章的定盘星：

图注：Transformer 官方架构（Vaswani 等 Fig.1）：左侧一列是编码器（Encoder），由 Nx 个相同块堆叠而成，每块含多头自注意力 + 前后各一个"Add&Norm（残差+归一化）"和前馈网络；右侧是解码器（Decoder），在自注意力之外还多一层对编码器输出的交叉注意力，且它的自注意力是带掩码的（不会偷看未来位置）。顶上走 Linear + Softmax 去预测下一个词。你不需要逐格读懂 label，只要在图中看到：每个子层外面都套着一条"Add&Norm"——那正是上一章讲过的残差 + 归一化给了深度一条直路，深模型才训得动。Transformer

这里有个贯穿始终的小呼应：上一章说"深了要架直路"才练得动，你看 Transformer 这个大怪物块里也满布着同款残差连接。所以为什么今天的大模型能做到那么深还训得动？答案你第五、六章已经亲手握住了：因为它没忘给信号架捷径。

可真正的"大模型秘密"还不是架构，而是训练目标只剩一句话：预测下一个词（next token）。GPT-2 这篇论文把话说得最直白：它从网上精心挑了几百万个网页（作者叫 WebText）喂进一个超大的 Transformer，训练时就一件事——前面这段文字，猜接下来最该出现哪个词；从头到尾没有给每项任务标任何"正确答案"，它只是反复练"顺着上文猜下文"。GPT-2

最反直觉的地方来了：只用"猜下一个词"这一句训练出来的模型，怎么会翻译、会总结、会对答如流？答案是它根本没在"真懂"人类语言，它只是疯狂地猜下一个最高概率该出现的字——但因为它猜的次数足够多、见过的搭配足够全，把语法习惯、常识关联、甚至"被问句就该回回答句"这种格式都从海量文字里"背"下来了，看起来就像会了人话。GPT-2 自己都反复声明它的样本外表现"远谈不上好用、许多实际任务不比随机强"，作者诚实的谦词在这儿反而成了帮助我们正确理解它的戒尺。GPT-2

把"预测下一个词"当成这套系统的内功心法后，剩下的演进就水到渠成了。看讲义这张"预测下一个词 → 一步步进化到大模型"的主线图：

图注：顶端三根标尺写着今日大模型的三大支点：Predict the Next Word（预测下一个词）、Parallel Processing of Long Sequences（长序列并行处理，来自 Transformer）、A User-Friendly Interactive Interface（好用的对话界面）。下方从 Statistical Language Models（基于词频的统计模型）→ Neural Language Models（RNN/LSTM 学词表示）→ Transformer（自注意力）→ Pre-training + Scaling（预训练 + 缩放，如 BERT/GPT）→ Instruction Alignment + Dialogue（指令对齐 + 对话，如 RLHF/ChatGPT）→ 一路到 Multimodality + Reasoning + Agents（多模态 + 推理 + 智能体）。核心没变：全程都在"把语言当序列，不断预测下一个最该出现的词"。

于是课程把"大模型时代"归纳成一句话：先在巨型语料上预训练（就是死练预测下词）把底子打好，再经过"指令对齐"调教成能跟人对话、会按用户要求做事的助手，最后叠上多模态与工具使用。 它跟你手机里那个助手的能力完全对得上：问答、摘要、翻译、续写故事、甚至被 prompt 一催就去假装做某领域任务——全是从"顺着看过的文字猜下一个该出现什么"这个动作里长出来的。

不要把这些能力当成需要背名词的清单，把它读成"行为清单"就好——你平时点到的那几个功能键背后，全是同一个 next-token 引擎在换皮的输出。讲义这张图把 LLM 能干的活儿摊给它看：

图注：中央是"LLM（Large Language Model）"，四周伸出九种能力分支：Answer Questions（问答）、Summarize（摘要）、Translate（翻译）、Code Assistance（写代码）、Write & Create（写故事创作）、Brainstorm Ideas（头脑风暴）、Chat & Assist（陪伴闲聊）、Plan & Organize（规划组织）、Analyze Data（分析数据）。本质都是同一个在语言序列上学出来的模型，接不同提示或格式就换一种输出套路。

而一旦看穿了它只在"预测下一个词"，你自然懂得怎么客观看待它的"能耐清单"，也懂得它的命门在哪。LLM 的能力不是神迹，而是"在够大的语料上学会了足够多的统计规律与搭配"，这也正是它为什么会犯下面这类错：它可能一本正经地编出看起来合理但跟事实对不上的答案，行业里给这种"顺口溜说得头头是道却未必真"的毛病起了个名字叫 幻觉（hallucination）；还可能把训练材料里的偏见、隐私原样带出来。LLM Survey 2024

所以课程结尾反复叮嘱的那句"重要信息要自己再核实"不是空话，它正是看懂"预测下一个词"必然的推论：它能帮你起草、梳理、翻译、当副驾，但它不一定是事实数据库，更不代表替你做了最终判断或诊断。对下面这些真实领域的落地，请带着"它顶多是个极其聪明、也可能一本正经出错的副手"的心态去用：Transformer

在这些落地里，最容易让人误判的是医疗这个字眼，先看讲义里 Medical LLM 到底能干几件事：

图注：中心写着"Medical LLM"，外圈六个编号模块伸向它：01 病历管理（EHR management，自动更新病历、省去手工录入）、02 临床支持（从病历给初步诊断方向）、03 患者教育（把病情和治疗方案写成大白话材料）、04 患者服务（24 小时问答与个性化指导）、05 文档（自动起草医疗文书）、06 研究分析（在大数据里找趋势）。至少说明医疗大模型并非只挂一个聊天框，而是试图嵌进从病历管理到科研的整套流程。

• 医疗：如上图这类"医疗大语言模型（Medical LLM）"在做电子病历整理（EHR management）、辅助给初步诊断方向（clinical support）、给患者写通俗科普材料等。Luger 注意，临床诊断、用药建议这些只能当提醒、不能当结论，重要信息必须回到医生和专业原始来源。
• 金融：做量化交易的"投研副驾"、合规风控问答助手、报销/税务助理。因为金融一个错就是真金白银，幻觉在这里要格外警惕。
• 教育：语言学习 App（如多邻国）用 AI 给你逐句解释你错在哪、做角色扮演对话；平台还可以给不同学生出个性化练习。
• 文旅：AI 语音导览、帮你规划行程、给文化遗产做数字化的展示与讲解。
• 心理：匿名的情绪陪伴引导（比如有人只敢对 AI 开口）。这类最该守住边界：陪伴可以，但它不应替代专业心理治疗，遇到真正危险仍需真人专业介入。

一句话记住：这些丰富多彩的领域落地，底层全是被同一个"预测下一个词"的装置接过数据后的不同用法；它们给你提效、给你陪伴、给你第一步思路，但**"它说的对还是不对"，永远需要你自己再对着权威原始来源去确认**。

最后回到全篇最开头那个问题：靠什么"聪明"起来的机器，此刻你已能完整复述那条主线——它不是靠人写死的规则，而是靠一堆会自己调参数的"格子"（神经元）连成网络，靠衡量误差、顺着梯度一步步自学，靠把网络做深（并给信号架直路来对付"深了学不动"），最后靠把"顺着上文预测下一个词"这件最不起眼的事，在巨型语料和超大算力上推到极致。现在，当有人再跟你说某 AI"什么都能干、绝对不会错"时，你已经知道该怎么想：它能干，是因为它从大量数据里学会了太多太多"看起来很对"的搭配；它会错，也是同一个原因。重要的事自己核实，这是理解它的能力边界后，我们该有的清醒。

大模型关：那些会翻译、写文、聊天、还能接手一堆垂直行业的"智能"，底层都只有一个动作——在海量文字上预测下一个词；看穿了这一点，你既懂得怎么用它提效，也自然懂得它也可能一本正经地错、重要事要靠自己去核实。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Computing Machinery and Intelligence（A. M. Turing, Mind 1950） — https://courses.csail.mit.edu/6.803/pdf/turing.pdf
2. Current AI: A Survey and Critique（George F. Luger, IJSC 2025） — https://www.cs.unm.edu/~luger/ijsc2025.pdf
3. The Nobel Prize in Physics 2024 — Popular science background（NobelPrize.org） — https://www.nobelprize.org/prizes/physics/2024/popular-information/
4. Learning representations by back-propagating errors（Rumelhart, Hinton & Williams, Nature 1986） — https://www.cs.toronto.edu/~hinton/absps/naturebp.pdf
5. ImageNet Classification with Deep Convolutional Neural Networks（Krizhevsky, Sutskever & Hinton, NIPS 2012） — https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
6. Deep Residual Learning for Image Recognition（He et al., CVPR 2016） — https://arxiv.org/abs/1512.03385
7. Attention Is All You Need（Vaswani et al., NeurIPS 2017） — https://arxiv.org/abs/1706.03762
8. Language Models are Unsupervised Multitask Learners（Radford et al., OpenAI 2019） — https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
9. History, Development, and Principles of Large Language Models — An Introductory Survey（Wang et al., arXiv 2024） — https://arxiv.org/abs/2402.06853
10. Neural Networks and Deep Learning, Chapter 1（Michael A. Nielsen） — http://neuralnetworksanddeeplearning.com/chap1.html