AI 从只会照规则办事,是怎么长成会写会画的 ChatGPT 的?

给你一个贯穿全程的问题:现在这个能陪你聊天、能画图、能做数学题的 AI,跟七十年前那些只会照着人写好的规则一步步执行的机器,到底还是不是同一个东西?这门 AI 通识课把答案藏在一连串里程碑里。我们不去死背年份,而是沿一条因果链走:每一代 AI 都解决了上一代的缺口,又暴露出下一代要面对的新问题。边走边看,你会越来越清楚一件事:机器答得快、答得对,跟机器真的「懂」,是两码事。这正是全篇结尾要收回来的一面镜子。


会算得快,就算 AI 吗?——先立一把判据的尺子

先看这门课怎么回答「什么是 AI」。课件用两个反例立了一把尺子:一台复杂计算器,算得再快也不算 AI,因为它只遵循预先写好的规则和程序;一台固定程序的洗衣机也不算 AI,它不学习、不感知不确定的环境、不调整自己的行为。这套尺子给你的第一句话是:自动化 ≠ 智能。速度快不代表智能,能照固定步骤把事做完更不代表智能。(当然语境很重要:一台带学习优化、能按衣物自动调整程序的智能洗衣机,就算另一种情况了。)

那什么才算?课件给了 AI 的五项能力作为画像:感知(perception,看、听并解读环境)、学习(learning,从数据与经验里找模式)、推理(reasoning,推断、规划、解决问题)、语言(language,理解并生成人类语言)、行动(action,决策、适应并与世界交互)。一个 AI 系统可能只占其中几项,不必五项都齐。要真正运转起来,还需要三根支柱:算法(怎么做)、算力(拿什么算)、数据(拿什么学)。这三样会在后面反复出现,是整个故事的三条腿。

能力清单仍然停留在「画像」层面。真正把「智能」变成一个可以检验的问题的,是 1950 年图灵那篇著名的论文。图灵面对「机器能思考吗」这个问题,没有去争什么是「思考」——他说按日常用法较真下去,这个问题会退化成一门像盖洛普民调那样的统计调查,这很荒谬。他的替代方案是把问题改写成一个可观察的对话游戏:审讯员隔着房间只靠文字提问,房间另一头一端是真人、一端是机器,看审讯员能不能可靠地区分。这套判据只问行为不可不可区分,不碰机器的内心世界。Turing 1950

学科里报「5 分钟后判对率低于 50% 就算通过」的说法,注意这是后人给学术大脑做的通俗化,不是 1950 原文。图灵原文真正给的参考线,是在他自己对「大约五十年后(约 2000 年)」的预言里:平均审讯员在 5 分钟提问后判对率不超过 70%,即可视为不可靠区分——这仍只是预言,不是测试规则。Turing 1950

不过,图灵这套「只看行为、不问内在」的做法,埋下了一颗雷。行为上分辨不出,就等于真懂了吗?看下面这个例子。

图注:三面板并排:最左几乎看不出什么的熊猫照片、中间是放大处理后的一团黑白噪点状扰动、最右仍是那张熊猫照片。原版实验里,给左侧熊猫照片加上一段小到低于图像自身精度、人眼根本无法察觉的扰动后,同一个深度网络以极高置信度把最右这张几乎一模一样的图,从「熊猫」误判成了「长臂猿」(gibbon)。图内本来不携带这些置信度文字,要配这个说明才能读明白它。Adversarial

这一幕很有意思:一个识别能力相当强的网络,输出层给出的判断在「行为上完全正确」(熊猫确实被认对了),可只要输入有一点点异动,它立刻以更高的自信走向完全错误的结论。唯一保守的解释是,高置信的输出并不需要建立在人类意义上的「看懂」之上。这把图灵判据的裂缝当场指了出来:行为通过 ≠ 真的理解。这个悬念先记在账上,最后一章会用今天大模型「能力凹凸不平」的证据正式收回来。

  • 小结:会算得快、会照章办事,都不等于智能;第一个能被检验的智能判据(图灵测试)只问行为不可不可区分,而这恰好为后面「会答未必懂」的反思埋下了伏笔。

先走的那条路:让人照着人手写的规则办事,为什么撞了墙?

有了判据,AI 作为一门研究从哪儿起跑?时间线不长,节点也都很清楚:

年份事件它做了什么
1946ENIAC 问世第一台通用电子计算机,计算速度比早期机电机器快约一千倍
1950图灵发表论文提出行为主义的智能判据(上一章详述)
1956达特茅斯会议「artificial intelligence(人工智能)」一词在此被确立为一门研究领域
1966ELIZA 诞生MIT 的聊天机器人,模仿心理治疗师对话
1980XCON 投入实施在新罕布什尔一家工厂落地的专家系统

这条路有个共同的名字:符号/规则路线。它的核心设想是,把人类的专业知识一条条写成「如果……那么……」的规则喂给机器,机器照着这些 if-then 判断去推理。达特茅斯会议并没造出能思考的机器,但它办成了一件更根本的事,把 AI 规划成一门可以系统研究的学科。随后,一个叫 ELIZA 的聊天机器(1966)能在一段被设定好的对话里以假乱真,1980 年落地的专家系统 XCON 更是真的上了工厂的生产线去诊断计算机配置问题。

这套方法在「窄」任务里确实能成:诊断有明确规则,下象棋有明确的走子规则,把规则写清楚,机器就能执行得比人更稳定。可它一走出这几个窄行当就失灵了。原因不在机器,而在规则本身:现实世界模糊、信息不全、相互牵扯,那些「聪明人一拍脑袋就能做」的判断,根本写不成一条条没有歧义的 if-then。规则一写不全,符号 AI 的天花板就出现了。

更没被重视的是,规则路线走红的同时,脚边一直躺着另一条没人搭理的暗线。1943 年 McCulloch 与 Pitts 提出了受大脑结构启发的神经元模型;1957 年 Rosenblatt 据此做出感知机(perceptron);但 1969 年 Minsky 与 Papert 指出感知机连 XOR 这类简单的非线性问题都处理不了,ANN 的研究资助因此大面积停滞,酿成了常说的「第一次 AI 冬天」。Nobel 2024

把视线放长一点会发现,符号路线撞墙的根本问题在于它走的是「世界若要被机器理解,得先被人类翻译成规则」这条路;而那条被打入冷宫的神经网络暗线走的是相反的思路——让机器自己从数据里把规律长出来。这两条路线的胜负,在 1980 年代之后才见分晓。

  • 小结:符号 AI 能在诊断、下棋这类窄任务成功,天花板来自「规则写不全」;而真正让机器自己学的连接主义暗线此时还被压在冷宫。

翻盘的那天:数据、算力凑齐,让机器自己学的一方才赢

「让机器自己学」这条路想翻盘,缺的不是想法,而是三样具体的东西:手段、算力、数据。三者不是同时出现的,但直到 2012 年前后它们才凑到同一年。

手段上,1986 年反向传播(backpropagation)被采纳:Rumelhart、Hinton 与 Williams 用它训练带隐藏层的网络做分类,并证明含隐藏层的网络能做到无隐藏层完成不了的任务。这是「让机器从错误里自我修正」的训练机制的起点。Nobel 2024

算力上,2006 年 NVIDIA 发布 CUDA,把 GPU(图形处理单元)从「只给游戏加速」变成通用的并行计算平台;同年「深度学习(deep learning)」这个概念成形。

紧接着是历史性的一天。2012 年,Krizhevsky 团队的 AlexNet 参加了图像分类竞赛 ILSVRC:一个 8 层权的卷积网络(5 层卷积 + 3 层全连接,约 6000 万参数),在 ImageNet 约 120 万张、1000 类标注图上训练,用两块 GTX 580 GPU 把运算摊开,再用 ReLU 与 Dropout 这些新技巧加持。AlexNet

结果是压倒性的:它在测试集上把 top-5 错误率打到 15.3%,而第二名参赛队是 26.2%——差距约 11 个百分点。这个断层让当年所有人都看清,旧的「靠人手设计特征」方法出局了。AlexNet

注意,2012 的分水岭不是某一个人的神来之笔,而是「算法手段(反向传播 + ReLU 这类新结构)+ 大规模带标注数据 + GPU算力」三条腿凑齐的结果。这里刻着整条深度学习的叙事骨架。

数字刚让研究者信服,大众很快也被打动。2016 年,AlphaGo 在完整 19×19、无让子的正式对局里击败了人类职业棋手——这在此前被认为「至少还要十年」。AlphaGo

围棋每手约 250 个合法点、一局约走 150 手,暴力穷举根本不可行。AlphaGo 的策略是用深度网络分头做两件事:价值网络(value network)评估当前局面优劣、砍短搜索深度,策略网络(policy network)挑选着法、砍窄搜索宽度,再配合蒙特卡洛树搜索串成完整系统;先拿人类高手棋谱做监督学习,再用自我对弈强化学习持续变强。AlphaGo

同年 AlphaGo 又在首尔以 4-1 击败李世石(据 DeepMind 官方博客与国际围棋协会记录,这一战发生在论文发表之后)。到这里,深度学习的长处已从「识别图片」扩展到「在复杂博弈里做决策」,第一次被大众看见。

  • 小结:这一代翻盘靠的是手段、数据、算力三线汇合;AlexNet 证明深度网络会「识别」,AlphaGo 证明它还能「思考着做决策」。可读了这段你多半会问:什么叫「自己学」?网络内部到底发生了什么?下一章往下钻。

那么神经网络到底是怎么『学会』的?——激活函数那一下非线性

你已经知道神经网络是什么,现在我们拆到最小单元,看看它凭什么学得动。

一个神经元做的事很朴素:把一堆输入各自乘上权重再加起来,得到加权和 $z = x_1 w_1 + x_2 w_2 + \cdots + x_K w_K + b$($b$ 是偏置),然后把这个和丢进一个叫激活函数的「闸门」$\sigma$,闸门的形状决定神经元最终输出多少。把成千上万个这样的单元分层叠起来,就是神经网络。

关键问题来了:这个闸门非有不可吗?为什么不能没有激活函数、让输出直接等于加权和?费恩曼式的一句话最能说明白:没有它,把再多层叠起来也跟一层没区别。因为一串仿射变换 $f(x)=Wx+b$ 逐层套下去,数学上总能合并成一个单一的线性变换——连乘再连加,最后还是 $W'x + b'$ 的样子。一套只能画直线的模型,不管画多少次、叠多深,都永远学不出弯曲的关系。闸门存在的意义,就是给网络引入非线性,让它可以拟合数据的真实形态。Activations

闸门长什么样很重要,它的形状决定了训练顺不顺。三种最常见的闸门对照如下:

激活函数公式输出范围特点和短板
Sigmoid(logistic)$\sigma(z) = \frac{1}{1 + e^{-z}}$$(0, 1)$输出可当「取 1 的概率」读,ReLU 出现前长期是主流;但在 $z$ 很大或很负时饱和
Tanh$\tanh(z) = \frac{e^{z}-e^{-z}}{e^{z}+e^{-z}} = 2\sigma(2z)-1$$(-1, 1)$sigmoid 的缩放平移版,以零为中心、训练更稳,但一样会饱和
ReLU$f(z) = \max(0, z)$$[0, \infty)$整流线性单元;从它登场后取代 sigmoid 成为主流,但它负区间梯度恒为 0

Activations

ReLU 为什么能当上主流,有个很实际的证据:2012 年 AlexNet 用的就是它。论文里写得很直白,带 ReLU 的深度 CNN 比等价 tanh 网络收敛快数倍——在 CIFAR-10 的一个四层对比中,ReLU 网络收敛到 25% 训练误差比 tanh 快约 6 倍。作者甚至说,要是还困在传统饱和神经元里,当年那些大规模实验根本做不出来。AlexNet

这扇闸门也把「深」这件事推到了尴尬的位置:网络想更聪明就得更深(层数从 2012 年 AlexNet 的 5 层,涨到 2014 年 VGG 的 19 层、GoogLeNet 的 22 层)。但注意 Sigmoid/Tanh 那条「会饱和」的短板——它正是训练出问题的引信。闸门两端一饱和,向后传的修正信号就会传不动,这直接引出下一章的问题。

  • 小结:神经元 = 加权和 + 一扇非线性闸门;闸门让多层叠起来不至于退化成一条直线。可闸门各自的脾气,藏着让「深」变难的机关。

想把网络做得更深,为什么它反而学不动了?又是怎么救回来的?

想得到更强的表达力,最简单的办法是把网络往深里做。可问题也随之而来:层数一深,网络常常学不动了。为什么?

要看清这件事,得先明白网络「学习」靠的是啥。训练靠反向传播:网络在最后一层算出和正确答案差多少(误差),然后把这个「修正信号」从输出端一路向后传,每经过一层,这一层的参数都知道自己该往哪个方向改多少。一个直觉是,信号每过一层就要乘一次/若干次那层的系数。假如每层的系数大致小于 1、比如 0.5,那信号传到 20 层前就变成了 $0.5^{20} \approx 0.000001$,几乎等于零——越靠前的层,越收不到任何修正,也就什么都学不会;这就是梯度消失。反过来,如果系数常大于 1(比如 2),$2^{20} \approx 1{,}000{,}000$,修正量被层层放大到失控,参数来回震荡甚至变成 NaN,这就是梯度爆炸。

不过事情还有更精微的一面。2015 年前后,研究者发现即便梯度没什么问题、网络确实能开始收敛,加深之后的网络照样变笨:34 层的「plain」(无特殊结构)网络在整个训练过程里,训练误差竟全程高于 18 层的对手。注意这不是过拟合——训练集上的误差都更高,只能说明优化器根本没找到解。这就是论文命名的退化问题(degradation)。理论上若把多出来的层做成恒等映射、其余照抄浅层,误差本不该涨,可当时的优化器就是学不到这种解。所以 ResNet 原文把退化精确解释为「优化困难」,而惯常讲的「梯度消失」是 0.5²⁰ 那套连乘直觉给出的成因,两者是同一个难题的两层表述,别混为一谈。ResNet

那 ResNet 是怎么救回来的?思路是:与其逼一堆层去硬学那个目标映射 $H(x)$,不如把任务改轻——让这些层只去学「还差多少」的残差 $F(x) = H(x) - x$,再把原始的 $x$ 通过一条**恒等捷径(identity shortcut)**直接绕到旁边,在加法节点相加:

$$y = F(x) + x$$

也就是说,网络把「照抄输入再往上加一点改动」当成了默认动作。若某几层没用,把残差往 0 推容易;若想让网络学恒等映射,这条路也天然便宜。看下面这张残差块的构造图,捷径就是那根让 $x$ 不衰减通过信息的支路。

图注:ResNet 论文原图「Residual learning: a building block」:输入 x 先穿过堆叠的两个卷积层(weight layer,第一层后接 ReLU)算出残差 F(x),x 同时经一条恒等捷径(identity shortcut)直接绕到加法节点,与 F(x) 逐元素相加后再过 ReLU 得到输出,即 y=F(x)+x。图里没有任何精度数据,它只表达「加法 + 恒等捷径」这一条核心构造。ResNet

这里有个容易误解的点:ResNet 比 VGG 深(论文一路训到 152 层),但它少的不是别的,恰恰是用捷径把「更深」变得可训练。下面这张三列对比图能看清:ResNet 并不是平白多了许多层,而是在成对的卷积层之间多了跨层的捷径线(虚线表示维度变化处需加投影)。

图注:论文原图,从左到右三列:VGG-19(19 层参照模型,标注 19.6 billion FLOPs)、plain-34(同为 34 层参数、无捷径)、ResNet-34(同为 34 层参数,但在成对卷积层间出现跨层的恒等捷径连线,实线表示同维度、虚线表示维度增加处)。plain-34 与 ResNet-34 参数层数相同(VGG-19 只是 19 层的参照),差别只在有没有捷径,故不能依此断言谁训练误差更小。ResNet

就这么一个小小的「学差值、留直路」改动,ResNet 团队把网络一路训到 152 层——当时 ImageNet 上最深、复杂度却仍低于 VGG——并拿下 ILSVRC 2015 分类第一名。它是「为什么今天几乎所有大网络都带着残差/捷近结构」的历史起点。ResNet

顺带一提,这份残差习惯会一路传下去——到后面 Transformer 的每个编码/解码子层里,也都挂着这一章讲的恒等捷径。

  • 小结:深层的代价来自连乘的放大或缩小(梯度消失/爆炸),而 ResNet 用「学增量 + 恒等捷径」把被优化拖累的深层网络救了回来,让「深」第一次真正可行。

光会分辨还不够——机器怎么学会『凭空造出』一个新东西?

前面几章讲的都是「判别」:给一张图、一句话,让机器分辨它是什么、给个答案。可近十年的 AI 还有一个更惊人的能力——凭空造出数据里没见过的新样本。这靠的是三种生成思路,它们像三个不同答案,回答同一句「AI 怎么从一堆数据里创造新东西」。

第一种,GAN(生成对抗网络,Generative Adversarial Networks),把生成变成两个人的博弈。一个「生成器 G」从噪声出发伪造样本,一个「判别器 D」负责分辨这样本到底来自真实数据还是 G 编的。造假者想让警察认不出来,警察想识破造假者,两边互相逼着对方不断提高;理想终点是生成分布完全贴近真实分布,警察彻底分不出真假,输赢概率都回到一半。GAN

看论文那张对抗训练演化图,最能直观感知这场博弈如何一步步收敛。

图注:论文原图,四联子图 (a)→(d) 展示对抗训练从接近收敛演变到最终收敛。每幅图用下横线表示采样源(z 的域)、上横线表示数据 x 的域,黑点虚线画真实分布 p_data、绿实线画生成分布 p_g、蓝虚线画判别边界 D:图 (a) 双方接近收敛,(b) 判别器被训到能较好分开真假,(c) 判别器给出的梯度把 G 的输出推回更像数据的区域,(d) 最终 p_g 贴住 p_data、D 稳定在 1/2。四格读下来正是一场「造假者越学越像」的回合制比赛。GAN

第二种是 VAE(变分自编码器,Variational Autoencoder),走的是显式的概率建模路线。它先把输入 x 编码(encode)成一个压缩的隐变量 z,再由 z 解码(decode)回 x,目标是最小化重建误差、同时让 z 的分布贴近一个设定好的先验分布。用概率图的语言讲,实线画的是生成方向、虚线画的是「用近似后验去逼近那个不可求的真相」的推理方向。它跟 GAN 的分工也简明:GAN 不显式建概率、用对抗隐式学分布,VAE 则把生成过程显式写成一个概率模型去做变分推断。VAE

但最能撑起今日大模型的,是第三种思路里的那一步——Transformer(2017)。在这之前,处理句子这类序列要靠 RNN/LSTM,它们按时间步一个个往后传,这种内在的串行本质阻碍了并行化。Transformer 反其道而行:彻底丢掉循环,只靠**自注意力(self-attention)**直接建立词与词之间的依赖。每个词当一个 query,去「查」句子其他词的 key,给关联大的词更高权重的 value 决定输出多少。词与词的联系一步到位,还天然能并行吃下超长序列。Transformer

自注意力的机制可拆成一张图:左图是「每个词如何查遍全场再按权重汇总」,右图显示可以开多个并行「头」、各自从不同角度算,最后拼起来投影。

图注:论文原图,左为「缩放点积注意力」(Scaled Dot-Product Attention):Q 与 K 矩阵相乘、缩放后(可选遮罩)经 Softmax 得权重,再与 V 相乘输出;右为「多头注意力」(Multi-Head Attention):多条注意力支路并行、各自线性投影后做缩放点积注意力,拼接后再经一次线性变换输出。左右合起来就是自注意力「查关键、加权汇总」的完整机制。Transformer

Transformer 整体由编码器/解码器堆叠而成,每层都挂了残差捷径加 LayerNorm,位置信息靠额外注入的位置编码补上(注意力自己对词之间的距离一视同仁)。正因为它靠注意力摆脱了循环的串行,能并行处理长序列,才在 2017 年后成为下一代大规模模型的架构底座。Transformer

  • 小结:GAN、VAE 用两种思路让机器「造假」造得越来越像;但它们还只能处理固定规模的输入。Transformer 的自注意力用它打破串行、并行吃长序列的能力,把战场的火炬递给了下一章真正的主角——把 Transformer 放大成能写能画的大模型。

把 Transformer 一路放大,语言模型怎么长成今天会写会画的 ChatGPT,又落进了哪一行?

现在把镜头拉回语言模型这条线,看它如何从「数词频」一路长成会写会画的 ChatGPT。课件给了一条清晰的六段演进,LLM 综述把这条线补成一张「谁在哪一年」的族谱图。

先看一张把四代语言模型摆成阶梯的图(注意它按「任务求解能力」分层,不是精确的年份轴)。

图注:来自 LLM 综述的四代语言模型关系/阶梯图,从任务求解能力视角呈现从统计语言模型(词频与 n-gram、预测下一个词)→ 神经语言模型(分布式表示)→ 预训练模型(可按下游任务优化的上下文表示)→ 大语言模型(规模化解锁通用任务求解)的逐级增强。各阶段代表工作所处年份可能不精确,别当精确时间轴使用。LLMSurvey

逐段看这六步怎么环环相扣,上一段永远只解决下一段的部分问题:

  1. 统计语言模型:靠词频与 n-gram,用马尔可夫假设「刚看过的几个词猜测下一个词」。它能勉强预测,但完全没有长程记忆。
  2. 神经语言模型:词嵌入(word embedding)+ RNN/LSTM。出现了分布式表示,但 RNN 的串行痼疾没除。
  3. Transformer 预训练 + 规模化:用上一章讲的架构做预训练(BERT、GPT 系),再靠更大模型规模解锁通用能力。这一步埋下了整条路的分叉口。
  4. 指令对齐 + RLHF(ChatGPT 这一步):光会接着上文续写还不够,还要让它听懂人类「指令」、按讨好人类反馈的方式作答,才有了今天能聊天的对话界面。
  5. 多模态 + 推理 + 智能体:GPT-4o 这类能看图,o1 系列与 DeepSeek-R1 这类会「长思考」,还会用工具、跑多智能体协作。

LLMSurvey

下面这张综述的时间线主图,把近年代表性模型按年份铺开,公开权重模型以黄色高亮区分闭源。阅读时可对照上面五段,看每个模型站在哪一级台阶上。

图注:一张按年份横向排列近年代表大模型的族谱时间线(GPT-3、InstructGPT、ChatGPT、LLaMA、GPT-4 等),其中提供公开权重(checkpoint)的模型以黄色高亮,区别于闭源模型。图中节点按大模型族谱年份摆放,不属于课件那套「统计→神经→预训练→对齐」的分层着色,个别模型参数量需回论文表核对。LLMSurvey

把时间线拖到「当下」,大模型已经真实落进各行各业,这里用一张表把课件的行业案例收拢起来(具体项目名与描述以课件为准,作为「大模型改变世界」的直观图景)。

行业代表项目 / 工具它解决什么
医疗Deepsage-GIST(港科大广州 BDI),被数家三甲医院试点作「诊断报告撰写助手」,支持医生决策、提升肺癌诊疗效率
金融Kquant-LingCopilot、Alpha-gpt多智能体无代码量化交易系统 + 人机协同的 alpha 挖掘,用自然语言构建交易策略
教育Duolingo、领域大模型驱动的国家语言平台AI 个性化辅导、引导式解题,帮助备课出题评分与多语言学习
文旅DeepSeek 驱动的文化 IP 开发、Google Arts & Culture生成语音导览、数字保存非遗、把本地文化 IP 跨媒体传播出去
心理Wysa 与 Woebot提供匿名的 AI 引导式情绪支持,采用循证技术帮助自我照护

行业不只「用上了 AI」,它还反过来给出了一面镜子。斯坦福 AI Index 2026 报告清楚记录了大模型典型的「能力凹凸不平(jagged frontier)」:很强的大模型能在国际数学奥林匹克上拿下金牌,同一批模型读一张模拟时钟,正确率却只有约 50%(报告内部对精确小数的口径略有出入);在结构化 benchmark 上,agent 大约每三次任务失败一次。报告把这描述为「能力飞快,理解却凹凸不平」。AI Index

这正把第一章那面钟敲响。还记得那只被对抗噪声骗得把熊猫认成长臂猿的网络吗?今天 AI 的能力强了几个数量级,那份「行为很强 ≠ 真的懂」的判断却仍然成立。2024 年的诺贝尔物理学奖颁给了两位神经网络先驱,官方把 Hopfield 的联想记忆与 Hinton 的玻尔兹曼机称作「用物理学训练神经网络」,等于用人类科学最高奖为「神经网络的物理学根基」盖了章。Nobel 2024

所以,站在 2026 回望:AI 确实从 1950 年只会「照规则办事」,一步步长成了会写会画、能进医院的工具。它解决的问题越来越复杂,但它到底是什么,依然没有因为我们给了它海量参数而发生根本变化——它是极擅长统计模式匹配的机器。「自动化不等于智能」这句话,在七十多年后依然是最好的清醒剂。

  • 小结:语言模型的六段演进每一段只解决上一段的短板,直到「对齐」后才变成能用的大众工具;而能力凹凸不平的证据提醒我们,会答得多不等于懂得多。

一张时间线收个尾

把整条故事线压成一条主干,方便你复习时回看:

年代关键节点它解决了上一代的什么、又暴露出什么
1946–1956ENIAC / 图灵论文 / 达特茅斯会议给「机器能否思考」立下可检验的判据,把 AI 规划成学科
1966–1980ELIZA / XCON 专家系统规则路线在窄任务里落地,却暴露「规则写不全」的天花板
1957–1969感知机 / Minsky-Papert 批评神经网络暗线被压入第一次冬天
1986–2006反向传播 / CUDA / 深度学习概念补上「自己学」的手段与算力
2012–2016AlexNet / AlphaGo数据、算力、机制三线齐汇;识别→决策走出实验室
2014–2017GAN / VAE / Transformer让机器从判别走向生成;Transformer 成大模型架构底座
2022–2026ChatGPT、LLaMA、o1/R1对齐、规模化、长期推理,大模型落进行业与日常
2024–2026诺奖颁给神经网络先驱 / AI Index官方把神经网络的物理根基推到台前;能力凹凸不平提醒「会答≠懂」

希望这张图能帮你把每一个「为什么此刻发生」接起来,而不只是记住一串年份。

参考文献

本专题引用的核心资料如下,建议深入学习时阅读原文:

  1. Computing Machinery and Intelligence — DOI 10.1093/mind/LIX.236.433
  2. Artificial Intelligence Index Report 2026 (Stanford HAI) — https://arxiv.org/abs/2606.15708
  3. A Survey of Large Language Models (LLMSurvey v19) — https://arxiv.org/abs/2303.18223
  4. Attention Is All You Need — https://arxiv.org/abs/1706.03762
  5. ImageNet Classification with Deep Convolutional Neural Networks (AlexNet) — NeurIPS 2012 proceedings
  6. Mastering the game of Go with deep neural networks and tree search (AlphaGo) — DOI 10.1038/nature16961
  7. Deep Residual Learning for Image Recognition (ResNet) — https://arxiv.org/abs/1512.03385
  8. Generative Adversarial Nets (GAN) — https://arxiv.org/abs/1406.2661
  9. Auto-Encoding Variational Bayes (VAE) — https://arxiv.org/abs/1312.6114
  10. Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks — https://arxiv.org/abs/2402.09092
  11. The Nobel Prize in Physics 2024 (official page) — https://www.nobelprize.org/prizes/physics/2024/summary/
  12. Explaining and Harnessing Adversarial Examples — https://arxiv.org/abs/1412.6572
AI 从只会照规则办事,是怎么长成会写会画的 ChatGPT 的?