语言模型与词嵌入：从统计方法到深度预训练的演进之路
自然语言处理（NLP）的核心问题之一是：如何让机器理解和生成人类语言？这一挑战的起点是语言模型——一种为任意词序列分配概率的数学框架。从统计N-gram模型到Transformer架构，再到大规模预训练语言模型（LLM），技术演进的背后始终贯穿着一条主线：可计算性（tractability）与表达能力（expressiveness）之间的永恒张力。本专题将沿着这条主线，系统梳理语言模型与预训练词嵌入的核心概念与演进路径。 GPT-1
1. 语言模型概率建模：链式法则与N-gram的本质联系
1.1 联合概率的链式法则分解
语言模型的本质目标是为自然语言序列分配概率。给定一个词序列 $w_1, w_2, ..., w_T$，语言模型计算其联合概率 $P(w_1, w_2, ..., w_T)$。根据概率论的链式法则（chain rule），这一联合概率可以分解为一系列条件概率的乘积：
$$P(w_1, ..., w_T) = P(w_1) \cdot P(w_2|w_1) \cdot P(w_3|w_1w_2) \cdot ... \cdot P(w_T|w_1...w_{T-1})$$
或者更紧凑地写作：
$$P(w_1, ..., w_T) = \prod_{t=1}^{T} P(w_t | w_1^{t-1})$$
其中 $w_1^{t-1}$ 表示前 $t-1$ 个词。这一分解看似简单，却蕴含着语言建模的核心思想：预测下一个词的概率。一旦我们能够准确预测 $P(w_t | w_1^{t-1})$，就能通过乘积得到整个序列的概率。
这种条件概率建模在机器翻译和语音识别中有着直接应用。例如，在机器翻译中，我们需要比较 $P(\text{the cat is small})$ 与 $P(\text{small the is cat})$ 的概率大小，选择更自然的译法；在语音识别中，需要区分 $P(\text{there are four cats})$ 与 $P(\text{there are for cats})$，纠正语音识别的错误。
1.2 马尔可夫假设与N-gram模型
直接建模 $P(w_t | w_1^{t-1})$ 面临一个根本性困难：维度灾难（curse of dimensionality）。假设词汇表大小为 $|V| = 10$ 万，考虑连续10个词的条件概率 $P(w_t | w_1^{t-1})$，需要学习的参数空间高达 $10^{50}$ 量级——这在计算上完全不可行。
马尔可夫假设（Markov Assumption） 提供了一个务实的简化：下一个词的概率仅依赖于前 $n-1$ 个词，即
$$P(w_t | w_1^{t-1}) \approx P(w_t | w_{t-n+1}^{t-1})$$
当 $n=2$ 时，得到 bigram模型（也称为一阶马尔可夫链），只考虑前一个词；当 $n=3$ 时，得到 trigram模型（二阶马尔可夫假设），考虑前两个词。以此类推，unigram ($n=1$) 则假设下一个词完全独立于其历史。
让我们用莎士比亚作品训练的四阶N-gram模型生成一些句子，感受不同阶数带来的表达能力差异：
- Unigram 生成："To him swallowed confess hear both..."
- Bigram 生成："Hill he late speaks; or! a more to leg less first you enter"
- Trigram 生成："Why dost stand forth thy canopy, forsooth; he is this palpable hit the King Henry..."
- 4-gram 生成："This shall forbid it should be branded, if renown made it empty..."
可以看到，随着阶数增高，生成的句子越来越接近自然语言的语法结构。这揭示了N-gram模型的一个本质权衡：阶数越高，表达能力越强，但参数空间越大，稀疏性问题越严重。
1.3 神经网络语言模型：概率建模的新路径
N-gram模型本质上是离散的计数模型，无法捕捉词与词之间的语义相似性——"狗在跑"和"犬在奔跑"几乎表达相同的意思，但N-gram模型会将它们视为完全不同的词序列。
前馈神经网络语言模型（FF-NNLM） 首次将词向量表示学习与概率建模联合优化，从根本上克服了这一困难。如图所示，FF-NNLM采用四层结构： FF-NNLM CBOW
图注：神经网络语言模型将离散的词索引通过共享的词向量查找表映射为稠密向量，经隐含层非线性变换后，通过softmax输出词汇表上的概率分布。A Neural Probabilistic Language Model
FF-NNLM的核心创新在于词向量查找表机制：矩阵 $C$ 的每一行对应一个词的分布式表示（词向量），所有词共享同一个 $|V| \times m$ 的参数矩阵。训练过程中，语义相近的词会在向量空间中自然聚集，从而实现泛化——模型能够"认识"从未在训练语料中共同出现的词。
图注：Bengio 2003提出的NNLM原始架构，展示了从词特征向量经神经网络 $g$ 映射到条件概率分布的完整前馈过程。[A Neural Probabilistic Language Model](https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf "citation: A Neural Probabilistic Language Model || 三层神经网络结构图：底部三个方块（index for w_{t-n}, w_{t-2}, w_{t-1}）经Matrix C查表得到词向量C(w)，汇聚至tanh隐藏层，再接softmax输出层，顶部输出P(w_t = i ")
2. 零概率问题与模型评估：平滑技术与困惑度
2.1 零概率问题与Add-One平滑
N-gram模型面临一个严重问题：未见词序列的零概率。当某个词组合在训练语料中从未出现时，模型会赋予其零概率，导致整个句子的概率为零。这在实际应用中是不可接受的——无论测试语料多么丰富，总会遇到训练时未曾见过的词组合。
以Berkeley Restaurant语料库为例，当我们构建bigram计数表时，会发现大量零计数：
| i | want | to | eat | chinese | food | lunch | spend | |
|---|---|---|---|---|---|---|---|---|
| i | 5 | 827 | 0 | 9 | 0 | 15 | 0 | 2 |
| want | 2 | 0 | 608 | 1 | 6 | 6 | 5 | 1 |
表中许多单元格为0，表示这些词组合在训练语料中未曾出现。Add-One平滑（Laplace平滑） 通过将所有计数加1来解决零概率问题：
$$P_{\text{Add-1}}(w_t | w_{t-1}) = \frac{C(w_{t-1}, w_t) + 1}{C(w_{t-1}) + V}$$
这一公式的本质是：从观测到的计数中"削峰填谷"——从高频事件的概率中取出一小部分质量，分配给从未发生过的事件。Add-δ平滑（$0 < \delta < 1$）是更灵活的形式，允许我们调节平滑强度：
$$P_{\text{Add-}\delta}(w_t | w_{t-1}) = \frac{C(w_{t-1}, w_t) + \delta}{C(w_{t-1}) + \delta V}$$
当训练数据较小时，Add-One可能给出过于乐观的估计，此时选择合适的 $\delta$ 值就变得尤为重要。
2.2 困惑度：语言模型的内部评估指标
语言模型的常用评估指标是困惑度（Perplexity，PPL），它是句子概率的几何平均的倒数，本质上是交叉熵的指数形式：
$$\text{Perplexity} = \left( \prod_{t=1}^{T} \frac{1}{P(w_t | w_1^{t-1})} \right)^{1/T}$$
困惑度的直观含义是：模型在预测下一个词时，平均需要考虑多少个等概率的候选词。较低的困惑度意味着模型对下一个词的预测更有把握。数学上可以证明，最小化困惑度等价于最小化交叉熵损失。
在实际计算中，由于概率的连乘可能导致数值下溢，通常会取对数后求指数：
$$\text{Perplexity} = \exp\left( -\frac{1}{T} \sum_{t=1}^{T} \log P(w_t | w_1^{t-1}) \right)$$
3. 词嵌入的诞生：分布语义假设与Word2Vec
3.1 离散表示的困境与分布式表示的崛起
传统NLP将词表示为one-hot向量：词汇表中每个词对应一个维度，只有该词所在位置为1，其余为0。假设词汇表大小为50万，"狗"的向量是 [0, 0, ..., 1, ..., 0]，"犬"的向量是 [0, 0, ..., 0, ..., 1, ..., 0]——这两个向量完全正交，机器无法知道它们语义相近。
这种局部表示（localist representation） 的问题在于：一是维度灾难，50万维的稀疏向量在计算上极为低效；二是语义鸿沟，完全正交的向量表示无法表达任何语义相似性。
1957年，语言学家John Rupert Firth提出了**分布语义假设（Distributional Semantic Hypothesis）**的核心思想："观其伴知其义（You shall know a word by the company it keeps）"。这意味着：一个词的含义可以由其上下文词的分布来刻画。
如果"狗"和"犬"经常出现在相似的上下文中（"宠物"、"汪汪"、"忠诚"等），那么它们在语义空间中就应该彼此靠近。分布式表示（distributed representation） 正是基于这一洞察：使用低维、稠密、连续的向量来表示词，让语义相似的词在向量空间中距离相近。
3.2 Word2Vec：高效的词嵌入学习
2013年，Google的Mikolov等人提出了Word2Vec，首次证明了在大规模语料上可以高效训练出高质量的词向量。Word2Vec包含两种核心模型架构：CBOW 和 Skip-gram。
图注：左侧CBOW（Continuous Bag-of-Words）从多个上下文词预测中心词，呈"多对一"结构；右侧Skip-gram从中心词预测多个上下文词，呈"一对多"结构。Efficient Estimation of Word Representations in Vector Space
CBOW（Continuous Bag-of-Words） 的核心思想是用上下文词的向量平均来预测中心词。给定上下文窗口内的 $N$ 个词，CBOW将它们的词向量取平均后预测当前词：
$$P(w_t | \text{context}) = \text{softmax}(W_{\text{proj}} \cdot \frac{1}{N} \sum_{i} C(w_i) + b)$$
Skip-gram 则相反，给定中心词，预测其上下文窗口内的所有词：
$$P(w_{t+j} | w_t) = \text{softmax}(W_{\text{proj}} \cdot C(w_t) + b), \quad j \in {-C, ..., -1, 1, ..., C}$$
图注：CBOW模型将上下文词（wt-2、wt-1、wt+1、wt+2）的词向量取平均后，通过输出层预测中心词wt，上下文词序不影响结果。Efficient Estimation of Word Representations in Vector Space
图注：Skip-gram模型从中心词wt分别预测四个上下文词，形成一对多的预测结构，远距离词按均匀分布随机采样。Efficient Estimation of Word Representations in Vector Space
Word2Vec的关键创新是移除非线性隐含层——与NNLM不同，CBOW和Skip-gram只有输入层、投影层和输出层。这使得训练复杂度从 $O(N \times D \times H)$ 大幅降低到 $O(N \times D + D \times \log_2 V)$，在Google News 60亿词语料上训练1000维词向量约需2-2.5天。
3.3 层次Softmax加速与词类比能力
输出层使用**层次Softmax（Hierarchical Softmax）**进一步加速：利用Huffman二叉树表示词汇表，高频词的二进制编码更短，输出单元计算从 $O(V)$ 降至 $O(\log V)$。这使得Word2Vec能够处理百万级词汇表。
Word2Vec训练出的词向量具有一个令人惊叹的特性——**词类比（word analogy）**能力。通过向量运算可以发现语义关系：
$$\text{vector}(\text{King}) - \text{vector}(\text{Man}) + \text{vector}(\text{Woman}) \approx \text{vector}(\text{Queen})$$
实验结果验证了这一点：在Google News 6B词语料上训练的1000维向量，Skip-gram在语义类比任务上达到66.1%准确率，CBOW在句法类比任务上达到68.9%准确率，总准确率65.6%。相比之下，NNLM（100维，训练14天）的总准确率仅为50.8%。
3.4 词嵌入发展的历史坐标
从历史演进的角度看，词嵌入技术经历了漫长发展：
图注：词嵌入技术在2013年前后迎来突破，NNLM（2003）、Word2Vec（2013）、GloVe（2014）相继提出，逐步建立了分布式语义表示的完整方法论。
4. 全局统计与局部窗口的融合：GloVe的互补视角
4.1 两种范式的互补性
Word2Vec虽然高效，但其训练目标只考虑局部上下文窗口——模型"看不见"整个语料库的全局统计信息。这引发了一个思考：能否将全局共现统计与局部上下文预测结合起来？
LSA（Latent Semantic Analysis） 等全局矩阵分解方法利用全部语料的共现统计，在语义相似性任务上表现不错，但词向量空间结构次优，在词类比任务上难以捕获线性语义结构。Word2Vec等局部窗口方法语义结构优异，但丢弃了全局统计信息。
GloVe（Global Vectors） 提出的核心洞察是：仅在共现矩阵的非零元素上训练，同时利用了全局统计信息和局部上下文信息。其损失函数为对数双线性回归： GloVe
$$J = \sum_{i,j} f(X_{ij}) (w_i^T \tilde{w}_j + b_i + \tilde{b}j - \log X{ij})^2$$
其中 $X_{ij}$ 是词 $i$ 与词 $j$ 的共现次数，$f$ 是加权函数（限制高频词权重）。GloVe的目标是让词向量的点积尽量接近共现概率的对数：
$$\log P_{ij} = \log X_{ij} \approx w_i^T \tilde{w}_j$$
4.2 词类比任务的直观展示
GloVe在词类比任务上达到75%准确率，其核心原因是：共现概率的比值能够编码语义关系。
考虑"冰"和"水"的例子。在"固体"相关上下文中，冰与固体共现概率较高，水与固体共现概率较低，比值较大；而在"气体"相关上下文中则相反。通过这种比值关系，模型能够学习到"冰-水-固体-气体"之间的语义结构。
图注：六个英文单词（uncle、woman、queen、man、sir、king）按上下两行排列，通过虚线两两相连，展示了词向量空间中向量差可以捕获语义关系——king-queen ≈ man-woman。GloVe: Global Vectors for Word Representation
GloVe与Skip-gram形成方法论上的互补：GloVe是"计数+矩阵分解"方法，直接建模共现统计；Skip-gram是"预测"方法，通过最大化条件概率学习表示。两者在实践中各有优势，共同构成了词嵌入的主流方法族。
5. 神经网络语言模型：词向量学习与概率建模的联合优化
5.1 FF-NNLM的词向量查找表机制
理解FF-NNLM是理解后续所有预训练模型的关键。如前所述，FF-NNLM通过四层结构实现概率建模：
- 输入层：接收词索引（word indices）
- 词向量查找表：通过共享矩阵 $C$ 将每个词索引映射为 $R^m$ 维稠密向量
- 隐含层：接收上下文词向量的拼接/汇聚，经tanh非线性变换
- 输出层：softmax映射为词汇表上的概率分布
图注：Bengio 2003提出的FFNLM结构展示了滑动窗口预测机制——输入固定 $n-1$ 个历史词，通过词向量查找表获取上下文表示，预测下一个词。
词向量查找表是NNLM最重要的创新：矩阵 $C$ 的每一行对应一个词的分布式表示，所有词共享这套表示。在训练过程中，语义相近的词会自发聚集在向量空间的相邻位置——这意味着模型能够对从未见过的词组合进行"合理"预测，因为相似的词拥有相似的向量表示。
5.2 RNNLM：处理任意长度依赖
FF-NNLM的局限在于固定历史窗口：它只能处理 $n-1$ 个历史词，无法捕捉更长距离的依赖关系。这促使研究者转向循环神经网络语言模型（RNNLM）。
图注：RNNLM通过共享参数沿时间展开，能够处理任意长度的历史依赖——上一时刻的隐含状态 $h_{t-1}$ 包含了过去所有历史信息。
RNNLM的核心思想是沿时间展开：不同时刻共享同一套参数，隐含状态 $h_t$ 编码了从时间步1到 $t$ 的所有历史信息。这使得RNNLM理论上可处理任意长度的序列，但受梯度消失/爆炸问题制约。
然而，RNNLM面临梯度消失/爆炸问题：反向传播时，梯度需要沿时间链路连续传播，当序列较长时，梯度会指数级衰减（消失）或增长（爆炸），导致训练困难。这一问题直到LSTM和GRU等门控机制的出现才得到有效缓解，但真正从根本上解决长距离依赖和并行化问题的，是Transformer架构。
6. Transformer：注意力机制如何替代循环结构
6.1 从循环到注意力：为什么需要Transformer？
RNN的 sequential nature 导致两个根本性问题：一是并行化受限——必须按时间步顺序计算，无法利用GPU的并行计算能力；二是长距离依赖路径长——从位置1到位置 $n$ 的信息需要经过 $O(n)$ 步传递，距离越远衰减越严重。 LayerNorm
Transformer的核心创新是用自注意力机制（Self-Attention）替代循环结构：通过直接计算任意两个位置之间的关系（注意力），摆脱了顺序依赖，实现了真正的并行计算。
6.2 Scaled Dot-Product Attention
Transformer采用缩放点积注意力（Scaled Dot-Product Attention）：
$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$
其中：
- Query（Q）：当前位置的查询向量，"我在找什么信息"
- Key（K）：每个位置的键向量，"我包含什么信息"
- Value（V）：每个位置的值向量，"信息的实际内容"
通过 $QK^T$ 计算Query与所有Key的相似度，$\sqrt{d_k}$ 的缩放因子防止点积值过大导致softmax梯度消失。最终的加权求和 $QV^T$ 给出每个位置的输出——本质上是对所有位置Value的加权平均，权重由Query与Key的相似度决定。
图注：左侧展示Scaled Dot-Product Attention的计算流程——Q、K、V矩阵输入，经 softmax(QK^T/√d_k)V 输出；右侧展示Multi-Head结构，8个并行注意力头分别处理投影后的Q、K、V，最后拼接输出。Attention Is All You Need
6.3 Multi-Head Attention：多子空间并行注意
单一注意力头只能关注一种表示子空间的信息。Multi-Head Attention 将Q、K、V分别投影到 $h=8$ 个不同的64维子空间，在每个子空间独立计算注意力，最后拼接：
$$\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, ..., \text{head}_h)W^O$$
$$\text{head}_i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V)$$
这种设计允许模型同时关注不同类型的信息：一个头可能专注于句法结构（主语-动词关系），另一个头可能专注于语义相似性（同义词），第三个头可能专注于指代关系（代词与先行词）。
6.4 位置编码与Transformer整体架构
由于Transformer没有循环结构，需要注入位置信息。原始论文使用正弦/余弦函数：
$$PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$$ $$PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$$
波长从 $2\pi$ 到 $10000 \cdot 2\pi$ 呈几何级数增长，使模型能够轻松学习相对位置关系。值得注意的是，选择正弦版本而非学习到的位置嵌入，是因为正弦编码可以外推到比训练时更长的序列。
图注：Transformer采用编码器-解码器结构，编码器和解码器各由6层相同结构堆叠而成。编码器每层包含Multi-Head Self-Attention和Feed-Forward；解码器每层包含Masked Self-Attention、Encoder-Decoder Attention和Feed-Forward。残差连接和LayerNorm确保训练稳定性。Attention Is All You Need
6.5 Transformer相比RNN的核心优势
Transformer彻底解决了RNN的两个根本问题：
| 层类型 | 每层复杂度 | 顺序操作数 | 最大路径长度 |
|---|---|---|---|
| Self-Attention | $O(n^2 \cdot d)$ | $O(1)$ | $O(1)$ |
| Recurrent | $O(n \cdot d^2)$ | $O(n)$ | $O(n)$ |
最大路径长度为 $O(1)$ 意味着：任意两个位置之间的依赖关系可以在常数步内建立，无论它们的实际距离有多远。这是Transformer能够有效捕捉长距离依赖的根本原因。
同时，自注意力通过高度优化的矩阵乘法实现，全并行计算——所有位置的关系可以同时计算，不再受限于时间步的顺序执行。
7. 预训练+微调范式：BERT与GPT的技术路线对比与规模法则
7.1 预训练范式的诞生
在大规模无标注语料上进行自监督预训练，学习通用语言表示，再在下游任务的少量标注数据上微调——这就是预训练+微调范式的核心思想。预训练阶段利用语言天然的顺序性，学习两类自监督目标：
- 语言模型目标：根据历史词序列预测下一个词
- 完形填空目标（CLS）：根据上下文预测被遮蔽的词
图注：预训练语言模型代表了NLP的范式跃迁——从需要大量标注数据的任务特定模型，到利用无标注数据预训练的通用表示，再到通过微调适应各种下游任务的两阶段流程。
7.2 BERT：双向掩码语言模型的胜利
BERT（Bidirectional Encoder Representations from Transformers） 的核心创新是仅使用Transformer编码器，通过掩码语言模型（MLM）实现真正的双向上下文建模。 BERT
图注：BERT预训练阶段在大规模语料上用MLM（遮蔽15%词）和NSP（下一句预测）目标训练；微调阶段在下游任务上添加任务特定输出层，所有参数共同微调。BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
MLM（Masked Language Model） 的做法是：随机遮蔽输入中15%的Token（80%替换为[MASK]，10%替换为随机词，10%保持不变），令模型预测被遮蔽的词。关键在于：每个位置的预测都能看到左右两侧的上下文——这是真正的双向建模。
BERT在GLUE基准上取得80.5%的成绩，相对此前最佳结果提升7.7%，在问答（SQuAD v1.1 F1 93.2）和自然语言推理（MultiNLI 86.7%）等任务上大幅超越此前方法。
7.3 GPT：自回归生成式预训练的坚持
GPT（Generative Pre-training） 选择了一条与BERT完全不同的技术路线：仅使用Transformer解码器，采用**单向自回归语言模型（AR LM）**进行预训练。 SLM
图注：GPT-1使用12层Transformer解码器堆叠，通过语言建模目标在大规模无标注文本上预训练。微调时将预训练参数作为起点，仅添加一个线性输出层。右侧展示针对不同任务的输入转换方式——通过分隔符将结构化输入统一转换为序列。Improving Language Understanding by Generative Pre-Training
自回归语言模型 的目标是：给定前 $k$ 个词，预测第 $k+1$ 个词：
$$P(w_t | w_1^{t-1}) = \text{softmax}(W \cdot h_t^{(L)})$$
GPT的关键创新是Task-aware输入转换：面对文本蕴含、问答、语义相似度等结构各异的任务输入，GPT不引入任务特定的网络结构，而是将所有输入统一转换为有序token序列——在 premise/hypothesis/文档/问题之间插入特殊分隔符（如 $），再将序列送入预训练Transformer。这实现了真正的迁移学习：预训练一次，多任务复用。
7.4 BERT vs GPT：两条技术路线的本质差异
图注：ELMo使用两个独立单向LSTM特征拼接；BERT使用双向Transformer，所有层联合条件化左右上下文；GPT使用单向Transformer解码器，因果掩码限制只能看到左侧历史。三者在架构和训练目标上存在本质差异。BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
| 维度 | BERT | GPT |
|---|---|---|
| 架构 | Transformer编码器（双向） | Transformer解码器（单向） |
| 训练目标 | 掩码语言模型（MLM） | 自回归语言模型（AR LM） |
| 上下文 | 同时看到左右 | 仅能看到左侧历史 |
| 适用任务 | 理解任务（分类、问答、推理） | 生成任务（文本生成、对话） |
这不是简单的"BERT做理解、GPT做生成"的性能差异，而是架构与目标的本质分歧：BERT的MLM通过预测被遮蔽的词学习双向上下文表示，适合需要完整理解输入的任务；GPT的AR LM通过逐词生成学习语言建模能力，适合需要生成输出的任务。两者代表了预训练范式的两条主流技术路线。
7.5 GPT系列：规模法则与涌现能力
GPT-2 将模型规模提升至15亿参数，相比GPT-1参数规模大幅提升，在WebText数据集（数百万网页）上训练，首次展示了零样本多任务学习能力——无需任何训练样本，仅通过语言模型对任务的描述即可完成任务。在CoQA阅读理解上达到55 F1，匹配部分监督基线系统的表现。 GPT-2 GPT-3
图注：GPT-2在四个NLP任务（阅读理解、翻译、摘要、问答）上的零样本性能随模型规模（117M→1542M）增加而对数线性提升，展示了规模法则。Language Models are Unsupervised Multitask Learners
GPT-3 将规模推向极致：1750亿参数，是此前最大非稀疏语言模型的10倍。GPT-3的核心发现是**少样本学习（Few-shot Learning）**的可行性：
图注：四种评估范式的输入格式对比——Fine-tuning需要梯度更新和大量标注数据；Few-shot在输入中提供K个示例；One-shot仅提供一个示例；Zero-shot仅提供自然语言指令。GPT-3在不更新任何参数的情况下即可通过few-shot达到或接近SOTA。Language Models are Few-Shot Learners
| 评估方式 | 所需数据 | 参数更新 |
|---|---|---|
| Fine-tuning | 数千到数十万标注样本 | 全部参数微调 |
| Few-shot | K个演示示例（K=10~100） | 无（仅前向传播） |
| One-shot | 1个示例 + 自然语言描述 | 无 |
| Zero-shot | 仅自然语言指令 | 无 |
GPT-3在LAMBADA（86.4%）、TriviaQA（71.2%）、CoQA（85.0%）等任务上通过Few-shot设置刷新SOTA，证明了规模带来质变（涌现能力）。研究表明：当模型规模超过临界点后，会突然涌现出此前不存在的能力——如上下文学习、指令跟随、链式推理——这些能力的出现是不可预测的，不是线性扩展的平滑改进。 LLM2Vec-Gen
7.6 大语言模型时代的新发展
从历史演进的角度，语言模型经历了四个阶段：统计语言模型（SLM）→神经语言模型（NLM）→预训练语言模型（PLM）→大语言模型（LLM）。LLM（参数规模通常超100亿）的标志性特征是涌现能力：参数规模超过临界点后，突然出现上下文学习、指令跟随、链式推理等新能力。
LLM2Vec-Gen 代表了LLM时代词嵌入的新发展路径——不依赖监督标注数据，仅通过LLM自身生成能力和自监督学习，将LLM的语义理解能力迁移到定长embedding向量中。其四步流程是：①用LLM为无标注查询生成响应；②用无监督encoder编码响应；③添加可学习的压缩token；④冻结LLM主干，通过对齐损失和重建损失优化embedding。
图注：LLM2Vec-Gen通过冻结的LLM添加可学习压缩token，双目标优化（对齐损失+重建损失）将LLM的语义能力压缩到定长embedding中，在MTEB上取得自监督SOTA（Qwen-3-8B Avg.61.9）。LLM2Vec-Gen: Generative Embeddings from Large Language Models
这与Word2Vec形成了跨越十余年的技术呼应：从静态词嵌入到LLM动态嵌入，从局部窗口预测到利用大模型生成能力，词嵌入技术始终在演进。
参考文献
本专题引用的核心资料如下，建议深入学习时阅读原文：
- A Neural Probabilistic Language Model — JMLR Paper
- Efficient Estimation of Word Representations in Vector Space (Word2Vec) — arXiv:1301.3781
- GloVe: Global Vectors for Word Representation — Stanford NLP Project
- Attention Is All You Need (Transformer) — arXiv:1706.03762
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding — arXiv:1810.04805
- Improving Language Understanding by Generative Pre-Training (GPT-1) — OpenAI Technical Report
- Language Models are Unsupervised Multitask Learners (GPT-2) — OpenAI PDF
- Language Models are Few-Shot Learners (GPT-3) — arXiv:2005.14165
- A Survey of Large Language Models — arXiv:2303.18223
- LLM2Vec-Gen: Generative Embeddings from Large Language Models — arXiv:2603.10913