矩阵代数的"除法"从哪来？——2.1–2.4 预习：从乘法讲到可逆判定

这是一篇给"学过向量、线性组合、线性无关，但第一次看矩阵运算"的读者准备的课前预习。它会顺着教材的路子，把 Chapter 2.1–2.4 四个小节（Matrix Operations → The Inverse of a Matrix → Characterizations of Invertible Matrices → Partitioned Matrices）走成一条完整的主线：矩阵乘法 → 逆矩阵 → 可逆判定 → 分块矩阵。全篇只追一个问题：矩阵的"除法"到底是怎么回事。

先把这个比喻钩子点破：矩阵没有真正的除法。中学里解 $2x = 6$ 用除法；到了矩阵方程 $A\mathbf{x} = \mathbf{b}$，"除以 $A$"没有定义，替代品是乘 $A$ 的逆矩阵 $A^{-1}$。所以"矩阵的除法"就是"乘逆矩阵"，而整个 2.1–2.4 讲的就是：先学会正向的乘法，再认识反向的逆，再搞清楚什么时候逆存在、矩阵太大又怎么办。

1. 为什么一开场就要解一个方程组：Leontief 模型把"矩阵的除法"逼到台前

讲义第一页就抛出一个真实问题：Leontief 投入产出模型。一个经济体里，农业、制造业、服务业互相购买彼此的产出：农场要用工厂的农机，工厂要买农场的原材料，服务业又向两者采购。每一行的产出，一部分被别的部门买走，剩下的才真正被消费者用掉。

Wassily Leontief 凭这套模型拿了 1973 年诺贝尔经济学奖，它的核心就是一个矩阵方程。把各部门的总产出写成向量 $\mathbf{x}$，最终需求（消费者直接买走的部分）写成 $\mathbf{c}$，部门间"互相购买"的比例关系写成矩阵 $D$（直接消耗系数矩阵），那么经济学的直觉"总产出 = 中间需求 + 最终需求"就变成：

$$\mathbf{x} = \mathbf{c} + D\mathbf{x}$$

看讲义配的这张四部门图，结构一目了然：

图注：农业、制造业、服务业三个部门两两双向相连，开放部门（Open Sector）接收制造业的产出，又向农业和服务业供货。成对的双向箭头就是"部门互相购买彼此产出"的结构：每个部门的产出，一部分被其他部门买走（中间需求），剩下的才是最终消费。图上没有数字，只表达结构。

问题来了：$\mathbf{x}$ 在等式两边都出现，怎么把它"解"出来？初中的办法是移项：把 $D\mathbf{x}$ 挪到左边，提出公因子：

$$(I - D)\mathbf{x} = \mathbf{c}$$

这里 $I$ 是单位矩阵（identity matrix），主对角线上全是 1、其余是 0，扮演"矩阵世界里的 1"的角色。如果矩阵 $I - D$ 可逆（invertible），等式两边左乘它的逆，就得到 $\mathbf{x} = (I-D)^{-1}\mathbf{c}$。你看，要算出整个经济体的总产出，必须会算矩阵的逆，这就是"除法"第一次被逼到台前。Leontief

类似的场景在深度学习里也有。讲义第二个开场例子是多层感知机（Multilayer Perceptron, MLP），用在自动驾驶的场景预测里。一个隐藏层单元的取值，是输入层的线性组合再加一个偏置（bias），用课件的话说：隐藏层 = 输入的线性组合 + 偏置。写成公式，输入 $\mathbf{x}$ 经过权重矩阵 $W_1$ 得 $\mathbf{h} = W_1\mathbf{x} + \mathbf{b}_1$，再经过 $W_2$ 得输出 $\mathbf{y} = f(W_2\mathbf{h} + \mathbf{b}_2)$。层间数据流动本身就是矩阵乘法，D2L 教材把这张图画得很标准：

图注：D2L 教材 Fig. 5.1.1 的 MLP 示意图：输入层 4 个节点、隐藏层 5 个节点、输出层 3 个节点，层层全连接。连线只表达拓扑结构，不标权重数值，图里也没有标注激活函数。D2L

Leontief 和 MLP 属于完全不同的领域，却共用同一个数学动作：先定义矩阵乘法，再想办法"把 $\mathbf{x}$ 从矩阵后面挪出来"。后面四章就按这个顺序展开：2.1 先把乘法本身讲透；2.2 用逆矩阵当场解掉 Leontief 方程；2.3 系统回答"什么时候能除"；2.4 回答"矩阵太大又怎么除"。

2. 矩阵乘法到底在算什么："列向量的列表"与两种乘法视角

对应教材 2.1 节 Matrix Operations。这一节的关键不是记住公式，而是换一个看矩阵的眼睛。

2.1 把矩阵看成"列向量的列表"

设 $A$ 是 $m \times n$ 矩阵，它的第 $j$ 列是一个 $\mathbb{R}^m$ 中的向量 $\mathbf{a}_j$，于是整个矩阵可以写成：

$$A = [\mathbf{a}_1 \quad \mathbf{a}_2 \quad \cdots \quad \mathbf{a}_n]$$

矩阵就是一排列向量并排放在一起。这个视角是后面一切推导的出发点：$A$ 乘任何东西，都可以理解为"$A$ 的各列被重新组合"。加法、数乘、零矩阵这些记号层面的内容（Theorem 1 的六条运算律）和数的运算几乎一样，看一遍即可，验证方法也统一：证明两端大小相同、对应元素相等。

2.2 两种乘法视角：行—列法则 vs 按列线性组合

矩阵乘法的正规定义是行—列法则。若 $A$ 是 $m \times n$、$B$ 是 $n \times p$，则乘积 $AB$ 是 $m \times p$ 矩阵，其第 $i$ 行第 $j$ 列元素等于 $A$ 的第 $i$ 行与 $B$ 的第 $j$ 列对应元素乘积之和：

$$(AB){ij} = a{i1}b_{1j} + a_{i2}b_{2j} + \cdots + a_{in}b_{nj}$$

但讲义立刻给出第二种、也更重要的一种定义。把 $B$ 按列拆开 $B = [\mathbf{b}_1 \ \mathbf{b}_2 \ \cdots \ \mathbf{b}_p]$，则：

$$AB = A[\mathbf{b}_1 \ \mathbf{b}_2 \ \cdots \ \mathbf{b}_p] = [A\mathbf{b}_1 \quad A\mathbf{b}_2 \quad \cdots \quad A\mathbf{b}_p]$$

意思是：$AB$ 的第 $j$ 列 = $A$ 乘 $B$ 的第 $j$ 列。而 $A\mathbf{b}_j$ 你已经会了，它就是 $A$ 的各列以 $\mathbf{b}_j$ 的分量为系数做线性组合。所以一句话：$AB$ 的每一列，都是 $A$ 的列的线性组合，组合系数就取自 $B$ 的对应列。这正好接上你学过的线性组合，不需要新学任何东西。

讲义用 $A = \begin{bmatrix} 2 & 3 \ 1 & -5 \end{bmatrix}$、$B = \begin{bmatrix} 4 & 3 & 6 \ 1 & -2 & 3 \end{bmatrix}$ 演示了两遍：按列算，$A\mathbf{b}_1 = \begin{bmatrix} 11 \ -1 \end{bmatrix}$、$A\mathbf{b}_2 = \begin{bmatrix} 0 \ 13 \end{bmatrix}$、$A\mathbf{b}_3 = \begin{bmatrix} 21 \ -9 \end{bmatrix}$，拼起来 $AB = \begin{bmatrix} 11 & 0 & 21 \ -1 & 13 & -9 \end{bmatrix}$；再用行—列法则验证第二行，得到同一结果。两种视角算出来是同一个矩阵，动手时用行—列法则，想结构和推定理时用"按列 = 线性组合"，这就是 2.1 节最该带走的东西。下面这张 Falk 示意图把行—列法则的"对位相乘再求和"画得很直观：LayCh2

图注：Falk 行—列示意：$A$ 的高亮行（黄）与 $B$ 的高亮列（黄）相乘出一个结果矩阵中的圆点（红圈套黄点），绿色行、列同理。4 条彩色箭头把"第 $i$ 行 × 第 $j$ 列 → 结果 (i,j) 位置"的对应关系画了出来。图中没有具体数值。Wikimedia Commons

2.3 三条警告：矩阵代数不是数的代数

矩阵乘法满足结合律和分配律（Theorem 2），但有一个关键缺席：没有交换律。$AB = BA$ 一般不成立。这从"复合"的视角看最清楚：$AB\mathbf{x}$ 表示先让 $\mathbf{B}$ 作用、再让 $A$ 作用。先旋转 90° 再做错切，和先错切再旋转，结果显然不同，所以顺序不能调换。3Blue1Brown 在讲解矩阵乘法时把这一点讲得很直白：顺序颠倒，物理动作就不同了。Strang18.06

另外两条警告同样反直觉：消去律不成立（$AB = AC$ 推不出 $B = C$）；两个非零矩阵的乘积可以为零矩阵（比如 $\begin{bmatrix} 1 & 0 \ 0 & 0 \end{bmatrix}\begin{bmatrix} 0 & 0 \ 0 & 1 \end{bmatrix} = \begin{bmatrix} 0 & 0 \ 0 & 0 \end{bmatrix}$）。这几条是初学者最大的坑，也是后面求逆、分块处处要用的警示。

矩阵乘法还有个老朋友：线性变换的复合。$A(B\mathbf{x}) = (AB)\mathbf{x}$，所以"$AB$ 表示先 $B$ 后 $A$"，结合律对应"连续三次变换怎么分组都一样"。讲义举的例题是教材 1.9 的第 11 题：关于一条轴反射、再关于另一条轴反射，两次反射的复合是一次的旋转，用两个反射矩阵相乘就能验证。这是"乘法 = 复合"的第一个直观战果。

2.4 转置：乘积取转置要反序

最后是转置（transpose）：把 $A$ 的行变成列，记为 $A^T$。Theorem 3 的运算律里，唯一需要特别记住的是第四条：

$$(AB)^T = B^T A^T$$

乘积的转置等于转置的反序乘积。为什么不顺序？因为 $(AB)_{ij}$ 由 $A$ 的第 $i$ 行和 $B$ 的第 $j$ 列决定，转置后位置互换，顺序自然要反过来。这条性质下一节马上要用：它是证明 $(A^T)^{-1} = (A^{-1})^T$ 的关键工具。

这一节的落点：两种乘法视角都要能上手，算的时候用行—列法则，想结构时用"按列 = 线性组合"；同时记住乘法不可交换，后面处处要用这个警示。

3. 矩阵的"除法"到底怎么算：逆矩阵定义、2×2 判据与 [A|I] 求逆算法

对应教材 2.2 节 The Inverse of a Matrix。现在回答第 1 章留的问题：$\mathbf{x} = (I-D)^{-1}\mathbf{c}$ 里的逆怎么定义、怎么算。

3.1 定义与唯一性：$A^{-1}$ 不是 $\frac{1}{A}$

$n \times n$ 方阵 $A$ 称为可逆（invertible，也叫非奇异 nonsingular），如果存在 $n \times n$ 矩阵 $C$ 使得 $CA = I_n$ 且 $AC = I_n$，即 $C$ 同时是 $A$ 的左逆和右逆。这样的 $C$ 是唯一的：若 $B$ 也是逆，则

$$B = BI = B(AC) = (BA)C = IC = C$$

所以可以心安理得地写 $A^{-1}$。记号提醒：$A^{-1}$ 是矩阵记号，不是"$1/A$"；不可逆的方阵叫奇异（singular）。

3.2 2×2 判据：行列式决定一切

对 $2\times 2$ 矩阵，可逆与否由它的**行列式（determinant）**一击判定（Theorem 4）：

$$A = \begin{bmatrix} a & b \ c & d \end{bmatrix}, \qquad \det A = ad - bc$$

若 $ad - bc \neq 0$，则 $A$ 可逆且

$$A^{-1} = \frac{1}{ad-bc}\begin{bmatrix} d & -b \ -c & a \end{bmatrix}$$

若 $ad - bc = 0$ 则不可逆。这个公式值得亲手验一次：主对角互换、副对角变号、整体除以行列式，乘回去正好得到单位矩阵。它是后面可逆判定的一张"先声"。

3.3 定理 5：可逆 ⇔ 方程组永远有唯一解

定理 5 把逆矩阵和"解方程"焊在一起：若 $A$ 是可逆 $n \times n$ 矩阵，则对每个 $\mathbf{b}$，方程 $A\mathbf{x} = \mathbf{b}$ 有唯一解 $\mathbf{x} = A^{-1}\mathbf{b}$。证明只有两步：存在性，把 $A^{-1}\mathbf{b}$ 代进去，$A(A^{-1}\mathbf{b}) = (AA^{-1})\mathbf{b} = \mathbf{b}$，确实有解；唯一性，若 $\mathbf{u}$ 是任一解，两边左乘 $A^{-1}$ 得 $\mathbf{u} = A^{-1}\mathbf{b}$。LayCh2

注意"对每个 $\mathbf{b}$"这个量词。它意味着：只要 $A$ 可逆，无论右端是什么，方程组都恰好有一个解。回到 Leontief：$(I-D)\mathbf{x} = \mathbf{c}$ 能对任意最终需求解出唯一的 $\mathbf{x}$，当且仅当 $I-D$ 可逆，这正是"经济上算得清"的数学形态。工业级版本里，一个两部门（coal-steel）例子算出来 $\det(I-A) = 0.37$、解 $\mathbf{x} \approx [19.19,\ 12.97]^T$：为了交付 7 单位煤给最终消费者，经济系统必须总共生产 19.19 单位煤，多出来的部分是供应链上一轮轮传导的间接需求。Leontief

3.4 运算律：$(AB)^{-1}$ 要反序

Theorem 6 给出三条逆的性质，其中两条要特别注意。其一，积的逆要反序：

$$(AB)^{-1} = B^{-1}A^{-1}$$

验证 $(AB)(B^{-1}A^{-1}) = A(BB^{-1})A^{-1} = AA^{-1} = I$ 即可，这也推广到任意多个因子：$(A_1 A_2 \cdots A_k)^{-1} = A_k^{-1} \cdots A_2^{-1} A_1^{-1}$。其二，转置和求逆可交换：$(A^T)^{-1} = (A^{-1})^T$，用的工具正是上一节的 $(AB)^T = B^TA^T$。

3.5 怎么办：增广矩阵 [A|I] 行化简，一步到位

好，判据有了，公式只有 2×2 的。更大怎么办？Theorem 7 给出答案：$A$ 可逆当且仅当 $A$ 行等价于单位矩阵 $I_n$，此时把 $A$ 化简成 $I_n$ 的那一整套初等行变换，会同步把 $I_n$ 变成 $A^{-1}$：LayCh2

$$[A \mid I_n] \xrightarrow{\text{行化简}} [I_n \mid A^{-1}]$$

也就是说，把 $A$ 和 $I_n$ 拼成一个增广矩阵，一起做行化简，左边变成单位阵的同时，右边自动变成 $A^{-1}$。这一步到位地同时判断了可逆性并求出了逆。讲义把教材的 3×3 求逆例题完整走了一遍：

$$A = \begin{bmatrix} 0 & 1 & 2 \ 1 & 0 & 3 \ 4 & -3 & 8 \end{bmatrix}$$

按下面五步行变换处理增广矩阵 $[A \mid I_3]$：

算完得到

$$A^{-1} = \begin{bmatrix} -\frac{9}{2} & 7 & -\frac{3}{2} \ -2 & 4 & -1 \ \frac{3}{2} & -2 & \frac{1}{2} \end{bmatrix}$$

求完必须回代验证：$AA^{-1}$ 逐项乘出来等于 $I_3$。这是判断答案是否 reasonable 的标准做法，也是这条算法最让人放心的地方：结果可查。如果行化简途中左边出现零行、化不成 $I$，说明 $A$ 不可逆，没有逆可求。

3.6 为什么 [A|I] 这招有效？秘密在初等矩阵

你可能要问：凭什么"对 A 做的行变换"会忠实地复刻到 I 上？答案是初等矩阵（elementary matrix）。对单位矩阵做一次初等行变换得到的矩阵叫初等矩阵，而"对 $A$ 施行某次行变换"恰好等于"左乘对应的初等矩阵"：$EA$ 就是对 $A$ 做了 $E$ 所携带的那次行变换。讲义用 $E_1 = \begin{bmatrix} 1 & 0 & 0 \ 0 & 1 & 0 \ -4 & 0 & 1 \end{bmatrix}$ 演示：$E_1 A$ 就是把 $A$ 第 1 行的 $-4$ 倍加到第 3 行。ElemMatrices

于是行化简的全过程就是一连串左乘：$E_k \cdots E_1 A = I_n$。因为每个初等矩阵都可逆（"行交换"的逆还是行交换，"加 $r$ 倍行"的逆是"加 $-r$ 倍行"），所以 $A = (E_k \cdots E_1)^{-1}$ 可逆，且

$$A^{-1} = E_k \cdots E_1$$

这正是"把 $I_n$ 按同一序列左乘"得到的矩阵，也就是增广矩阵右半块随之变成 $A^{-1}$ 的原因。行化简的每一步都能用初等矩阵表示，下面的配图把这层关系画了出来：

图注：Wikipedia 上"行化简 = 左乘初等矩阵"的示意图：给定矩阵 $A$ 经三步（一次行倍加、两次行倍乘）化为单位阵 $I_3$，左侧等式写着 $A = E_1^{-1}E_2^{-1}E_3^{-1}$。注意这张图只画了 $A \to I$ 的过程，没有增广矩阵的右半块。WikipediaGaussJordan

这一节的核心：求逆不是套公式，而是"把 $A$ 行化简成 $I$ 的过程，同时把 $I$ 变成了 $A^{-1}$"，一条可验证的算法，也是第 1 章 Leontief 方程的钥匙。

4. 什么时候能"除"：可逆矩阵 12 条等价命题这张网

对应教材 2.3 节 Characterizations of Invertible Matrices。上一节我们见到了两条可逆判据（$\det A \neq 0$、行等价于 $I_n$）。这一节把它们扩展成一张大网：Invertible Matrix Theorem（IMT，可逆矩阵定理） 一口气列出 12 条互相等价的陈述。LayCh2

对 $n \times n$ 矩阵 $A$，下列陈述要么全真、要么全假：

1. $A$ 是可逆矩阵；
2. $A$ 行等价于 $I_n$；
3. $A$ 有 $n$ 个主元位置（pivot positions，行化简后每行第一个非零元素的位置）；
4. $A\mathbf{x} = \mathbf{0}$ 只有平凡解（trivial solution，即只有零解、没有非零解）；
5. $A$ 的各列构成线性无关集；
6. 线性变换 $\mathbf{x} \mapsto A\mathbf{x}$ 是一对一（one-to-one，不同的 $\mathbf{x}$ 不会映射到同一个 $\mathbf{y}$）；
7. 方程 $A\mathbf{x} = \mathbf{b}$ 对每个 $\mathbf{b}$ 至少有一个解；
8. $A$ 的各列张成（span）$\mathbb{R}^n$；
9. 变换 $\mathbf{x} \mapsto A\mathbf{x}$ 把 $\mathbb{R}^n$ 映上（onto，每个 $\mathbf{b}$ 都能被某个 $\mathbf{x}$ 打到）；
10. 存在 $C$ 使 $CA = I$（$A$ 有左逆）；
11. 存在 $D$ 使 $AD = I$（$A$ 有右逆）；
12. $A^T$ 可逆。

"等价"的意思是：其中任意一条成立，其余 11 条全部成立；任意一条不成立，其余全部不成立。第 1、3、4 条你已经会验证了，第 6、9 条是第 1 章"矩阵乘法 = 变换复合"的直接延伸，第 10、11 条甚至不需要左右逆同时存在，任一侧逆就足以推出可逆（这是单侧逆推论：若 $AB = I$ 或 $BA = I$，则 $A$ 可逆且 $B = A^{-1}$）。Margalit 和 Rabinoff 的《Interactive Linear Algebra》把这条推论单独拿出来当重点，还把它组织成一条可追溯的证明链：$AB = I$ 推出变换映上，映上逼出可逆，可逆再推出 $B = A^{-1}$。ILA

Cornell 大学的一份讲义把这张网画成了图，12 个条件之间全是双向箭头，任何一条都能通向任何一条：

图注：Cornell Math 2940 讲义中的 IMT 图：顶部"A is invertible"，左右分支出"一对一""onto""$Ax=0$ 只有零解""列线性无关""每列都有主元"等条件，中部汇入 rref(A)=I，底部回到"A is invertible"，12 个条件之间用编号的双向箭头相连，表示任意一条都能推出任意另一条。图来自 Cornell 讲义，其编号方式与教材定理编号不一定逐条对应。CornellMath2940

这张网最大的实用价值是判定策略：可逆性不是一件要逐条检查的事，只需挑最好验的一条。2×2 就验行列式；大矩阵可以先做行化简数主元，或者查 $A\mathbf{x} = \mathbf{0}$ 是否只有平凡解。

比如一个反例：$A$ 的第二列恰好是第一列的倍数，那两列线性相关，直接违反第 5 条，立刻判定不可逆，不用做任何行化简。

4.1 收口：可逆线性变换（Theorem 9）

把"可逆"翻译回变换的语言。线性变换 $T: \mathbb{R}^n \to \mathbb{R}^n$ 称可逆，若存在线性变换 $S$ 使 $S(T(\mathbf{x})) = \mathbf{x}$ 且 $T(S(\mathbf{x})) = \mathbf{x}$，即两者互为逆映射。Theorem 9 说：$T$ 可逆当且仅当它的标准矩阵 $A$ 可逆，且此时满足条件的 $S$ 唯一，就是 $S(\mathbf{x}) = A^{-1}\mathbf{x}$。

这个定理把三条线焊在一起：公式 $A^{-1}(A\mathbf{x}) = \mathbf{x}$ 读作"先由 $A$ 变换、再由 $A^{-1}$ 变换，恒等复原"，矩阵可逆 ⟺ 变换可逆 ⟺ 方程组永远有唯一解 ⟺ 一对一且映上。你第 1 章学到的"乘法 = 复合"，到这里自然升级成"可逆 = 变换可以逆回去"。

这一节的落点：可逆性不是孤立性质，而是一张 12 条互相等价的网，任何一条成立等于全部成立，所以判定时永远挑最好验的那条。

5. 矩阵太大算不动怎么办：分块运算、列—行展开与块对角求逆

对应教材 2.4 节 Partitioned Matrices。前面处理的是方阵求逆，这一节应对另一种麻烦：矩阵太大。讲义从 NLP 场景引入：莎士比亚据说写了 38 部戏剧，把每个场景/剧本当成文档、把词当成特征，就得到一个 2690 行 × 17515 列 的"文档—词项"矩阵，而且绝大多数格子是 0（每一篇文档只会用到语料库中很小一部分词），这样的矩阵叫稀疏矩阵（sparse matrix）。讲义里 TF-IDF 用的是简化定义：词项 $t$ 在文档 $d$ 中出现的次数 ÷ 文档 $d$ 的总词数，即词频比例，注意这只是讲义层面的简化形式。

对这么大的矩阵，一个自然的想法是：按结构把它切成小块，先算块，再拼回去。这就是分块矩阵（partitioned / block matrix）。分块不能随便切，要顺着数据里的零值结构切。讲义给了一个 6×6 的小例子：

图注：讲义第 58 页的 6×6 文档—词项词频表：doc1–doc4 的词频集中在 lion/tiger/cheetah/jaguar 四列，doc5–doc6 转向 porsche/ferrari，零值自然分出了"猫科词块"和"汽车品牌词块"。jaguar 在六行里全非零，是跨类词项。表里是词频计数，不是 TF-IDF 权重。

5.1 按块运算：块当作元素，但顺序不能换

分块记法是把 $A$ 用水平线和竖直线切成子矩阵：

$$A = \begin{bmatrix} A_{11} & A_{12} \ A_{21} & A_{22} \end{bmatrix}$$

加法、数乘按块进行，只要两块剖分方式相同即可。乘法稍微讲究：把块当成元素，用行—列法则，但有一个前提和一条禁令。前提是 $A$ 的列分块必须与 $B$ 的行分块匹配（对应块的维数相容，比如 $A$ 的 5 列分成"3 列 + 2 列"，$B$ 的 5 行也必须按"3 行 + 2 行"分）；禁令是块级乘积里来自 $A$ 的块必须写在左边，$A_{11}B_{11}$ 不能写成 $B_{11}A_{11}$，因为矩阵乘法不满足交换律，2.1 节的警告在这里原样生效。LayCh2

5.2 列—行展开：看见矩阵乘法的最深层结构

把分块推到极限：$A$ 的每一列单独成块、$B$ 的每一行单独成块，那么行—列法则就变成另一种写法：

$$AB = [\mathbf{a}_1 \ \mathbf{a}_2 \ \cdots \ \mathbf{a}_n]\begin{bmatrix} \mathbf{r}_1 \ \mathbf{r}_2 \ \vdots \ \mathbf{r}_n \end{bmatrix} = \mathbf{a}_1\mathbf{r}_1 + \mathbf{a}_2\mathbf{r}_2 + \cdots + \mathbf{a}_n\mathbf{r}_n$$

其中 $\mathbf{r}k$ 是 $B$ 的第 $k$ 行。也就是说，$AB$ 等于 $n$ 个"列 × 行"外积矩阵之和。每个 $\mathbf{a}k\mathbf{r}k$ 都是一个秩-1 矩阵（每行都彼此成比例，携带的信息只有一行）。证明也干净：行—列法则说 $(AB){ij} = \sum_k a{ik}b{kj}$，而 $\mathbf{a}k\mathbf{r}k$ 的 (i,j) 元素恰好就是 $a{ik}b{kj}$，逐项对上。LayCh2

这条定理的价值超出本讲：它是奇异值分解（SVD）和低秩逼近的种子，本讲只点到这里。直觉上可以这么记住它：Strang 在 MIT 18.06 课上把矩阵乘法的五种视角（行—列、按列、按行、列×行、分块）逐一列出后总结说，五种方式做的是同一次乘法，列—行展开就是其中"列×行"那一视角的正式形态。

5.3 块对角求逆：把大求逆拆成小求逆

分块运算最实用的场景是求逆。形如 $\begin{bmatrix} A_{11} & A_{12} \ 0 & A_{22} \end{bmatrix}$ 的矩阵叫**块上三角（block upper triangular）矩阵，形如 $\begin{bmatrix} A_{11} & 0 \ 0 & A_{22} \end{bmatrix}$ 的叫块对角（block diagonal）**矩阵。块对角矩阵的可逆性与求逆都是"按块"的：

$$\begin{bmatrix} A_{11} & 0 \ 0 & A_{22} \end{bmatrix}^{-1} = \begin{bmatrix} A_{11}^{-1} & 0 \ 0 & A_{22}^{-1} \end{bmatrix}$$

即块对角矩阵可逆当且仅当每个对角块都可逆，逆就是把每个块的逆摆回原位。大矩阵的求逆问题就此化成了小块的求逆问题，这正是数值线性代数和超大规模计算里极其常见的结构。

顺带一提，讲义用芯片设计里的 Chiplet 做了个类比：现代 GPU 不再做一块巨大的单片芯片，而是把大芯片拆成若干功能区块再互联；分块矩阵做的也是同一件事，把大矩阵按结构拆成小块、各自运算再拼回。这个类比点到为止。

这一节的落点：分块不是回避大矩阵，而是让加、乘、求逆全部可以在块级完成；块当作元素但顺序依然重要，列—行展开则是看到乘法深层结构的第一把钥匙。

6. 同一套矩阵代数，四个真实场景：收束与预习自检

反过来问：学完 2.1–2.4，第 1 章开场的那些场景现在看得懂了吗？这一章把前面出场过的场景一一收束。

6.1 CNN 卷积：滑窗点积就是行—列法则的局部化

卷积神经网络（Convolutional Neural Network, CNN）的卷积层，是深度学习里矩阵代数最直观的落点。讲义第 69 页把完整计算画了出来：

图注：讲义第 69 页的卷积示意：8×8 源层左上 3×3 区域（5,2,6 / 4,3,4 / 3,9,2）与 3×3 卷积核 $\begin{bmatrix} -1 & 0 & 1 \ 2 & 1 & 2 \ 1 & -2 & 0 \end{bmatrix}$ 逐元素相乘再求和，结果写在目标层 (1,2) 位置，值为 5，底部公式完整可读。严格说这是 cross-correlation（卷积核不翻转），深度学习里习惯上就叫卷积。

把那一块算出来：$(-1\times 5) + (0\times 2) + (1\times 6) + (2\times 4) + (1\times 3) + (2\times 4) + (1\times 3) + (-2\times 9) + (0\times 2) = 5$。9 项乘积之和填进目标层的一个格子，卷积核在源层上滑窗、重复这个动作，填满整个输出层。这个"对位相乘再求和"和矩阵乘法的行—列法则同构，只是范围从整行整列缩小到局部窗口。术语澄清一下：讲义和 D2L 教材口径一致，深度学习中说的"卷积"实际是 cross-correlation，即卷积核不做翻转；严格数学意义的 convolution 要把核翻转 180° 后再做，但因为核是从数据里学出来的，两种习惯在结果上可以互相吸收，行业就统一叫卷积了。D2L

6.2 MLP 收束：前向传播就是链式矩阵乘法

第 1 章的 MLP 引子，现在用 D2L 的工业级写法收束。对一批样本 $\mathbf{X} \in \mathbb{R}^{n \times d}$，单隐藏层 MLP 的前向传播是

$$\mathbf{H} = \mathbf{X}\mathbf{W}^{(1)} + \mathbf{b}^{(1)}, \qquad \mathbf{O} = \mathbf{H}\mathbf{W}^{(2)} + \mathbf{b}^{(2)}$$

即层层"乘权重矩阵 + 加偏置"，再叠激活函数。这和第 1 章的向量写法 $\mathbf{h} = W_1\mathbf{x} + \mathbf{b}_1$ 是同一件事，只是把单样本推广到整批样本、把向量推广成矩阵。D2L 还点出一个关键事实：如果只有线性变换，两层堆叠等价于一层（$W = W^{(1)}W^{(2)}$），所以必须有非线性激活函数，深度才有意义。D2L

6.3 Leontief 工业级形态：一套矩阵代数支撑国家统计

回到开场。Leontief 模型在真实世界里不是三四个部门的示意图，而是国家统计局年度产出的正式流程：先有 supply/use 表（投入来源和使用去向），再变换成对称的投入产出表，最后求解 $\mathbf{x} = (I-A)^{-1}\mathbf{y}$。Eurostat 官方手册画出了这条流水线：

图注：Eurostat 手册 Figure 1.1：国家的 Supply table 与 Use table 汇入生产矩阵、进口使用表等中间步骤，再经两种变换假设（Technology assumption / Assumption of fixed sales structure，各含 Model A–D）转成对称投入产出表。Model A–D 是产出对称表的四种变换假设，不是 Leontief 模型本身的子型。Eurostat

顺带说清楚第 1 章遗留的一个记号问题：讲义写 $D$，工业文献写 $A$，方程 $\mathbf{x} = D\mathbf{x} + \mathbf{c}$ 与 $\mathbf{x} = A\mathbf{x} + \mathbf{y}$ 是同一个东西，$(I-A)^{-1}$ 就是那个著名的 Leontief inverse，它的几何级数展开 $I + A + A^2 + \cdots$ 把总产出分解成直接效应加一轮轮间接效应。

6.4 预习自检：五件事与一张表

所以，这一章讲完，你应该能自己讲清楚以下五件事：

1. 矩阵乘法的两种视角：行—列法则负责算，"按列 = $A$ 的列的线性组合"负责想结构，$AB$ 表示"先 $B$ 后 $A$"。
2. 逆矩阵：$A^{-1}$ 唯一存在、不是 $1/A$；2×2 判据是 $\det A = ad - bc \neq 0$。
3. 求逆算法：$[A \mid I] \to [I \mid A^{-1}]$，算完用 $AA^{-1} = I$ 回代验证。
4. 可逆判定：IMT 12 条等价命题任验一条，以及可逆线性变换 Theorem 9（$T$ 可逆 ⟺ 标准矩阵可逆）。
5. 分块：按块运算、列—行展开 $AB = \sum \mathbf{a}_k\mathbf{r}_k$、块对角求逆。

把本章的定理、公式、例题收进一张表，就是你的预习地图：

课件里第 2.5 节（LU 分解等矩阵分解）和 2.7 节（计算机图形学应用）不在本次预习范围内，学完这套骨架后如果想继续深入，可以在课堂上顺路看看。

收个尾：标题里说的"四个真实场景"是 Leontief、MLP、TF-IDF、CNN，再加上第 5 章用作结构类比、和它们同源同构的 Chiplet，一共五样东西，没有一样是孤立的例子，而是同一套矩阵代数在不同场景里的变奏。会算乘法、会求逆、会判可逆、会分块，就等于拿到了打开这些场景的同一把钥匙。而这一切的起点，只是"矩阵没有除法，但有逆矩阵"这一句话。

参考文献

本专题引用的核心资料如下，建议深入学习时阅读原文：

1. Linear Algebra and Its Applications（Lay, Lay, McDonald）第 2 章 Matrix Algebra — Pearson 官方页面
2. The Invertible Matrix Theorem（Margalit & Rabinoff, Interactive Linear Algebra, LibreTexts 3.6） — LibreTexts
3. Strang 18.06 Lecture 3: Multiplication and Inverse Matrices（MIT OpenCourseWare） — MIT OCW
4. Elementary Matrices and the Matrix Inversion Algorithm（Kuttler 2.8 / Nicholson 2.1, LibreTexts） — LibreTexts
5. Leontief Input-Output Model（Wikipedia）与 Eurostat Manual of Supply, Use and Input-Output Tables (2008) — Wikipedia · Eurostat Manual
6. Dive into Deep Learning（D2L）Ch.5.1 Multilayer Perceptron / Ch.7.2 Convolutions for Images — D2L