简介《线性代数及其应用》第五版英文原版电子书面向高校理工科学生、考研备考者以及人工智能与机器学习方向的学习者用于系统建立矩阵运算、向量空间、特征值与特征向量、正交性、线性变换等核心知识框架。压缩包内含1个PDF文件即Pearson出版的完整英文教材约10.6MB便于在电脑、平板或手机上阅读和检索也可直接复制其中的公式说明与定理表述方便整理笔记、对照课程进度使用。该教材由David C. Lay等编写理论推导与几何直观并重配合大量例题与应用案例适合课堂学习之外的自学与复习。目前已有1510人学习下载。对于需要补齐线性代数基础、为深度学习与数据分析打底或希望熟悉原版术语与英文表述的读者这份PDF可作为长期查阅的核心教材也可用于课程备课与习题参考。1. 从一次矩阵求逆开始为什么人工智能里的线性代数主要在解方程在人工智能的工程实践中线性代数出现的频率远比宣传语里更高但出现方式和教科书封面上写的不一样真正消耗大量算力的不是求逆而是解方程。一个千阶方阵直接求逆在普通笔记本上要几百毫秒而同样规模的 Axb 用消元法只要几毫秒差出两个数量级。更反直觉的是很多算法在推导里明明写着 xA⁻¹b落到实现里却从没求过逆。原因很朴素逆矩阵是“把全部答案一次算完”的奢侈做法而绝大多数场景只需要一个答案。搞懂这条分界线就能看懂深度学习的矩阵乘为什么这样排布、最小二乘为什么要绕开正规方程、SVD 为什么能在降维里承担核心角色。这份第五版教材的价值也正在这里它把线性代数讲成一门用来解问题的技术而不是一堆待背的定理。2. 高斯消元与 LU 分解为什么「先分解再回代」比直接求逆快一个量级2.1 行化简在做什么把耦合的约束一层层剥开一个线性方程组本质上是一堆互相牵连的约束。三个未知数三条方程直接看是看不出答案的因为每条方程里都混着全部未知数。高斯消元做的事情很朴素用一条方程去减另一条把某个未知数从某条方程里彻底消掉。消到只剩一个未知数时答案自然浮出来再一层层回代。关键在于这类操作保持解集不变。把某一行乘以非零常数、把某行的倍数加到另一行、交换两行这三件事都不会改变方程组的解。教材把这三条叫初等行变换把它们作用在增广矩阵上所得到的所有矩阵构成一个等价类——解集完全相同的那些矩阵。行化简就是在这个等价类里挑一个最容易读的代表元。容易读的标准是阶梯形每一行的首个非零元主元比上一行的主元更靠右全零行沉到底部。如果再要求主元是 1、且主元所在列的其他元素全是 0就得到简化阶梯形。这里有一个容易被略过但极重要的结论简化阶梯形是唯一的。也就是说无论你按什么顺序消元最后落到的那张标准答案表是同一个。教材把证明放在附录里因为它支撑了后面所有关于秩、主元列、基本变量与自由变量的定义——如果阶梯形不唯一主元位置就不唯一秩也就无从谈起。从工程角度看行化简输出的信息量远大于“解出 x”。主元列的个数就是矩阵的秩也就是这堆约束里真正独立的那几条自由变量的个数就是解空间的维数。一个 1000×1000 的矩阵如果秩只有 10那它承载的信息其实只有 10 维剩下 990 维是冗余。这个判断在机器学习里一直在用特征矩阵不满秩意味着特征之间存在线性相关某些特征完全是别人的线性组合加进去只增加计算量不增加信息。2.2 部分主元为数值稳定牺牲的那点优雅教科书上的消元法有一个隐含前提主元不为零。真实代码里这个前提得换成“主元的绝对值不能太小”。考虑一个 2×2 的例子第一行是 [1e-18, 1]第二行是 [1, 1]。数学上第一步要把第二行减去第一行的 1e18 倍结果是个有限数看起来没问题。但浮点数只有约 16 位十进制有效数字1e18 这个乘数会把第二行原有的信息全部吞掉最后解出来的 x 可能连一位有效数字都不剩。解决办法是换行。在消元前先看当前列下方所有元素挑绝对值最大的那个换到主元位置这就是部分主元法。上面那个例子换行后主元变成 1乘数是 1e-18误差不会被放大。代价是每步多做一次 O(n) 的扫描以及需要记录行交换的顺序。实际写代码时必须按这个规则来不能把它当作可选的优化它是数值线性代数的基本要求。我见过有人写教学代码时省略主元选取在小规模随机矩阵上跑得好好的换成一个条件数稍大的真实数据矩阵就开始输出荒谬结果排查半天以为是公式推错了。教材在讲行化简时为了教学清晰没有强调这一点但到了矩阵分解那一节、以及后面所有涉及数值计算的习题里主元问题都会再次出现。还有一个更细的点部分主元并不能保证绝对稳定。存在一类矩阵即使做了行交换消元过程中元素仍然会指数级增长增长因子可以到 2^(n-1) 量级。完全主元法连列也一起换能进一步压制增长但每次要多做 O(n²) 的比较实际工程里极少用。主流数值库选择的是部分主元因为它对绝大多数实际矩阵已经足够而性能开销可以忽略。这个取舍很典型理论上更稳的方案往往输给常数因子。2.3 LU 分解把一次消元的结果存起来复用真正让高斯消元从手算方法变成工程组件的是把它拆成可复用的形式。消元过程里每一步做的事都是固定的用乘数 l_ik a_ik / a_kk 去消掉下面的元素。如果把这些乘数保存下来消元结束后就得到一个下三角矩阵 L而消元后的上三角矩阵就是 U于是有 A LU。这件事的意义在于复用。求解 Ax b 时如果只有一组 b直接消元就够了。但工程里常见的场景是 A 不变、b 一直换——比如同一个线性模型反复输入不同的观测向量。这时候求一次 LU之后每组 b 只需要两次三角回代每次 O(n²)而不是重新做 O(n³) 的消元。反过来如果你先算了 A⁻¹那每次只是做一次矩阵向量乘看上去更省但代价是你已经付掉了求逆的全部开销还额外赔上了精度。代码层面带部分主元的 LU 大概长这样import numpy as np def lu_partial_pivot(A): 返回 perm、L、U满足 A[perm, :] L U。 A A.astype(float).copy() n A.shape[0] perm np.arange(n) # 用置换向量记录行交换省掉 P 矩阵本身 L np.eye(n) for k in range(n - 1): # 选主元第 k 列剩余行中绝对值最大的一行 p k int(np.argmax(np.abs(A[k:, k]))) if abs(A[p, k]) 1e-14: raise ValueError(矩阵奇异或接近奇异) if p ! k: A[[k, p], :] A[[p, k], :] # 交换 U 的对应行 perm[[k, p]] perm[[p, k]] # 记录置换 L[[k, p], :k] L[[p, k], :k] # L 里已算好的前 k 列也要跟着换 L[k1:, k] A[k1:, k] / A[k, k] # 乘数存进 L这就是分解的全部秘密 A[k1:, k:] - np.outer(L[k1:, k], A[k, k:]) # 秩一更新完成一步消元 return perm, L, A几个写法值得说明。perm 是置换向量而不是矩阵因为行交换只影响 O(n) 个元素显式构造 P 再相乘是 O(n³) 的浪费实际库都用置换向量加索引。L 那一行的交换是最容易写错的地方消元过程中 L 的列是按顺序填的一旦后续换了行前面已经填进去的乘数必须跟着换否则分解关系不成立。最后那行 np.outer 加切片赋值本质是一次秩一更新把外积从剩余子矩阵里扣掉比双重循环快一个数量级因为它把操作交给了底层 BLAS。复杂度上LU 分解是 2n³/3 次浮点运算显式求逆是 2n³ 次两者同阶但常数差三倍。更重要的是精度求逆要先构造单位矩阵的每一列、对每列解一次方程最后再拿逆矩阵去乘 b中间多了一次矩阵与向量乘法误差被叠加。数值分析里有个经验结论显式求逆的误差上界大约是直接求解的两到三倍。所以“绝不显式求逆”是量化依据支撑的规则不能仅仅当作风格偏好。操作浮点运算量复用性典型误差放大显式求逆再乘约 2n³ 2n²无较高消元直接求解约 2n³/3 2n²无低LU 后多次回代2n³/3 k·2n²强低教材把矩阵分解单列一节讲的正是这个转向从“求一个答案”转向“求一个能反复用的结构”。这个转向在后面每一章都会重演——QR 分解让最小二乘可以稳定地反复求解特征分解让矩阵的幂可以立刻算出来SVD 让任意矩阵都能被压成一个可截断的骨架。理解了 LU 的复用逻辑后面那些分解就不再是十个孤立技巧而是同一个思想的不同化身。3. 四个基本子空间Axb 有没有解为什么看一眼秩就知道3.1 列空间与零空间把「有没有解」和「有几个解」拆成两个问题Axb 有没有解取决于 b 能否由 A 的各列线性组合出来。把它写成 A 的列向量 c₁,…,cₙ 的线性组合形式 x₁c₁ … xₙcₙ b答案就很清楚了b 必须落在所有列的张成空间里这个空间叫列空间 C(A)。一句话“解方程”被翻译成了“b 是否在某个空间里”。零空间 N(A) 是另一件事它是所有满足 Ax0 的 x 的集合。零空间衡量的是解的自由度如果特解存在那所有解 一个特解 零空间里的任意向量。所以“有没有解”由列空间回答“有几个解”由零空间回答两个问题被彻底拆开。这一点在工程上极其有用因为它对应两类完全不同的故障模型跑不出结果是 b 不在列空间模型结果不唯一、参数怎么调都差不多是零空间维数太大问题本身不可辨识。把 A 转置一下还能得到另外两个子空间行空间 C(Aᵀ)A 的行向量张成的空间也在 Rⁿ 里和左零空间 N(Aᵀ)在 Rᵐ 里。这四个空间两两配对构成两组正交分解Rⁿ 被拆成行空间与零空间的正交直和Rᵐ 被拆成列空间与左零空间的正交直和。教材用一整章把这件事铺开原因就在这里它把矩阵的输入空间和输出空间各自切成了“有用的一半”和“看不见的一半”。零空间维数大在机器学习里有个更熟悉的名字叫不可辨识。特征之间高度相关时权重解不唯一优化器会在一个平坦的谷底里游荡收敛慢、结果随机、换个随机种子换个答案。常见的应对手段——L2 正则化、岭回归、伪逆——本质上都是在零空间方向上人为补一个约束把平坦的谷底改成一个有唯一最低点的碗。3.2 秩-零化度定理一本维度账本秩-零化度定理说的是对 m×n 的 Arank(A) nullity(A) n。这里 rank 是列空间的维数nullity 是零空间的维数n 是输入空间的维数。这个式子看起来像会计记账实际上确实就是记账。输入空间被正交分解成行空间和零空间两块行空间的维数等于 rank零空间的维数等于 nullity两块加起来就是整个输入空间。同理在输出侧列空间维数也是 rank左零空间维数是 m - rank加起来是 m。所以同一个 rank 同时出现在两个式子里连接了输入和输出两侧的账本。还有一个不太起眼但很有用的推论rank(A) rank(Aᵀ)。行空间的维数等于列空间的维数。这意味着“独立的行数”和“独立的列数”永远相等——一个 1000×10 的矩阵秩最多是 10行再多也堆不出更多信息反过来一个 10×1000 的矩阵零空间至少是 990 维绝大部分输入方向是被丢弃的。工程上这个定理最直接的用法是判断“数据够不够”。你有一个 10 维的模型采样了 1000 条数据看起来数据量很充足但如果这 1000 条数据其实都落在某个 3 维子空间附近那有效信息只有 3 维剩下的 7 维参数是靠噪声在撑。这就是为什么在做特征工程时先算一遍秩或者看一遍奇异值谱比急着调模型参数更有价值。3.3 最小二乘无解时退而求其次的几何现实里的超定方程组几乎总是无解的——测量数据带噪声b 不会精确落在列空间里。最小二乘的思路是退一步既然找不到让残差为零的 x那就找让残差长度最小的 x。几何上这件事非常清楚把 b 正交投影到列空间上投影点记为 p那么 p 一定可以写成 Ax̂ 的形式因为它在列空间里而残差 b - p 垂直于列空间。垂直这个条件翻译成代数就是 Aᵀ(b - Ax̂) 0展开得到正规方程 AᵀAx̂ Aᵀb。教材讲正交投影那一节用的是同一套几何只是先讲了投影再讲最小二乘顺序上是有意为之先有几何直觉公式才不是凭空掉下来的。正规方程的问题在于条件数。cond(AᵀA) cond(A)²。A 的条件数是 100 的时候AᵀA 的条件数就是 10000有效数字直接腰斩。这不是理论上的杞人忧天用下面这段代码就能看到import numpy as np rng np.random.default_rng(0) m, n 300, 12 base rng.normal(size(m, 1)) # 故意让每一列都是同一方向的近邻制造严重共线 A base 1e-4 * rng.normal(size(m, n)) x_true rng.normal(sizen) b A x_true # 精确构造残差理论值为 0 x_ne np.linalg.solve(A.T A, A.T b) # 路线一正规方程 Q, R np.linalg.qr(A) # 路线二Householder QR x_qr np.linalg.solve(R, Q.T b) print(cond(A) , np.linalg.cond(A)) print(cond(AᵀA) , np.linalg.cond(A.T A)) print(正规方程误差:, np.linalg.norm(x_ne - x_true)) print(QR 误差 :, np.linalg.norm(x_qr - x_true))这段代码的关键设计是 b A x_true也就是说残差在数学上严格为零两条路线输出的差异纯粹由舍入误差造成不受模型误差干扰。运行后你会看到 cond(AᵀA) 是 cond(A) 的平方正规方程解出的 x 和真值差出好几个数量级而 QR 路线仍然贴着真值。为什么 QR 能避开这个坑因为 QR 分解只对 A 本身做正交变换Q 是正交矩阵乘以它不改变向量的长度2-范数也就不会放大误差。解 Rx Qᵀb 时R 的条件数等于 A 的条件数没有被平方。代价是 QR 分解的计算量约为 2mn² - 2n³/3比构造正规方程的 mn²/2 贵一些但这点开销换来的是数量级上的精度提升任何要交付的代码都应该选后者。教材在讲最小二乘时把正规方程和 QR 两条路径都摆了出来这个安排很务实正规方程是理解几何的工具QR 是实现时该用的工具两者不能互相替代。4. 特征值、幂迭代与 SVD降维和排序背后是同一个动作4.1 特征向量找那些只被拉伸、不被旋转的方向矩阵乘以一个向量一般会同时改变它的长度和方向。但总有一些特殊方向乘完之后方向不变只是长度被缩放了一个倍数Av λv。这个 v 就是特征向量λ 是特征值。特征值的求解来自特征方程 det(A - λI) 0。这个行列式展开后是一个 n 次多项式所以 n 阶矩阵有 n 个特征值计重数可能含复数。教材先讲行列式再讲特征值顺序不能反行列式为 0 意味着矩阵把空间压扁了这个几何事实正是特征方程成立的判据。有了特征向量如果 A 有 n 个线性无关的特征向量就可以写成 A PDP⁻¹其中 D 是对角矩阵。这个分解的威力在于算幂A^k PD^kP⁻¹对角矩阵的 k 次幂只是把每个对角元取 k 次幂原本 O(k n³) 的计算变成 O(n³ n log k)。离散动力系统 x_{k1} Ax_k 的解是 x_k A^k x₀长期行为完全由绝对值最大的那个特征值决定——大于 1 就发散小于 1 就衰减到零等于 1 就稳定在某个不动点上。教材用种群动态做引入例子讲的就是这件事分年龄组的种群按年度迁移主特征值给出长期增长率对应的特征向量给出稳定的年龄结构。这类结论在工程上反复出现。迭代算法的收敛性、马尔可夫链的稳态分布、差分方程的通解形式、振动系统的固有频率全都是同一件事的不同说法找那些在变换下方向不变的方向然后看它们被缩放了多少。4.2 幂迭代收敛速度被 λ₂/λ₁ 卡住实际工程里矩阵动辄上百万阶求特征多项式再求根是完全不现实的。这时候要用迭代法最简单的是幂迭代随便取一个向量反复乘以 A 并归一化它就会逐渐转向主特征向量的方向。道理不难推。把初始向量按特征向量展开成 v₀ c₁v₁ … cₙvₙ乘 k 次之后变成 c₁λ₁^k v₁ … cₙλₙ^k vₙ。提出 λ₁^k剩下的项都带因子 (λᵢ/λ₁)^k只要 |λᵢ| |λ₁|这些项就会衰减掉最后只剩第一项。所以收敛速度完全由 λ₂/λ₁ 这个比值决定比值是 0.9 的时候每迭代一次误差只降一成要降六个数量级需要一百多次比值是 0.5 的时候二十次就够了。import numpy as np def power_iteration(A, iters1000, tol1e-12): n A.shape[0] rng np.random.default_rng(1) v rng.normal(sizen) v / np.linalg.norm(v) # 初始向量归一化避免数值溢出 lam_prev 0.0 for i in range(iters): w A v lam float(v w) # Rayleigh 商对对称矩阵有二阶收敛精度 v w / np.linalg.norm(w) # 每步重新归一化 if abs(lam - lam_prev) tol: break lam_prev lam return lam, v, i参数上有几个讲究。用 Rayleigh 商 vᵀAv 而不是简单地取某个分量做比值是因为 Rayleigh 商对对称矩阵的误差是二阶的——误差减半结果精度翻四倍而分量比值只有一阶精度。每步归一化不是可选项否则向量长度会按 λ₁^k 指数级地溢出或下溢。返回的 i 是实际迭代次数调试时可以拿它和理论值 log(tol)/log(|λ₂/λ₁|) 对照如果实测远大于理论值通常说明 λ₁ 和 λ₂ 的模很接近。幂迭代最大的优点是只需要矩阵-向量乘法不需要对矩阵做任何分解。对于稀疏矩阵比如图的邻接矩阵非零元只有 O(n) 个每次乘法是 O(nnz) 而不是 O(n²)百万阶的矩阵也能跑。这就是为什么网页排序这类问题能用它整个网络的链接关系是一个巨大的稀疏矩阵求它的主特征向量就是求稳态的页面权重。教材把马尔可夫链和稳态向量放在扩展章节里那里会讲到一个关键的工程技巧——阻尼。把转移矩阵改成 αS (1-α)/n · 全一矩阵前两个特征值的比值被强行压到 α 以下收敛速度立刻变快。这是典型的取舍模型上稍微“不纯”了一点允许用户随机跳转换来的却是可计算的收敛速度。工程里遇到幂迭代不收敛第一反应就该是去看看谱的间隙有多大能不能人为拉开。4.3 SVD任意矩阵都能拆成旋转-拉伸-旋转特征分解有两个硬性限制矩阵必须是方阵而且必须可对角化。现实里的矩阵大多两条都不满足——一个 10000×500 的用户-物品评分矩阵既不是方阵也不对称。SVD 就是为这种情况准备的。A UΣVᵀ其中 U 是 m×m 的正交矩阵V 是 n×n 的正交矩阵Σ 是 m×n 的对角矩阵对角元叫奇异值非负且按降序排列。这个分解对任意矩阵都成立没有例外。几何解释最直观Vᵀ 是一次旋转或反射把输入空间的坐标轴转到主方向上Σ 沿着这些新轴做拉伸不同方向拉伸倍数不同多出来的维度被压成零U 再旋转到输出空间。所以任何一个线性变换不管多复杂都可以拆成“转—拉—再转”三步。奇异值就是各个方向上的拉伸倍数最大奇异值就是矩阵能放大的最大倍数最小奇异值就是能压缩到的最小倍数两者之比正是条件数。SVD 和特征分解的关系值得说清楚AᵀA 的特征向量就是 V特征值是奇异值的平方。所以前面说的 cond(AᵀA) cond(A)² 在这里得到了统一的解释——AᵀA 把奇异值平方了条件数自然也就平方了。这也是为什么算 SVD 的时候绝不能先算 AᵀA 再求特征分解那等于主动把精度砍一半正确的做法是用双对角化加隐式 QR直接对 A 本身做正交变换。4.4 低秩近似丢掉小奇异值为什么几乎无损奇异值按降序排列前几个往往占了绝大部分。一张 1000×1000 的灰度图前 50 个奇异值的平方和可能已经占了总量的 95% 以上。这意味着后面 950 个奇异值携带的信息非常少扔掉它们图像只是稍微模糊一点。这背后有一个严格的结论在所有秩不超过 k 的矩阵里截断 SVD 给出的近似在 Frobenius 范数和谱范数下都是最优的。误差正好等于被丢掉的那些奇异值的平方和开根号。这不是“启发式地试试看”而是有最优性保证的所以它能成为降维、压缩、去噪的通用手段。import numpy as np U, s, Vt np.linalg.svd(img, full_matricesFalse) # img 是 m x n 的灰度图矩阵 k 40 approx (U[:, :k] * s[:k]) Vt[:k, :] # 等价于 U_k diag(s[:k]) V_k^T energy (s[:k] ** 2).sum() / (s ** 2).sum() # 前 k 个奇异值占的能量比例 print(保留能量:, energy, 存储量:, (m * k k k * n) / (m * n))注意 U[:, :k] * s[:k] 这一句用的是广播把每个奇异值乘到对应列的每个元素上比构造对角矩阵再相乘省掉一次 O(mk²) 的乘法实际库里都这么写。full_matricesFalse 也很关键默认的 True 会算出一个 m×m 的完整 U图像尺寸大的时候内存直接爆掉而我们只需要前 k 列。代码最后一行打印的存储比说明了这个操作的收益原始需要 m·n 个数截断后只需要 m·k k k·n 个。当 k 远小于 min(m,n) 时压缩比接近 m·n/(k(mn))一千阶的图取 k40压缩到原来的四十分之一视觉上却几乎看不出差别。教材把 SVD 放在对称矩阵与二次型那一章紧接着用图像处理和统计做应用这个编排是有意的先讲对称矩阵可正交对角化这个特例再推广到任意矩阵的 SVD读者的心理负担小很多。5. 避坑与排查数值线性代数里「公式没错但结果崩了」的五个现场5.1 现象正规方程解出的系数看着合理和真值差出几个数量级原因AᵀA 把条件数平方了。特征严重相关时cond(A) 可能只有几百cond(AᵀA) 就到了十万量级双精度只有 16 位有效数字平方之后剩下的位数撑不住求解。解决改用 QR 或者 SVD 求解最小二乘。判断是否需要改的信号很简单算一下 cond(A)超过 1e6 就别碰正规方程了。已经上线无法改算法的场景退一步的做法是对 A 做列缩放每列除以它的 2-范数把量纲差异先抹平条件数能改善不少。5.2 现象手写 Gram-Schmidt 正交化理论上有 QᵀQ I实测偏差从 1e-8 起原因经典 Gram-Schmidt 的舍入误差会累积。每一步减投影的时候前面已经产生的误差会污染后面的向量正交性随着列数增加迅速丢失。列数上百、列之间又比较接近的时候最后算出来的 Q 可能连 1e-3 的正交性都保不住。解决换修正 Gram-Schmidt每一步都重新计算当前向量的投影而不是用原始向量一次减完或者直接用 Householder 变换做 QR。生产代码里不要自己写正交化np.linalg.qr 默认就是 Householder正交性误差在机器精度量级。5.3 现象同一个矩阵一个库算出的秩是 5另一个算出来是 4原因秩在浮点数下没有绝对定义取决于容差。理论上的“等于零”在浮点里是“小于某个阈值”不同库的默认阈值不同有的是 max(m,n)·eps·σ_max有的是固定值边界情况就会分歧。解决不要只看 rank 函数返回的整数直接打印奇异值谱。看相邻奇异值之间有没有量级上的断崖断崖位置才是真正的秩。如果奇异值从 1e0 一路平滑衰减到 1e-10那这个矩阵的“秩”本来就是模糊的任何整数答案都有误导性这时候该考虑的是正则化而不是降维。5.4 现象对实对称矩阵调 eig返回复数特征值特征向量也不正交原因np.linalg.eig 用的是通用的非对称算法不利用对称性也不保证输出实数。对称矩阵理论上特征值全实、特征向量正交但通用算法不会替你把虚部清零浮点误差留下的 1e-17j 会让后续的实数运算全部报类型错误。解决对称矩阵一律用 np.linalg.eighh 代表 Hermitian。它走的是三对角化加隐式 QR速度快一倍结果保证实数特征向量保证正交。判断矩阵是否对称时不要用 用 np.allclose(A, A.T) 并留一点容差。5.5 现象幂迭代跑了几千次还不收敛或者特征向量的符号来回跳原因两种典型情况。一是 |λ₁| |λ₂|比如一对 ±1 的特征值两项谁都不衰减向量会在两个方向之间来回摆。二是主特征值是负数归一化之后方向每步翻转一次看起来像震荡。还有一种隐蔽情况是初始向量恰好与主特征向量正交投影系数为零算法会收敛到第二大的特征值上。解决先算一遍谱的大致分布小规模矩阵直接 svd大规模用 ARPACK 的 svds 取前几个。遇到模相等的特征值用带位移的迭代或者子空间迭代同时跟踪多个向量。符号震荡的话改用 A σI 做位移把主特征值推到最大。初始向量取随机向量而不是全一向量能规避掉正交退化的情况。6. 教学顺序上的工程考量为什么先讲 Rⁿ 再讲抽象向量空间把这份教材的目录摊开看会发现一个克制得有点反常的安排前七章全都在 Rⁿ 里打转向量就是有序数组矩阵就是数表变换就是乘法。真正抽象的向量空间公理体系要到第四章才出现而在那之前秩、基、维数、线性无关这些概念已经用具体数组讲了一遍。第八章之后才进入仿射组合、凸集、多面体这类几何内容。这个顺序值得琢磨。抽象的定义是从具体例子里“提取”出来的先见够例子再抽象抽象才有指代物反过来先背八条公理绝大多数人只能记住名词用的时候想不起任何一个实例。工程上的学习曲线也是这个形状先在小规模、能打印出来、能画出来的矩阵上建立直觉再上稀疏、分布式、GPU 分块。跳过第一步直接啃大规模系统遇到问题连往哪个方向排查都不知道。同样的思路体现在每章开头的应用引入例子上。第一章用经济学和工程里的线性模型开局第二章讲飞行器设计里的计算机模型第三章是随机路径与形变第四章是航天控制系统的状态空间第五章讲种群动力学第六章是卫星定位的坐标基准转换第七章是多通道图像处理。这些例子并不承担教学任务它们只干一件事在读者开始啃定理之前先给一个“为什么需要这把工具”的锚点。缺了这个锚公式就只是待背的符号。教材层次覆盖内容对应的工程问题第一层解方程行化简、LU、四个子空间线性回归、电路分析、约束求解第二层分解特征分解、QR、SVD降维、推荐、压缩、去噪第三层几何与优化仿射组合、凸集、线性规划路径规划、资源分配、博弈扩展层随机过程马尔可夫链、稳态向量排序、状态预测、长期均衡还有一层取舍在编排上优化和有限状态马尔可夫链这两部分做成了在线章节不占纸质篇幅。核心链路保证随时可读扩展内容按需取用这跟工程系统里“主干功能必须稳定、插件按需加载”的分层是同一个逻辑。教材本身也是这么演进的第五版新增的交互式电子版让读者能直接拖动矩阵元素看几何变化本质上还是那句话——先有可操作的具体对象再有抽象。想验证自己是否真的把某一层吃透了我一般用这样一个办法拿一个自己熟悉的算法把它一路拆到最底层看每一层能不能对上具体章节。比如主成分分析拆开来是“数据中心化后做 SVD → 取前 k 个奇异向量 → 等价于找协方差矩阵的主特征向量 → 等价于在数据张成的子空间里找方差最大的方向”。拆得下去说明四个子空间、SVD、特征分解这几块是真懂了拆到某一步卡住缺的就是那一节回去补比泛读十本书都管用。从那以后我每读一个号称用了线性代数的算法都强制走一遍这个拆解它到底是在解方程、在找子空间还是在做分解。走完这三问代码里那些看起来莫名其妙的转置、归一化和截断基本都能找到出处。希望帮到你。这份第五版资源的完整目录、章节编排、习题与附录都在其中配合上面的拆解路径对照着读效率会比从头顺读高不少需要的话可以取来放在手边当工具书翻。本文还有配套的精品资源点击获取
简介《线性代数及其应用》第五版英文原版电子书面向高校理工科学生、考研备考者以及人工智能与机器学习方向的学习者用于系统建立矩阵运算、向量空间、特征值与特征向量、正交性、线性变换等核心知识框架。压缩包内含1个PDF文件即Pearson出版的完整英文教材约10.6MB便于在电脑、平板或手机上阅读和检索也可直接复制其中的公式说明与定理表述方便整理笔记、对照课程进度使用。该教材由David C. Lay等编写理论推导与几何直观并重配合大量例题与应用案例适合课堂学习之外的自学与复习。目前已有1510人学习下载。对于需要补齐线性代数基础、为深度学习与数据分析打底或希望熟悉原版术语与英文表述的读者这份PDF可作为长期查阅的核心教材也可用于课程备课与习题参考。1. 从一次矩阵求逆开始为什么人工智能里的线性代数主要在解方程在人工智能的工程实践中线性代数出现的频率远比宣传语里更高但出现方式和教科书封面上写的不一样真正消耗大量算力的不是求逆而是解方程。一个千阶方阵直接求逆在普通笔记本上要几百毫秒而同样规模的 Axb 用消元法只要几毫秒差出两个数量级。更反直觉的是很多算法在推导里明明写着 xA⁻¹b落到实现里却从没求过逆。原因很朴素逆矩阵是“把全部答案一次算完”的奢侈做法而绝大多数场景只需要一个答案。搞懂这条分界线就能看懂深度学习的矩阵乘为什么这样排布、最小二乘为什么要绕开正规方程、SVD 为什么能在降维里承担核心角色。这份第五版教材的价值也正在这里它把线性代数讲成一门用来解问题的技术而不是一堆待背的定理。2. 高斯消元与 LU 分解为什么「先分解再回代」比直接求逆快一个量级2.1 行化简在做什么把耦合的约束一层层剥开一个线性方程组本质上是一堆互相牵连的约束。三个未知数三条方程直接看是看不出答案的因为每条方程里都混着全部未知数。高斯消元做的事情很朴素用一条方程去减另一条把某个未知数从某条方程里彻底消掉。消到只剩一个未知数时答案自然浮出来再一层层回代。关键在于这类操作保持解集不变。把某一行乘以非零常数、把某行的倍数加到另一行、交换两行这三件事都不会改变方程组的解。教材把这三条叫初等行变换把它们作用在增广矩阵上所得到的所有矩阵构成一个等价类——解集完全相同的那些矩阵。行化简就是在这个等价类里挑一个最容易读的代表元。容易读的标准是阶梯形每一行的首个非零元主元比上一行的主元更靠右全零行沉到底部。如果再要求主元是 1、且主元所在列的其他元素全是 0就得到简化阶梯形。这里有一个容易被略过但极重要的结论简化阶梯形是唯一的。也就是说无论你按什么顺序消元最后落到的那张标准答案表是同一个。教材把证明放在附录里因为它支撑了后面所有关于秩、主元列、基本变量与自由变量的定义——如果阶梯形不唯一主元位置就不唯一秩也就无从谈起。从工程角度看行化简输出的信息量远大于“解出 x”。主元列的个数就是矩阵的秩也就是这堆约束里真正独立的那几条自由变量的个数就是解空间的维数。一个 1000×1000 的矩阵如果秩只有 10那它承载的信息其实只有 10 维剩下 990 维是冗余。这个判断在机器学习里一直在用特征矩阵不满秩意味着特征之间存在线性相关某些特征完全是别人的线性组合加进去只增加计算量不增加信息。2.2 部分主元为数值稳定牺牲的那点优雅教科书上的消元法有一个隐含前提主元不为零。真实代码里这个前提得换成“主元的绝对值不能太小”。考虑一个 2×2 的例子第一行是 [1e-18, 1]第二行是 [1, 1]。数学上第一步要把第二行减去第一行的 1e18 倍结果是个有限数看起来没问题。但浮点数只有约 16 位十进制有效数字1e18 这个乘数会把第二行原有的信息全部吞掉最后解出来的 x 可能连一位有效数字都不剩。解决办法是换行。在消元前先看当前列下方所有元素挑绝对值最大的那个换到主元位置这就是部分主元法。上面那个例子换行后主元变成 1乘数是 1e-18误差不会被放大。代价是每步多做一次 O(n) 的扫描以及需要记录行交换的顺序。实际写代码时必须按这个规则来不能把它当作可选的优化它是数值线性代数的基本要求。我见过有人写教学代码时省略主元选取在小规模随机矩阵上跑得好好的换成一个条件数稍大的真实数据矩阵就开始输出荒谬结果排查半天以为是公式推错了。教材在讲行化简时为了教学清晰没有强调这一点但到了矩阵分解那一节、以及后面所有涉及数值计算的习题里主元问题都会再次出现。还有一个更细的点部分主元并不能保证绝对稳定。存在一类矩阵即使做了行交换消元过程中元素仍然会指数级增长增长因子可以到 2^(n-1) 量级。完全主元法连列也一起换能进一步压制增长但每次要多做 O(n²) 的比较实际工程里极少用。主流数值库选择的是部分主元因为它对绝大多数实际矩阵已经足够而性能开销可以忽略。这个取舍很典型理论上更稳的方案往往输给常数因子。2.3 LU 分解把一次消元的结果存起来复用真正让高斯消元从手算方法变成工程组件的是把它拆成可复用的形式。消元过程里每一步做的事都是固定的用乘数 l_ik a_ik / a_kk 去消掉下面的元素。如果把这些乘数保存下来消元结束后就得到一个下三角矩阵 L而消元后的上三角矩阵就是 U于是有 A LU。这件事的意义在于复用。求解 Ax b 时如果只有一组 b直接消元就够了。但工程里常见的场景是 A 不变、b 一直换——比如同一个线性模型反复输入不同的观测向量。这时候求一次 LU之后每组 b 只需要两次三角回代每次 O(n²)而不是重新做 O(n³) 的消元。反过来如果你先算了 A⁻¹那每次只是做一次矩阵向量乘看上去更省但代价是你已经付掉了求逆的全部开销还额外赔上了精度。代码层面带部分主元的 LU 大概长这样import numpy as np def lu_partial_pivot(A): 返回 perm、L、U满足 A[perm, :] L U。 A A.astype(float).copy() n A.shape[0] perm np.arange(n) # 用置换向量记录行交换省掉 P 矩阵本身 L np.eye(n) for k in range(n - 1): # 选主元第 k 列剩余行中绝对值最大的一行 p k int(np.argmax(np.abs(A[k:, k]))) if abs(A[p, k]) 1e-14: raise ValueError(矩阵奇异或接近奇异) if p ! k: A[[k, p], :] A[[p, k], :] # 交换 U 的对应行 perm[[k, p]] perm[[p, k]] # 记录置换 L[[k, p], :k] L[[p, k], :k] # L 里已算好的前 k 列也要跟着换 L[k1:, k] A[k1:, k] / A[k, k] # 乘数存进 L这就是分解的全部秘密 A[k1:, k:] - np.outer(L[k1:, k], A[k, k:]) # 秩一更新完成一步消元 return perm, L, A几个写法值得说明。perm 是置换向量而不是矩阵因为行交换只影响 O(n) 个元素显式构造 P 再相乘是 O(n³) 的浪费实际库都用置换向量加索引。L 那一行的交换是最容易写错的地方消元过程中 L 的列是按顺序填的一旦后续换了行前面已经填进去的乘数必须跟着换否则分解关系不成立。最后那行 np.outer 加切片赋值本质是一次秩一更新把外积从剩余子矩阵里扣掉比双重循环快一个数量级因为它把操作交给了底层 BLAS。复杂度上LU 分解是 2n³/3 次浮点运算显式求逆是 2n³ 次两者同阶但常数差三倍。更重要的是精度求逆要先构造单位矩阵的每一列、对每列解一次方程最后再拿逆矩阵去乘 b中间多了一次矩阵与向量乘法误差被叠加。数值分析里有个经验结论显式求逆的误差上界大约是直接求解的两到三倍。所以“绝不显式求逆”是量化依据支撑的规则不能仅仅当作风格偏好。操作浮点运算量复用性典型误差放大显式求逆再乘约 2n³ 2n²无较高消元直接求解约 2n³/3 2n²无低LU 后多次回代2n³/3 k·2n²强低教材把矩阵分解单列一节讲的正是这个转向从“求一个答案”转向“求一个能反复用的结构”。这个转向在后面每一章都会重演——QR 分解让最小二乘可以稳定地反复求解特征分解让矩阵的幂可以立刻算出来SVD 让任意矩阵都能被压成一个可截断的骨架。理解了 LU 的复用逻辑后面那些分解就不再是十个孤立技巧而是同一个思想的不同化身。3. 四个基本子空间Axb 有没有解为什么看一眼秩就知道3.1 列空间与零空间把「有没有解」和「有几个解」拆成两个问题Axb 有没有解取决于 b 能否由 A 的各列线性组合出来。把它写成 A 的列向量 c₁,…,cₙ 的线性组合形式 x₁c₁ … xₙcₙ b答案就很清楚了b 必须落在所有列的张成空间里这个空间叫列空间 C(A)。一句话“解方程”被翻译成了“b 是否在某个空间里”。零空间 N(A) 是另一件事它是所有满足 Ax0 的 x 的集合。零空间衡量的是解的自由度如果特解存在那所有解 一个特解 零空间里的任意向量。所以“有没有解”由列空间回答“有几个解”由零空间回答两个问题被彻底拆开。这一点在工程上极其有用因为它对应两类完全不同的故障模型跑不出结果是 b 不在列空间模型结果不唯一、参数怎么调都差不多是零空间维数太大问题本身不可辨识。把 A 转置一下还能得到另外两个子空间行空间 C(Aᵀ)A 的行向量张成的空间也在 Rⁿ 里和左零空间 N(Aᵀ)在 Rᵐ 里。这四个空间两两配对构成两组正交分解Rⁿ 被拆成行空间与零空间的正交直和Rᵐ 被拆成列空间与左零空间的正交直和。教材用一整章把这件事铺开原因就在这里它把矩阵的输入空间和输出空间各自切成了“有用的一半”和“看不见的一半”。零空间维数大在机器学习里有个更熟悉的名字叫不可辨识。特征之间高度相关时权重解不唯一优化器会在一个平坦的谷底里游荡收敛慢、结果随机、换个随机种子换个答案。常见的应对手段——L2 正则化、岭回归、伪逆——本质上都是在零空间方向上人为补一个约束把平坦的谷底改成一个有唯一最低点的碗。3.2 秩-零化度定理一本维度账本秩-零化度定理说的是对 m×n 的 Arank(A) nullity(A) n。这里 rank 是列空间的维数nullity 是零空间的维数n 是输入空间的维数。这个式子看起来像会计记账实际上确实就是记账。输入空间被正交分解成行空间和零空间两块行空间的维数等于 rank零空间的维数等于 nullity两块加起来就是整个输入空间。同理在输出侧列空间维数也是 rank左零空间维数是 m - rank加起来是 m。所以同一个 rank 同时出现在两个式子里连接了输入和输出两侧的账本。还有一个不太起眼但很有用的推论rank(A) rank(Aᵀ)。行空间的维数等于列空间的维数。这意味着“独立的行数”和“独立的列数”永远相等——一个 1000×10 的矩阵秩最多是 10行再多也堆不出更多信息反过来一个 10×1000 的矩阵零空间至少是 990 维绝大部分输入方向是被丢弃的。工程上这个定理最直接的用法是判断“数据够不够”。你有一个 10 维的模型采样了 1000 条数据看起来数据量很充足但如果这 1000 条数据其实都落在某个 3 维子空间附近那有效信息只有 3 维剩下的 7 维参数是靠噪声在撑。这就是为什么在做特征工程时先算一遍秩或者看一遍奇异值谱比急着调模型参数更有价值。3.3 最小二乘无解时退而求其次的几何现实里的超定方程组几乎总是无解的——测量数据带噪声b 不会精确落在列空间里。最小二乘的思路是退一步既然找不到让残差为零的 x那就找让残差长度最小的 x。几何上这件事非常清楚把 b 正交投影到列空间上投影点记为 p那么 p 一定可以写成 Ax̂ 的形式因为它在列空间里而残差 b - p 垂直于列空间。垂直这个条件翻译成代数就是 Aᵀ(b - Ax̂) 0展开得到正规方程 AᵀAx̂ Aᵀb。教材讲正交投影那一节用的是同一套几何只是先讲了投影再讲最小二乘顺序上是有意为之先有几何直觉公式才不是凭空掉下来的。正规方程的问题在于条件数。cond(AᵀA) cond(A)²。A 的条件数是 100 的时候AᵀA 的条件数就是 10000有效数字直接腰斩。这不是理论上的杞人忧天用下面这段代码就能看到import numpy as np rng np.random.default_rng(0) m, n 300, 12 base rng.normal(size(m, 1)) # 故意让每一列都是同一方向的近邻制造严重共线 A base 1e-4 * rng.normal(size(m, n)) x_true rng.normal(sizen) b A x_true # 精确构造残差理论值为 0 x_ne np.linalg.solve(A.T A, A.T b) # 路线一正规方程 Q, R np.linalg.qr(A) # 路线二Householder QR x_qr np.linalg.solve(R, Q.T b) print(cond(A) , np.linalg.cond(A)) print(cond(AᵀA) , np.linalg.cond(A.T A)) print(正规方程误差:, np.linalg.norm(x_ne - x_true)) print(QR 误差 :, np.linalg.norm(x_qr - x_true))这段代码的关键设计是 b A x_true也就是说残差在数学上严格为零两条路线输出的差异纯粹由舍入误差造成不受模型误差干扰。运行后你会看到 cond(AᵀA) 是 cond(A) 的平方正规方程解出的 x 和真值差出好几个数量级而 QR 路线仍然贴着真值。为什么 QR 能避开这个坑因为 QR 分解只对 A 本身做正交变换Q 是正交矩阵乘以它不改变向量的长度2-范数也就不会放大误差。解 Rx Qᵀb 时R 的条件数等于 A 的条件数没有被平方。代价是 QR 分解的计算量约为 2mn² - 2n³/3比构造正规方程的 mn²/2 贵一些但这点开销换来的是数量级上的精度提升任何要交付的代码都应该选后者。教材在讲最小二乘时把正规方程和 QR 两条路径都摆了出来这个安排很务实正规方程是理解几何的工具QR 是实现时该用的工具两者不能互相替代。4. 特征值、幂迭代与 SVD降维和排序背后是同一个动作4.1 特征向量找那些只被拉伸、不被旋转的方向矩阵乘以一个向量一般会同时改变它的长度和方向。但总有一些特殊方向乘完之后方向不变只是长度被缩放了一个倍数Av λv。这个 v 就是特征向量λ 是特征值。特征值的求解来自特征方程 det(A - λI) 0。这个行列式展开后是一个 n 次多项式所以 n 阶矩阵有 n 个特征值计重数可能含复数。教材先讲行列式再讲特征值顺序不能反行列式为 0 意味着矩阵把空间压扁了这个几何事实正是特征方程成立的判据。有了特征向量如果 A 有 n 个线性无关的特征向量就可以写成 A PDP⁻¹其中 D 是对角矩阵。这个分解的威力在于算幂A^k PD^kP⁻¹对角矩阵的 k 次幂只是把每个对角元取 k 次幂原本 O(k n³) 的计算变成 O(n³ n log k)。离散动力系统 x_{k1} Ax_k 的解是 x_k A^k x₀长期行为完全由绝对值最大的那个特征值决定——大于 1 就发散小于 1 就衰减到零等于 1 就稳定在某个不动点上。教材用种群动态做引入例子讲的就是这件事分年龄组的种群按年度迁移主特征值给出长期增长率对应的特征向量给出稳定的年龄结构。这类结论在工程上反复出现。迭代算法的收敛性、马尔可夫链的稳态分布、差分方程的通解形式、振动系统的固有频率全都是同一件事的不同说法找那些在变换下方向不变的方向然后看它们被缩放了多少。4.2 幂迭代收敛速度被 λ₂/λ₁ 卡住实际工程里矩阵动辄上百万阶求特征多项式再求根是完全不现实的。这时候要用迭代法最简单的是幂迭代随便取一个向量反复乘以 A 并归一化它就会逐渐转向主特征向量的方向。道理不难推。把初始向量按特征向量展开成 v₀ c₁v₁ … cₙvₙ乘 k 次之后变成 c₁λ₁^k v₁ … cₙλₙ^k vₙ。提出 λ₁^k剩下的项都带因子 (λᵢ/λ₁)^k只要 |λᵢ| |λ₁|这些项就会衰减掉最后只剩第一项。所以收敛速度完全由 λ₂/λ₁ 这个比值决定比值是 0.9 的时候每迭代一次误差只降一成要降六个数量级需要一百多次比值是 0.5 的时候二十次就够了。import numpy as np def power_iteration(A, iters1000, tol1e-12): n A.shape[0] rng np.random.default_rng(1) v rng.normal(sizen) v / np.linalg.norm(v) # 初始向量归一化避免数值溢出 lam_prev 0.0 for i in range(iters): w A v lam float(v w) # Rayleigh 商对对称矩阵有二阶收敛精度 v w / np.linalg.norm(w) # 每步重新归一化 if abs(lam - lam_prev) tol: break lam_prev lam return lam, v, i参数上有几个讲究。用 Rayleigh 商 vᵀAv 而不是简单地取某个分量做比值是因为 Rayleigh 商对对称矩阵的误差是二阶的——误差减半结果精度翻四倍而分量比值只有一阶精度。每步归一化不是可选项否则向量长度会按 λ₁^k 指数级地溢出或下溢。返回的 i 是实际迭代次数调试时可以拿它和理论值 log(tol)/log(|λ₂/λ₁|) 对照如果实测远大于理论值通常说明 λ₁ 和 λ₂ 的模很接近。幂迭代最大的优点是只需要矩阵-向量乘法不需要对矩阵做任何分解。对于稀疏矩阵比如图的邻接矩阵非零元只有 O(n) 个每次乘法是 O(nnz) 而不是 O(n²)百万阶的矩阵也能跑。这就是为什么网页排序这类问题能用它整个网络的链接关系是一个巨大的稀疏矩阵求它的主特征向量就是求稳态的页面权重。教材把马尔可夫链和稳态向量放在扩展章节里那里会讲到一个关键的工程技巧——阻尼。把转移矩阵改成 αS (1-α)/n · 全一矩阵前两个特征值的比值被强行压到 α 以下收敛速度立刻变快。这是典型的取舍模型上稍微“不纯”了一点允许用户随机跳转换来的却是可计算的收敛速度。工程里遇到幂迭代不收敛第一反应就该是去看看谱的间隙有多大能不能人为拉开。4.3 SVD任意矩阵都能拆成旋转-拉伸-旋转特征分解有两个硬性限制矩阵必须是方阵而且必须可对角化。现实里的矩阵大多两条都不满足——一个 10000×500 的用户-物品评分矩阵既不是方阵也不对称。SVD 就是为这种情况准备的。A UΣVᵀ其中 U 是 m×m 的正交矩阵V 是 n×n 的正交矩阵Σ 是 m×n 的对角矩阵对角元叫奇异值非负且按降序排列。这个分解对任意矩阵都成立没有例外。几何解释最直观Vᵀ 是一次旋转或反射把输入空间的坐标轴转到主方向上Σ 沿着这些新轴做拉伸不同方向拉伸倍数不同多出来的维度被压成零U 再旋转到输出空间。所以任何一个线性变换不管多复杂都可以拆成“转—拉—再转”三步。奇异值就是各个方向上的拉伸倍数最大奇异值就是矩阵能放大的最大倍数最小奇异值就是能压缩到的最小倍数两者之比正是条件数。SVD 和特征分解的关系值得说清楚AᵀA 的特征向量就是 V特征值是奇异值的平方。所以前面说的 cond(AᵀA) cond(A)² 在这里得到了统一的解释——AᵀA 把奇异值平方了条件数自然也就平方了。这也是为什么算 SVD 的时候绝不能先算 AᵀA 再求特征分解那等于主动把精度砍一半正确的做法是用双对角化加隐式 QR直接对 A 本身做正交变换。4.4 低秩近似丢掉小奇异值为什么几乎无损奇异值按降序排列前几个往往占了绝大部分。一张 1000×1000 的灰度图前 50 个奇异值的平方和可能已经占了总量的 95% 以上。这意味着后面 950 个奇异值携带的信息非常少扔掉它们图像只是稍微模糊一点。这背后有一个严格的结论在所有秩不超过 k 的矩阵里截断 SVD 给出的近似在 Frobenius 范数和谱范数下都是最优的。误差正好等于被丢掉的那些奇异值的平方和开根号。这不是“启发式地试试看”而是有最优性保证的所以它能成为降维、压缩、去噪的通用手段。import numpy as np U, s, Vt np.linalg.svd(img, full_matricesFalse) # img 是 m x n 的灰度图矩阵 k 40 approx (U[:, :k] * s[:k]) Vt[:k, :] # 等价于 U_k diag(s[:k]) V_k^T energy (s[:k] ** 2).sum() / (s ** 2).sum() # 前 k 个奇异值占的能量比例 print(保留能量:, energy, 存储量:, (m * k k k * n) / (m * n))注意 U[:, :k] * s[:k] 这一句用的是广播把每个奇异值乘到对应列的每个元素上比构造对角矩阵再相乘省掉一次 O(mk²) 的乘法实际库里都这么写。full_matricesFalse 也很关键默认的 True 会算出一个 m×m 的完整 U图像尺寸大的时候内存直接爆掉而我们只需要前 k 列。代码最后一行打印的存储比说明了这个操作的收益原始需要 m·n 个数截断后只需要 m·k k k·n 个。当 k 远小于 min(m,n) 时压缩比接近 m·n/(k(mn))一千阶的图取 k40压缩到原来的四十分之一视觉上却几乎看不出差别。教材把 SVD 放在对称矩阵与二次型那一章紧接着用图像处理和统计做应用这个编排是有意的先讲对称矩阵可正交对角化这个特例再推广到任意矩阵的 SVD读者的心理负担小很多。5. 避坑与排查数值线性代数里「公式没错但结果崩了」的五个现场5.1 现象正规方程解出的系数看着合理和真值差出几个数量级原因AᵀA 把条件数平方了。特征严重相关时cond(A) 可能只有几百cond(AᵀA) 就到了十万量级双精度只有 16 位有效数字平方之后剩下的位数撑不住求解。解决改用 QR 或者 SVD 求解最小二乘。判断是否需要改的信号很简单算一下 cond(A)超过 1e6 就别碰正规方程了。已经上线无法改算法的场景退一步的做法是对 A 做列缩放每列除以它的 2-范数把量纲差异先抹平条件数能改善不少。5.2 现象手写 Gram-Schmidt 正交化理论上有 QᵀQ I实测偏差从 1e-8 起原因经典 Gram-Schmidt 的舍入误差会累积。每一步减投影的时候前面已经产生的误差会污染后面的向量正交性随着列数增加迅速丢失。列数上百、列之间又比较接近的时候最后算出来的 Q 可能连 1e-3 的正交性都保不住。解决换修正 Gram-Schmidt每一步都重新计算当前向量的投影而不是用原始向量一次减完或者直接用 Householder 变换做 QR。生产代码里不要自己写正交化np.linalg.qr 默认就是 Householder正交性误差在机器精度量级。5.3 现象同一个矩阵一个库算出的秩是 5另一个算出来是 4原因秩在浮点数下没有绝对定义取决于容差。理论上的“等于零”在浮点里是“小于某个阈值”不同库的默认阈值不同有的是 max(m,n)·eps·σ_max有的是固定值边界情况就会分歧。解决不要只看 rank 函数返回的整数直接打印奇异值谱。看相邻奇异值之间有没有量级上的断崖断崖位置才是真正的秩。如果奇异值从 1e0 一路平滑衰减到 1e-10那这个矩阵的“秩”本来就是模糊的任何整数答案都有误导性这时候该考虑的是正则化而不是降维。5.4 现象对实对称矩阵调 eig返回复数特征值特征向量也不正交原因np.linalg.eig 用的是通用的非对称算法不利用对称性也不保证输出实数。对称矩阵理论上特征值全实、特征向量正交但通用算法不会替你把虚部清零浮点误差留下的 1e-17j 会让后续的实数运算全部报类型错误。解决对称矩阵一律用 np.linalg.eighh 代表 Hermitian。它走的是三对角化加隐式 QR速度快一倍结果保证实数特征向量保证正交。判断矩阵是否对称时不要用 用 np.allclose(A, A.T) 并留一点容差。5.5 现象幂迭代跑了几千次还不收敛或者特征向量的符号来回跳原因两种典型情况。一是 |λ₁| |λ₂|比如一对 ±1 的特征值两项谁都不衰减向量会在两个方向之间来回摆。二是主特征值是负数归一化之后方向每步翻转一次看起来像震荡。还有一种隐蔽情况是初始向量恰好与主特征向量正交投影系数为零算法会收敛到第二大的特征值上。解决先算一遍谱的大致分布小规模矩阵直接 svd大规模用 ARPACK 的 svds 取前几个。遇到模相等的特征值用带位移的迭代或者子空间迭代同时跟踪多个向量。符号震荡的话改用 A σI 做位移把主特征值推到最大。初始向量取随机向量而不是全一向量能规避掉正交退化的情况。6. 教学顺序上的工程考量为什么先讲 Rⁿ 再讲抽象向量空间把这份教材的目录摊开看会发现一个克制得有点反常的安排前七章全都在 Rⁿ 里打转向量就是有序数组矩阵就是数表变换就是乘法。真正抽象的向量空间公理体系要到第四章才出现而在那之前秩、基、维数、线性无关这些概念已经用具体数组讲了一遍。第八章之后才进入仿射组合、凸集、多面体这类几何内容。这个顺序值得琢磨。抽象的定义是从具体例子里“提取”出来的先见够例子再抽象抽象才有指代物反过来先背八条公理绝大多数人只能记住名词用的时候想不起任何一个实例。工程上的学习曲线也是这个形状先在小规模、能打印出来、能画出来的矩阵上建立直觉再上稀疏、分布式、GPU 分块。跳过第一步直接啃大规模系统遇到问题连往哪个方向排查都不知道。同样的思路体现在每章开头的应用引入例子上。第一章用经济学和工程里的线性模型开局第二章讲飞行器设计里的计算机模型第三章是随机路径与形变第四章是航天控制系统的状态空间第五章讲种群动力学第六章是卫星定位的坐标基准转换第七章是多通道图像处理。这些例子并不承担教学任务它们只干一件事在读者开始啃定理之前先给一个“为什么需要这把工具”的锚点。缺了这个锚公式就只是待背的符号。教材层次覆盖内容对应的工程问题第一层解方程行化简、LU、四个子空间线性回归、电路分析、约束求解第二层分解特征分解、QR、SVD降维、推荐、压缩、去噪第三层几何与优化仿射组合、凸集、线性规划路径规划、资源分配、博弈扩展层随机过程马尔可夫链、稳态向量排序、状态预测、长期均衡还有一层取舍在编排上优化和有限状态马尔可夫链这两部分做成了在线章节不占纸质篇幅。核心链路保证随时可读扩展内容按需取用这跟工程系统里“主干功能必须稳定、插件按需加载”的分层是同一个逻辑。教材本身也是这么演进的第五版新增的交互式电子版让读者能直接拖动矩阵元素看几何变化本质上还是那句话——先有可操作的具体对象再有抽象。想验证自己是否真的把某一层吃透了我一般用这样一个办法拿一个自己熟悉的算法把它一路拆到最底层看每一层能不能对上具体章节。比如主成分分析拆开来是“数据中心化后做 SVD → 取前 k 个奇异向量 → 等价于找协方差矩阵的主特征向量 → 等价于在数据张成的子空间里找方差最大的方向”。拆得下去说明四个子空间、SVD、特征分解这几块是真懂了拆到某一步卡住缺的就是那一节回去补比泛读十本书都管用。从那以后我每读一个号称用了线性代数的算法都强制走一遍这个拆解它到底是在解方程、在找子空间还是在做分解。走完这三问代码里那些看起来莫名其妙的转置、归一化和截断基本都能找到出处。希望帮到你。这份第五版资源的完整目录、章节编排、习题与附录都在其中配合上面的拆解路径对照着读效率会比从头顺读高不少需要的话可以取来放在手边当工具书翻。本文还有配套的精品资源点击获取
