REVIEW.137945.XYZ · INTERACTIVE COURSE REVIEW OBSERVATORY
◈ review.137945.xyz 三院课程总馆MIT 18.065 矩阵方法清华 · 张颢《概率论》复旦 · 叶凡《数字集成电路》
Σ矩阵的语言STRANG / FIELD NOTES
MIT 18.065/第 4 讲 (P06)
课程地图
LECTURE 04 · B站 P06 48:55 原课 · BV1oDdKYtEwy

特征值与特征向量:把演化拆成独立方向

Eigenvalues and Eigenvectors

从矩阵幂与动态系统,经相似变换,抵达实对称矩阵的谱定理。

这节课的核心问题

本讲先解释特征向量为何能简化重复作用与连续演化,再用相似变换连接坐标、计算与对角化,最后通过旋转和交换矩阵进入实对称矩阵的谱定理。全文按课堂顺序覆盖字幕实质教学 ;duration 为 ffprobe 核验的视频总时长 。关键板书与指定的448页OCR教材逐项对照,并显式补足课堂口语中的条件。

读完后,你应该能
  • 能从 Ax=λx 推出矩阵幂、逆及指数在一个特征方向上的作用,并写出各自前提。

  • 能用特征基解离散与连续线性系统,区分两种衰减判据。

  • 能证明相似变换保谱,解释 AB 与 BA 的非零谱对应及证明中的非零条件。

  • 能手算二维旋转与交换矩阵的谱,正确使用迹、行列式与复特征向量。

  • 能把逐列特征方程装配成对角化,解释重根、缺陷、正交谱分解之间的区别。

特征向量:把一个变换限制到一条直线

特征向量是满足 Ax=λx 的非零向量;方阵、所用数域和独立性是理解后面结论的前提。

上一讲的正交矩阵 QQ 保持长度与夹角();本讲先研究一般方阵 AA,再进入实对称矩阵 SS,最后为下一讲的正定矩阵作准备。Strang 的第一个问题不是怎么算,而是:为什么这么多课程都要讲特征向量?

设 A∈Rn×nA\in\mathbb R^{n\times n}()。如果一个非零向量 xx 满足

Ax=λx,x≠0,Ax=\lambda x,\qquad x\ne0,

那么 xx 是特征向量,λ\lambda 是对应的特征值()。一般向量经过 AA 会换方向;特征向量所在的直线则保持不变,矩阵在这条直线上的作用只剩一个数。

这里的「不变方向」应理解为仍在同一直线上:λ>0\lambda>0 同向,λ<0\lambda<0 反向,λ=0\lambda=0 被送到原点()。零向量不能算特征向量,否则 A0=λ0A0=\lambda0 对任何数都成立,定义就失去了信息。同一特征向量的任何非零倍数仍是特征向量。

为什么先限定方阵()?通常的特征方程要求 AxAx 和 xx 属于同一空间,矩形矩阵不能直接使用这个定义。即使是实方阵,也可能需要在复数域寻找特征值,还可能找不齐 nn 个独立特征向量。课堂说的「通常有一整套」不是对所有方阵的保证;后面所有「用特征向量作基」的步骤都要加上这个条件。

核对与补充说明

完整字幕 ;定义与符号核对教材 I.6 印刷36 / PDF50。

带走这几点
  • 特征向量必须非零;特征值可以是零或负数。

  • 一般实方阵不保证有实特征基。

为什么有用:矩阵的幂只把特征值取幂

Ax=λx 蕴含 Aᵏx=λᵏx;逆矩阵公式还要求 A 可逆。

Strang 用 A2A^2 让特征向量的价值显现出来()。从 Ax=λxAx=\lambda x 出发,

A2x=A(Ax)=A(λx)=λAx=λ2x.A^2x=A(Ax)=A(\lambda x)=\lambda Ax=\lambda^2x.

关键一步只有线性性:λ\lambda 是标量,可以移到矩阵外面()。继续归纳得到

Akx=λkx(k=1,2,…).A^kx=\lambda^kx\qquad(k=1,2,\ldots).

方向仍是原来的 xx,特征值变成 λk\lambda^k()。这句话是「AA 的每个特征向量仍适用于 AkA^k」,并不保证 AkA^k 没有新增的特征方向。例如本讲后面的交换矩阵 SS 满足 S2=IS^2=I;II 的每个非零向量都是特征向量,而 SS 只有两条特征直线。

如果 AA 可逆,在 Ax=λxAx=\lambda x 两边作用 A−1A^{-1},则()

A−1x=λ−1x.A^{-1}x=\lambda^{-1}x.

当 λ=0\lambda=0 时,Ax=0Ax=0 给出非零零空间向量,所以 AA 必不可逆()。反过来也成立:方阵不可逆,便存在非零 x∈N(A)x\in N(A),因此 00 是特征值。

要把条件说完整:只知道某一个特征值不为零,并不能保证整个 AA 可逆()。 例如 diag⁡(1,0)\operatorname{diag}(1,0) 有特征值 11,仍然没有逆矩阵。课堂的「如果一切顺利」应理解为矩阵确实可逆,也就是所有特征值都非零。

核对与补充说明

字幕 ;教材印刷36 / PDF50 核对幂公式;逆的完整前提与新增特征方向例子为讲义补充。

带走这几点
  • 先在一个特征方向上计算,再推广到任意输入。

  • 0 是特征值,当且仅当方阵奇异。

连续时间的桥梁:矩阵指数

矩阵指数把幂级数中的 λᵏ 重新组合成 e^{λt},同一特征方向仍然适用。

课堂短暂借用微分方程中的矩阵指数,展示同一想法还能走多远()。矩阵指数不是把每个元素分别取指数,而是用幂级数定义:

etA=I+tA+t2A22!+⋯ .e^{tA}=I+tA+\frac{t^2A^2}{2!}+\cdots.

作用于特征向量 xx 后,每一项的 AkxA^kx 都能换成 λkx\lambda^kx,于是()

etAx=(1+tλ+t2λ22!+⋯ )x=eλtx.e^{tA}x=\left(1+t\lambda+\frac{t^2\lambda^2}{2!}+\cdots\right)x=e^{\lambda t}x.

对有限维矩阵,这个级数对所有有限 tt 都收敛()。这里不需要整套特征基:只要这一个 xx 满足特征方程,计算就成立。整套特征基的意义在下一段:它让任意初始向量都能拆成这些简单模式。

这也是从离散重复作用 AkA^k 到连续演化 etAe^{tA} 的结构联系()。不能把 etAe^{tA} 当成课堂新造的一种特殊技巧;它延续的仍然是「在特征方向上,矩阵计算退化为标量计算」。

核对与补充说明

字幕 ;教材印刷37 / PDF51 的连续系统解核对;幂级数细写为补充。

带走这几点
  • 矩阵指数由矩阵幂级数定义,不是逐元素指数。

  • 特征方向上的指数变化率由 λ 决定。

从一个方向到任意状态:差分方程与微分方程

若 n 个独立特征向量构成基,任意初值都能分解,各个模式独立增长、衰减或振荡。

一个特别的向量还不够:实际问题给定的初值 v0v_0 通常不是特征向量()。现在明确假设 AA 有 nn 个线性无关的特征向量 x1,…,xnx_1,\ldots,x_n,它们构成基,因而存在唯一系数

v0=c1x1+⋯+cnxn.v_0=c_1x_1+\cdots+c_nx_n.

利用线性性逐项作用,就得到离散系统的完整解:()

vk+1=Avk,vk=Akv0=∑i=1nciλikxi.v_{k+1}=Av_k,\qquad v_k=A^kv_0=\sum_{i=1}^nc_i\lambda_i^kx_i.

课堂把幂的指标从 nn 改成 kk,因为 nn 已表示矩阵阶数()。这里的系数由初值决定,不随时间改变;随时间改变的是每个特征模式前面的 λik\lambda_i^k。

对连续系统则有()

dvdt=Av,v(0)=v0,v(t)=∑i=1ncieλitxi.\frac{dv}{dt}=Av,\qquad v(0)=v_0,\qquad v(t)=\sum_{i=1}^nc_ie^{\lambda_it}x_i.

检验方法正如课堂问答所说:求导会从 eλite^{\lambda_it} 带下一个 λi\lambda_i,乘 AA 也会从 AxiAx_i 带出同一个 λi\lambda_i,两边逐项相同()。

教材补充的稳定性联系: 离散模式是否衰减看 ∣λi∣<1|\lambda_i|<1,连续模式是否衰减看 Re⁡λi<0\operatorname{Re}\lambda_i<0()。这是幂与指数的区别,不能共用一个判据。λ=−1\lambda=-1 的离散模式会正负交替,λ=i\lambda=i 的连续模式会旋转振荡。

如果特征向量不够,这套「把任意向量写成特征向量之和」的做法便断了();Akv0A^kv_0 与 etAv0e^{tA}v_0 本身仍然有定义。实验中的剪切矩阵会具体展示这一边界。

核对与补充说明

字幕 全段; 板书核对两类演化方程及展开;教材印刷36–37 / PDF50–51 核对条件。

带走这几点
  • 初值决定系数,特征值决定每个模式的时间变化。

  • 离散衰减看模小于1,连续衰减看实部小于0。

相似变换:坐标改变,特征值不变

B=M⁻¹AM 是同一线性作用在另一套坐标中的矩阵;特征向量随坐标变,特征值保持。

从演化方程换一个坐标系()。令 v=Myv=My,其中 MM 可逆,则

vk+1=Avk⟹yk+1=M−1AMyk.v_{k+1}=Av_k\quad\Longrightarrow\quad y_{k+1}=M^{-1}AMy_k.

因此定义 B=M−1AMB=M^{-1}AM,称 AA 与 BB 相似()。左右两个因子必须互为逆,不能任意各乘一个矩阵。相似不是两个数组外观接近,而是它们表示同一线性变换的不同坐标。

课堂的核心证明很短()。假设 By=λyBy=\lambda y 且 y≠0y\ne0,代入并左乘 MM:

M−1AMy=λy⟹A(My)=λ(My).M^{-1}AMy=\lambda y\quad\Longrightarrow\quad A(My)=\lambda(My).

因为 MM 可逆,My≠0My\ne0();所以 x=Myx=My 是 AA 对应于同一 λ\lambda 的特征向量。反向用 M−1M^{-1} 同样成立。特征值相同,特征向量一般不同。 更强的重数结论可由 det⁡(B−tI)=det⁡(M−1(A−tI)M)=det⁡(A−tI)\det(B-tI)=\det(M^{-1}(A-tI)M)=\det(A-tI) 得到。

Strang 随后解释数值程序为什么关心相似变换:反复选择合适的坐标,使矩阵接近容易读出特征值的形状,同时保留谱()。对称矩阵可以趋向对角形;一般矩阵在复数运算下可以趋向上三角形。实数算法遇到复共轭特征值时通常保留 2×22\times2 块,不能说所有实矩阵都能用实相似变换得到实上三角矩阵。

这段只是计算策略的动机,不是对具体软件内部算法的完整描述()。手算行列式适合小例子,实际数值求谱不会依靠展开一个巨大特征多项式再求根。

核对与补充说明

字幕 完整核对;相似证明为逐式展开,实算法的2×2块条件为补充说明。

带走这几点
  • 相似保特征值,不保特征向量坐标。

  • 可逆换基是相似公式成立的关键。

AB 与 BA:同谱结论的条件与证明缺口

可逆因子给出相似;即使因子奇异,AB 与 BA 仍共享非零特征值,矩形时零谱数量可不同。

课堂接着问:交换乘积的顺序,会不会改变特征值()?如果 A,BA,B 是同阶方阵而 BB 可逆,那么

B(AB)B−1=BA,B(AB)B^{-1}=BA,

所以 ABAB 与 BABA 相似()。它用的是相似变换的等价写法 MCM−1MCM^{-1};与前段的 M−1CMM^{-1}CM 不矛盾,只是把换基矩阵改名为它的逆。

课堂这一步需要补条件()。 22 分钟附近用 B−1B^{-1} 的证明只适用于可逆 BB;仅把目标特征值限定为非零,并不能保证整个 BB 可逆。下面是避开逆矩阵、直接证明非零谱对应的办法。

更一般地,设 A∈Rm×nA\in\mathbb R^{m\times n}、B∈Rn×mB\in\mathbb R^{n\times m},且()

ABx=λx,λ≠0.ABx=\lambda x,\qquad\lambda\ne0.

首先 Bx≠0Bx\ne0,否则 ABx=0ABx=0 会与 λx≠0\lambda x\ne0 矛盾()。其次

BA(Bx)=B(ABx)=λBx.BA(Bx)=B(ABx)=\lambda Bx.

所以 BxBx 是 BABA 的特征向量()。反向交换 A,BA,B,就得到非零特征值集合一致。代数重数一致是更强的结论,可由特征多项式恒等式补足;这里的向量证明已经解释了为什么必须特别小心零。

矩形补充例子:A=(1,0)A=(1,0)、B=(1,0)TB=(1,0)^{\mathsf T} 时,AB=[1]AB=[1],而 BA=diag⁡(1,0)BA=\operatorname{diag}(1,0)()。它们的非零特征值都是 11,零特征值数量不同。若 A,BA,B 是同阶方阵,事实上完整特征多项式相同,连零根的代数重数也相同;但它们不一定相似。

这会在 第6讲 SVD 重新出现:ATAA^{\mathsf T}A 和 AATAA^{\mathsf T} 的大小可以不同,却拥有相同的正特征值()。

核对与补充说明

字幕 ; 帧可辨 M(AB)M⁻¹=BA、M=B。非零谱向量证明及矩形例子是明确标注的补充,修复课堂口头论证缺口。

带走这几点
  • 可逆B让AB与BA相似;奇异时不能沿用这个逆矩阵证明。

  • 矩形AB与BA的非零谱对应,零谱可能多出。

为什么特征值不能随意相加、相乘?

特征值描述沿特定方向的作用;没有共同特征方向,就不能把两个谱逐项运算。

知道 AA 的特征值和 BB 的特征值,能否直接得到 A+BA+B 或 ABAB 的特征值()?课堂的回答是:一般不能。缺少的是两者特征向量之间的关系。

如果确实有同一个非零向量满足 Ax=λxAx=\lambda x 与 Bx=μxBx=\mu x,那么()

(A+B)x=(λ+μ)x,ABx=λμx.(A+B)x=(\lambda+\mu)x,\qquad ABx=\lambda\mu x.

这里的相加、相乘成立,是因为沿着同一条特征直线比较()。若拥有共同特征基,就可以在这组基中逐个配对;不是把两个无序的特征值列表随意对应。

下面是为课堂警告设计的反例:()

A=(0100),B=(0010).A=\begin{pmatrix}0&1\\0&0\end{pmatrix},\qquad B=\begin{pmatrix}0&0\\1&0\end{pmatrix}.

两者的特征值都只有 00(二重),但()

A+B=(0110),AB=(1000).A+B=\begin{pmatrix}0&1\\1&0\end{pmatrix},\qquad AB=\begin{pmatrix}1&0\\0&0\end{pmatrix}.

前者的特征值为 1,−11,-1,后者为 1,01,0();显然不是把零逐项加起来或乘起来。与此同时,BA=diag⁡(0,1)BA=\operatorname{diag}(0,1) 仍与 ABAB 同谱,这和上一段完全相容。

不要把课堂的「一般没有这种规则」理解成没有任何联系:迹始终可相加,行列式始终可相乘()。它们约束的是所有特征值的和或积,而不是每一个特征值的配对。

核对与补充说明

字幕 ;教材印刷37 / PDF51 的 warnings 核对。两个幂零矩阵的反例为讲义补充。

带走这几点
  • 共同特征方向上可以运算;没有它,一般不能逐项操作谱。

  • AB与BA同谱不等于AB的谱等于两个谱相乘。

实矩阵为什么会出现复特征值?

90°旋转没有非零实特征方向;这与实对称矩阵的实谱形成对照。

从一般矩阵走向对称矩阵之前,Strang 先给出反面对照()。 板书上的矩阵是

R=(01−10),RT=−R.R=\begin{pmatrix}0&1\\-1&0\end{pmatrix},\qquad R^{\mathsf T}=-R.

它把 (x1,x2)(x_1,x_2) 变为 (x2,−x1)(x_2,-x_1),是顺时针 90∘90^\circ 旋转,也是实反对称矩阵()。对任意非零实向量,RxRx 都与 xx 垂直,因此不可能是实数倍。虽然矩阵的每个元素都是实数,它却没有实特征向量。

几何上的「没有实方向」并不等于代数上完全没有特征值()。把数域扩充到复数后,Rx=λxRx=\lambda x 仍然能有解,下一段会算出 λ=±i\lambda=\pm i。

需要校正课堂的一个泛化:「任何反对称矩阵都没有实特征向量」说得太强()。实反对称矩阵的特征值是纯虚数或零;若存在非零零空间向量,它就是 λ=0\lambda=0 的实特征向量。零矩阵就是最简单的反例。对于非零实特征值,因 xTRx=0x^{\mathsf T}Rx=0,特征方程会给出 λ∥x∥2=0\lambda\|x\|^2=0,因此不可能。

实对称矩阵的结构更强:所有特征值都实,并且能够选出完整的正交特征基()。旋转矩阵提醒我们,这些是「对称」带来的特殊保证,不是「矩阵元素为实数」自动带来的保证。

核对与补充说明

字幕 ; 板书核对旋转的正负号。教材印刷37 / PDF51 用逆时针矩阵,其特征值集合相同但特征向量配对不同。

带走这几点
  • 实矩阵可以有复特征值;旋转提供直接几何证据。

  • 反对称矩阵可以有零特征值和相应的实特征向量。

手算特征值:零空间、行列式与两项检查

非零解要求 A−λI 奇异;旋转例给出 ±i,迹与行列式检查谱的和与积。

要求 Ax=λxAx=\lambda x 的非零解,就把它改写成()

(A−λI)x=0⟹det⁡(A−λI)=0.(A-\lambda I)x=0\quad\Longrightarrow\quad\det(A-\lambda I)=0.

这里的关键是非零解()。任何齐次系统都有零解;只有矩阵奇异,才会出现非平凡零空间。先从行列式求 λ\lambda,再对每个 λ\lambda 求 N(A−λI)N(A-\lambda I),这才是完整的手算步骤。

对课堂的顺时针旋转矩阵,()

det⁡(−λ1−1−λ)=λ2+1=0,\det\begin{pmatrix}-\lambda&1\\-1&-\lambda\end{pmatrix}=\lambda^2+1=0,

得到 λ=i,−i\lambda=i,-i()。补完课堂没有写到底的特征向量计算:λ=i\lambda=i 时可取 x=(1,i)Tx=(1,i)^{\mathsf T};λ=−i\lambda=-i 时可取 x=(1,−i)Tx=(1,-i)^{\mathsf T}。例如 R(1,i)T=(i,−1)T=i(1,i)TR(1,i)^{\mathsf T}=(i,-1)^{\mathsf T}=i(1,i)^{\mathsf T}。

Strang 接着给出两个快速检查,特征值要按代数重数计数:()

∑i=1nλi=tr⁡(A),∏i=1nλi=det⁡A.\sum_{i=1}^n\lambda_i=\operatorname{tr}(A),\qquad\prod_{i=1}^n\lambda_i=\det A.

本例 i+(−i)=0=tr⁡Ri+(-i)=0=\operatorname{tr}R,i(−i)=1=det⁡Ri(-i)=1=\det R()。注意 i(−i)=−i2=1i(-i)=-i^2=1,不是 −1-1。对 2×22\times2 矩阵,和、积确定了首一二次特征多项式,因此能核验两个根的无序集合;但仍不等于核验特征向量。

一般二阶矩阵的式子也说明了这个联系:()

det⁡((abcd)−λI)=λ2−(a+d)λ+(ad−bc).\det\left(\begin{pmatrix}a&b\\c&d\end{pmatrix}-\lambda I\right)=\lambda^2-(a+d)\lambda+(ad-bc).

更高阶时,仅检查和、积远远不够:它们只检查了特征多项式的两项系数()。课堂特别提醒,即使两个检查都通过,三阶、四阶计算仍可能出错。

核对与补充说明

字幕 ; 板书核对 λ²+1,教材印刷37 / PDF51 核对特征多项式和检查公式;复特征向量计算按课堂矩阵补完。

带走这几点
  • 求特征值是先找奇异的A−λI,再找其非零零空间向量。

  • 迹与行列式是必要检查;高阶时不能作为充分验证。

实对称矩阵的三项保证与重根例外

实特征值、可选正交特征向量、足够多的特征向量共同组成谱定理的内容。

回到 S=STS=S^{\mathsf T}()。课堂总结了实对称矩阵的三个相互配合的保证:所有特征值都是实数;可以选择正交的特征向量;即使出现重特征值,仍然有完整的 nn 个独立特征向量。

第三点尤其不能漏掉()。一般矩阵可能只有一个独立特征向量,例如补充例子

J=(1101),(J−I)x=0⟹x2=0.J=\begin{pmatrix}1&1\\0&1\end{pmatrix},\qquad(J-I)x=0\Longrightarrow x_2=0.

其特征值 11 的代数重数为 22,特征空间维数却只有 11()。对称矩阵不会出现这种「缺少特征向量」的情况。

「特征向量正交」也要说准确:不同特征值对应的特征向量自动正交();同一个重特征值对应的空间里,任意选出的向量不一定正交,但可以在该空间内选取正交单位基。例如 II 的每个非零向量都是特征向量,(1,0)(1,0) 与 (1,1)(1,1) 显然不正交。

课堂在 明确请学生暂时接受这些结论,继续看它们的用途,并没有当堂完成谱定理证明()。教材补充可以解释两个核心性质:对复特征向量,用共轭转置 x∗x^* 得到 λ=(x∗Sx)/(x∗x)\lambda=(x^*Sx)/(x^*x) 是实数;对 Sx=λxSx=\lambda x、Sy=μySy=\mu y,有

λxTy=(Sx)Ty=xTSy=μxTy.\lambda x^{\mathsf T}y=(Sx)^{\mathsf T}y=x^{\mathsf T}Sy=\mu x^{\mathsf T}y.

若 λ≠μ\lambda\ne\mu,就有 xTy=0x^{\mathsf T}y=0()。这证明不同特征值的正交性;完整特征基的存在还需要进一步的谱定理论证,不能把这一行计算误当作全部证明。

核对与补充说明

字幕 ;教材 I.7 印刷44–45 / PDF58–59 核对谱定理、重根措辞与共轭证明。J为补充实验矩阵,教材印刷40 / PDF54提供缺陷矩阵背景。

带走这几点
  • 对称矩阵即使有重根,也能拥有完整正交特征基。

  • 任意挑出的同一重根特征向量不一定彼此正交。

课堂例题:交换两坐标,得到 1 与 −1

交换矩阵把和方向固定,把差方向反向;它对称但并不正定。

课堂的具体对称矩阵是()

S=(0110).S=\begin{pmatrix}0&1\\1&0\end{pmatrix}.

它把 (a,b)(a,b) 变成 (b,a)(b,a)()。因此相等的两个分量不会改变,互为相反数的两个分量会整体反号:

S(11)=(11),S(1−1)=−(1−1).S\begin{pmatrix}1\\1\end{pmatrix}=\begin{pmatrix}1\\1\end{pmatrix},\qquad S\begin{pmatrix}1\\-1\end{pmatrix}=-\begin{pmatrix}1\\-1\end{pmatrix}.

所以 λ1=1\lambda_1=1、λ2=−1\lambda_2=-1,特征向量分别为 (1,1)T(1,1)^{\mathsf T}、(1,−1)T(1,-1)^{\mathsf T},并且点积为零()。迹为 0=1+(−1)0=1+(-1),行列式为 −1=1(−1)-1=1(-1),与课堂的两项检查相符。

几何上,这是关于直线 x1=x2x_1=x_2 的反射:沿镜面保持,沿法线反向()。它既是对称矩阵又是正交矩阵,却不是正定矩阵,因为存在负特征值。对称保证实数,不保证正数。

为把这道课堂例题算完整,任意向量都能分成和、差两部分:()

(ab)=a+b2(11)+a−b2(1−1).\begin{pmatrix}a\\b\end{pmatrix}=\frac{a+b}{2}\begin{pmatrix}1\\1\end{pmatrix}+\frac{a-b}{2}\begin{pmatrix}1\\-1\end{pmatrix}.

于是 SkS^k 只让第二项多出 (−1)k(-1)^k:偶数次恢复初值,奇数次交换两坐标()。特征值 11 的方向是离散迭代的稳态;特征值 −1-1 的方向则来回翻转。

核对与补充说明

字幕 ; 板书明确显示 S=[[0,1],[1,0]]、λ=1,-1与两个向量;任意初值的和差展开为补充计算。

带走这几点
  • 交换矩阵的特征方向是和与差。

  • 实对称不等于正定;负特征值表示反向。

按列装配:特征方程就是 SM=MΛ

把特征向量放在列中,右乘对角矩阵缩放各列;这把一组向量方程压缩成一个矩阵方程。

Strang 接着提出相似变换中的核心问题:什么矩阵能把 SS 变成只显示特征值的对角矩阵()?自然的候选是特征向量矩阵:

M=(111−1),Λ=(100−1).M=\begin{pmatrix}1&1\\1&-1\end{pmatrix},\qquad\Lambda=\begin{pmatrix}1&0\\0&-1\end{pmatrix}.

与其机械地算四个元素,不如使用前面课程的「逐列乘法」:()

SM=S[x1 x2]=[Sx1 Sx2]=[x1 −x2]=[x1 x2]Λ=MΛ.SM=S[x_1\ x_2]=[Sx_1\ Sx_2]=[x_1\ -x_2]=[x_1\ x_2]\Lambda=M\Lambda.

左乘 SS 是对每一列施加变换();右乘 Λ\Lambda 是分别把第 ii 列乘以 λi\lambda_i。这里 [x1 −x2][x_1\ -x_2] 是两个并列的列向量,不是做向量减法得到一个 x1−x2x_1-x_2。课堂 43 分钟的师生对话正好暴露了这个容易听混的点。

由于两列独立,MM 可逆()。因此从 SM=MΛSM=M\Lambda 得到

M−1SM=Λ,S=MΛM−1.M^{-1}SM=\Lambda,\qquad S=M\Lambda M^{-1}.

先把输入转成特征向量坐标,再独立缩放,最后转回原坐标,这就是对角化的意义()。本例 M2=2IM^2=2I,故 M−1=12MM^{-1}=\tfrac12M,可以直接相乘核验 S=MΛM−1S=M\Lambda M^{-1}。

还要避免一个逻辑倒置:虽然相似矩阵一定同谱,但同谱不一定相似()。II 与 (1101)\begin{pmatrix}1&1\\0&1\end{pmatrix} 都有两个特征值 11,却只有后者缺少完整特征基。本例能对角化的理由是我们找到了可逆的特征向量矩阵,不只是两个特征值列表相同。

核对与补充说明

字幕 ; 板书核对逐列等式,教材印刷39 / PDF53 核对右乘对角矩阵的意义;同谱不蕴含相似为条件校正。

带走这几点
  • 右乘Λ逐列缩放,SM=MΛ就是逐列特征方程。

  • 必须有独立特征向量,才能合法使用M⁻¹。

一般对角化与实验:缺陷、复谱、零特征值

A=XΛX⁻¹ 只在存在特征基时成立;实验把正常情况、缺陷矩阵与复谱放在一起比较。

把例子中的 S,MS,M 改成一般记号 A,XA,X()。若 X=[x1 ⋯ xn]X=[x_1\ \cdots\ x_n] 的列是 nn 个独立特征向量,便有

AX=XΛ,A=XΛX−1.AX=X\Lambda,\qquad A=X\Lambda X^{-1}.

课堂回到开头的问题:平方时,相邻的 X−1XX^{-1}X 抵消,得到()

A2=(XΛX−1)(XΛX−1)=XΛ2X−1,Ak=XΛkX−1.A^2=(X\Lambda X^{-1})(X\Lambda X^{-1})=X\Lambda^2X^{-1},\qquad A^k=X\Lambda^kX^{-1}.

这与逐向量的 Akxi=λikxiA^kx_i=\lambda_i^kx_i 是同一事实的矩阵表达()。它没有消除条件:若 XX 的列不独立,X−1X^{-1} 不存在,就不能对角化。矩阵可逆与可对角化也不是同一件事:剪切矩阵 JJ 可逆却不可对角化,而对称秩一矩阵可对角化却不可逆。

下面实验为本讲设计,包含教材例子与补充反例,不全是课堂原例()。 角度控制给出单位向量 x=(cos⁡θ,sin⁡θ)Tx=(\cos\theta,\sin\theta)^{\mathsf T};改变方向,观察 xx、AxAx 和 det⁡[x,Ax]\det[x,Ax]。对非零实向量,行列式为零恰好表示共线。实验同时给出候选比例 λ^=(xTAx)/(xTx)\widehat\lambda=(x^{\mathsf T}Ax)/(x^{\mathsf T}x) 与残差 ∥Ax−λ^x∥\|Ax-\widehat\lambda x\|;只有残差为零时,这个比例才确实是该方向的特征值。

  1. 选对称矩阵 (2112)\begin{pmatrix}2&1\\1&2\end{pmatrix}(教材印刷36页例1)()。把角度设为 45∘45^\circ 与 135∘135^\circ,分别找到 λ=3\lambda=3 与 λ=1\lambda=1;调整数幂 kk,比较 3k3^k 增长与保持不变。
  2. 选剪切矩阵 J=(1101)J=\begin{pmatrix}1&1\\0&1\end{pmatrix}。只有水平直线是特征方向;在 90∘90^\circ 初值下,Jk(0,1)T=(k,1)TJ^k(0,1)^{\mathsf T}=(k,1)^{\mathsf T},尽管所有特征值都为 11,仍出现线性增长。原因是缺陷结构,不是计算器算错了。
  3. 选逆时针 90∘90^\circ 旋转 (0−110)\begin{pmatrix}0&-1\\1&0\end{pmatrix}。它与课堂顺时针矩阵方向相反,仍没有实特征方向,特征值集合仍为 {i,−i}\{i,-i\}。任意角度下残差都不为零,整数幂每四步回到初值;候选比例为零不表示零是特征值。
  4. 选秩一矩阵 (1111)\begin{pmatrix}1&1\\1&1\end{pmatrix},在 135∘135^\circ 找到零特征值。输入 xx 非零,而输出 Ax=0Ax=0;这合法,不能把零输出误判为「不是特征方向」。

实验的二维实箭头不会显示复特征向量();缺少实共线方向与在复数域缺少特征向量是两件不同的事。

核对与补充说明

字幕 ; 板书可见 A² 的中间抵消;教材印刷39–40 / PDF53–54 核对对角化及缺陷。实验明确区分教材矩阵、课堂旋转符号和自拟边界。

MIT 18.065 · 课程补充实验

特征向量的判据:Ax 是否仍在 x 线上?

观察任务在四个矩阵之间切换并旋转单位向量 x。det[x,Ax]=0 表示共线;观察 Rayleigh 商和残差如何区分真正特征向量、Jordan 剪切与 90° 旋转。

x 与 Ax · k=3蓝 x;橙 Ax;绿 Aᵏx · 共同坐标尺度 ±19
x₁x₂xAxAᵏx
Ax=λx  ⟺  det⁡[x,Ax]=0,λ=xTAxxTxAx=\lambda x\iff\det[x,Ax]=0,\quad \lambda=\frac{x^TAx}{x^Tx}
det[x,Ax]0.6428共线判据
Rayleigh λ2.766单位 x 时 xᵀAx
‖Ax−λx‖0.6428特征残差
A=[2112]A=\begin{bmatrix}2&1\\1&2\end{bmatrix}

当前矩阵:对称:两个实特征方向;特征值提示 3,1。对称矩阵有正交的实特征方向。

↳

x=(0.91, 0.42);Ax=(2.24, 1.75);Aᵏx=(18.18, 17.7)。图中所有 Aᵏx 使用同一坐标尺度 ±19。调 θ 找到 det=0 的方向,再检查残差是否确实接近 0。

课堂/教材连接:第 4 讲的特征值、特征向量与迭代;补充预设覆盖对称、Jordan 缺陷、旋转无实特征向量和秩一矩阵。

补充实验 · 改变一个量,观察同一数学状态的图形与数值
带走这几点
  • 有特征基才有A=XΛX⁻¹;可逆与可对角化互不等价。

  • 候选比例需残差检验;零输出可以对应零特征值。

谱定理收束:S=QΛQᵀ

把实对称矩阵的特征向量正交归一后,换基的逆就是转置,接回上一讲的 Q。

最后一口气,Strang 把一般对角化专门化到实对称矩阵()。完整的正交特征基可以归一为 q1,…,qnq_1,\ldots,q_n,排成方阵 QQ。上一讲告诉我们

QTQ=QQT=I,Q−1=QT.Q^{\mathsf T}Q=QQ^{\mathsf T}=I,\qquad Q^{-1}=Q^{\mathsf T}.

因此一般的 A=XΛX−1A=X\Lambda X^{-1} 化为本讲终点——谱定理:()

S=QΛQT,Λ=diag⁡(λ1,…,λn),λi∈R.S=Q\Lambda Q^{\mathsf T},\qquad\Lambda=\operatorname{diag}(\lambda_1,\ldots,\lambda_n),\quad\lambda_i\in\mathbb R.

注意这里的 QQ 是完整的 n×nn\times n 正交矩阵,因而左右乘积都为单位矩阵();不能把上一讲只有正交列的高瘦矩阵直接当作可逆矩阵。

课堂交换矩阵的两个特征向量长度都是 2\sqrt2,故()

Q=12(111−1),S=Q(100−1)QT.Q=\frac1{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix},\qquad S=Q\begin{pmatrix}1&0\\0&-1\end{pmatrix}Q^{\mathsf T}.

从右向左读:QTQ^{\mathsf T} 提取输入沿各个正交特征方向的分量();Λ\Lambda 缩放或反转各分量;QQ 把它们组合回原坐标。这也可以写成补充的秩一展开

S=∑i=1nλiqiqiT.S=\sum_{i=1}^n\lambda_iq_iq_i^{\mathsf T}.

每个 qiqiTq_iq_i^{\mathsf T} 是到一条特征直线的正交投影,连接了上一讲的投影与本讲的特征值()。下一讲再加上所有 λi>0\lambda_i>0,就进入正定矩阵;第6讲会把这种「正交方向加伸缩量」的结构推广到任意矩形矩阵的 SVD。

本讲至此完成的是从用途、相似变换、课堂例子到谱分解形式的推理链()。谱定理的完整存在性证明没有在课堂展开,正文的教材补充不应被误记成老师当场完成的证明。

核对与补充说明

字幕 ; 板书核对 S=QΛQᵀ;教材 I.7 印刷44–45 / PDF58–59 目视核对。秩一投影读法为跨讲补充。

带走这几点
  • 实对称矩阵有正交谱分解,Q的列是单位特征向量。

  • 谱分解把上一讲的正交基、投影和本讲的伸缩连接起来。

CLOSE THE LOOP

合上讲义,还能讲清楚吗?

用几道问题,检查你是否掌握了这一讲的关键区别。

概念索引 · 中英术语对照
特征向量 eigenvector

满足 Ax=λx 的非零向量;同一个方向的非零倍数仍是特征向量。

特征值 eigenvalue

矩阵沿特征向量方向作用的标量系数,可为零、负数或复数。

特征空间 eigenspace

N(A−λI),包含零向量的线性子空间;其非零元素才称特征向量。

相似矩阵 similar matrices

由 B=M⁻¹AM、可逆M连接的矩阵,代表换坐标后的同一线性作用。

特征多项式 characteristic polynomial

det(λI−A);其根按重数给出特征值,使用det(A−λI)只差一个整体符号。

迹 trace

主对角元素之和,等于全部特征值按代数重数计的和。

可对角化 diagonalizable

存在完整特征基,使 A=XΛX⁻¹;需说明使用实数域还是复数域。

代数重数 algebraic multiplicity

特征值作为特征多项式根的重复次数。

几何重数 geometric multiplicity

对应特征空间的维数,不超过代数重数。

缺陷矩阵 defective matrix

没有完整特征基,无法对角化的矩阵。

谱定理 spectral theorem

本讲的实对称版本:S可写成QΛQᵀ,Λ实对角、Q正交。

矩阵指数 matrix exponential

由 I+tA+t²A²/2!+… 定义,给出线性常系数微分系统的演化。

共轭转置 conjugate transpose

先转置再对元素取复共轭,记作*;处理复特征向量的内积时使用。

学习整理 · 原课:MIT OpenCourseWare / Gilbert Strang (B站 BV1oDdKYtEwy) · 教材:Linear Algebra and Learning from Data