方程组的几何解释
二元一次方程组:
{2x−y=0−x+2y=3
可以写成矩阵形式:
[2−1−12][xy]=[03]
更进一步抽象:
Ax=b
![行图像](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
列的线性组合:
x[2−1]+y[−12]=[03]
![列图像](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
对任何 b,能否求解 Ax=b
也就是,列的线性组合能否覆盖整个空间
矩阵右乘一个向量表示列的线性组合
[2153][12]=1[21]+2[53]=[127]
矩阵消元
高斯消元过程演示:
⎣⎢⎡1302841112122⎦⎥⎤→⎣⎢⎡100224121262⎦⎥⎤→⎣⎢⎢⎡10022012526−10⎦⎥⎥⎤
方框框出来的为每一步消元得到的主元 pivot,主元不能为 0,如果为 0,则与下面的非 0 元素作行交换
虚线左边的是增广矩阵 augmented matrix,相当于新增加的一列
最后进行回代即可解决
消元的目的是从 A 得到 U(上三角矩阵)
一个矩阵左乘一个向量表示行的线性组合,而每个消元的过程就是矩阵的行变换,故每个消元过程可以用原始矩阵左乘一个矩阵表示,如:
⎣⎢⎡1−30010001⎦⎥⎤⎣⎢⎡130284111⎦⎥⎤=⎣⎢⎡100224121⎦⎥⎤
第一个矩阵就是一个消元矩阵,记作 E21
所以例子的消元过程为:
E32(E21A)=U
矩阵乘法中括号可以移动,故整个过程可以用一个矩阵表示
单位矩阵:
[1001]
置换 permutation矩阵:
[0110]
某个矩阵左乘该矩阵,表示置换其两行;
某个矩阵右乘该矩阵,表示置换其两列;
逆 inverse:如何将 U 还原为 A
⎣⎢⎡130010001⎦⎥⎤⎣⎢⎡1−30010001⎦⎥⎤=⎣⎢⎡100010001⎦⎥⎤
表示为 E−1E=I
乘法和逆矩阵
两个矩阵相乘 AB=C:
- 新矩阵中的某个元素 c34= (row 3 of A)⋅(col 4 of B) =∑k=1na3kbk4
- C 的列是 A 的列的线性组合
- C 的行是 B 的行的线性组合
- AB = A 各列与 B 各行乘积之和
- 矩阵分块
逆 inverse:
A−1A=I=AA−1
如果左逆存在,则称该矩阵为可逆的 invertible或非奇异的 nonsingular
如果可以找到一个非零向量 x,使得 Ax=0,则该矩阵是不可逆的
高斯-若尔当 Gauss-Jordan(同时处理两个方程组)
⎩⎪⎪⎪⎨⎪⎪⎪⎧[1237][ab][10][1237][cd][01]→[12371001]→[10311−201]→[10017−2−31]
整个过程就是 AI→IA−1
简单证明:E[AI]=[IA−1]
矩阵 A 的 LU 分解
(AB)(B−1A−1)=I
(AA−1)T=(A−1)TAT=(AT)−1AT
没有行交换的一个消元过程:E21A=U
[1−101][2817]=[2013]
两边左乘 E21 的逆,就是分解过程 A=LU:
[2817]=[1401][2013]
其中 L 是下三角矩阵
有时可以更进一步分解得到 LDU,D 为对角矩阵 Diagonal matrix:
[1401][2003][10211]
为什么 L 比 E32E21 好?
E=⎣⎢⎡10001−5001⎦⎥⎤⎣⎢⎡1−20010001⎦⎥⎤=⎣⎢⎡1−21001−5001⎦⎥⎤
L=⎣⎢⎡120010001⎦⎥⎤⎣⎢⎡100015001⎦⎥⎤=⎣⎢⎡120015001⎦⎥⎤
观察可得,E 中有 -2 和 -5 相乘得到的 10,而 L 中不存在未出现的数
如果没有行交换,消元所用的乘数全部记录在 L 中,即 A 的信息全部记录在 L 和 U 中
对于 n×n 的矩阵 A,分解需要 n3 次操作
对于单位矩阵所有经过置换得来的置换矩阵,构成一个群,其两两乘积也在这个群中,
置换矩阵的性质:逆等于其转置
转置、置换、向量空间
有行交换的消元:PA=LU,其中 P 为置换矩阵,即行重新排列了的单位矩阵,对于 n×n 的矩阵有 n! 个,P−1=PT
转置 transpose:(AT)ij=Aji
对称矩阵 symmetric matrix:AT=A
定理:RTR 是对称的
证明:(RTR)T=RTR
向量空间:R2 指所有二维向量,也可称为“xy 平面”,且其中所有向量的线性组合也在这个空间内(对线性组合封闭)
R2 的子空间 subspace
- R2 本身
- 所有穿过原点的线(不同于 R1)
- 零向量
从矩阵中构造子空间:列向量的所有线性组合构成一个子空间,称作列空间 C(A)
列空间和零空间
对于两个子空间 S 和 T,S∩T 也是一个子空间
从线性方程组的角度 Ax=b:
⎣⎢⎢⎢⎡123411112345⎦⎥⎥⎥⎤⎣⎢⎡x1x2x3⎦⎥⎤=⎣⎢⎢⎢⎡b1b2b3b4⎦⎥⎥⎥⎤
一般情况下这种方程组无解,因为列空间无法填充整个向量空间,即有些向量 b 不会落在该子空间内
所以线性方程组有解的充要条件是 b 在列空间内
该矩阵中的第三列没有作出任何贡献,可以去掉,其它两列称为主列
A 的零空间 nullspace是 Ax=0 的解,例如上述矩阵的零空间为 k(1,1,−1)T
定理:零空间是子空间
证明:如果 Av=0 且 Aw=0,则 A(v+w)=0
求解 Ax=0、主变量、特解
进行消元:
A=⎣⎢⎡1232462682810⎦⎥⎤→⎣⎢⎡100200220240⎦⎥⎤
矩阵的秩 rank = 主元的个数 = 自由变量的个数
主元所在的列为主列,其它的列为自由列,自由列表示的变量为自由变量
取线性无关的自由变量,回代得到主变量
x=c⎣⎢⎢⎢⎡−2100⎦⎥⎥⎥⎤+d⎣⎢⎢⎢⎡20−21⎦⎥⎥⎥⎤
简化行阶梯形式 reduced row echelon form:主元上下全为 0 且主元为 1
⎣⎢⎡100200010−220⎦⎥⎤
该形式可以得到主行和主列,主行和主列构成一个单位矩阵,自由列和主行也构成一个矩阵。
可以观察到,零解也存在这一个单位矩阵和那个矩阵的相反数,即 rref 告诉了我们特解的性质
用矩阵表达 Rx=0,RN=0:
R=[I0F0]
N=[−FI]
可解性和解的结构
Ax=b 的可解的条件(两个条件是等价的):
- b 在 C(A) 中
- 如果 A 的行的线性组合得到 0,则 b 的相同组合也必须得到 0
找到 Ax=b 的全部解:
- 特解:把所有自由变量设为 0,求解主变量(Axp=b)
- 通解:零空间(Axn=0)
- 解 = 特解 + 通解(A(xp+xn)=b)
![通解和特解的图像](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
m×n 的矩阵,秩为 r,当然,r≤m,r≤n
- 列满秩(r=n<m),R=[I0]此时只有 1 或 0 个解
- 行满秩(r=m<n),R=[IF] 必然有解
- r=m=n,R=I,1 个解
线性相关性、基、维数
如果向量 v1,v2,⋯,vn 没有线性组合能得到 0(除了 c = 0),则该向量组线性无关 independent
和矩阵的关系:若 v1,v2,⋯,vn 是 A 的列向量,如果 A 的零空间只有零向量,则其线性无关;反之,则线性相关
v1,v2,⋯,vn 生成 span 了一个空间:该空间由那些向量的所有线性组合构成
空间的基 basis 是一系列向量 v1,v2,⋯,vn,满足
给定一个空间,其每一组基向量数目相同(空间的维度 dimension)
A 的秩 = 主列数 = C(A) 的维度
N(A) 的维度 = 自由变量数 = n−r
四个基本子空间
- 列空间 C(A),在 Rm 中
- 零空间 N(A),在 Rn 中
- 行空间 = 行的所有线性组合 = AT 的列的所有线性组合,在 Rm 中
- AT 的零空间 = N(AT),叫做左零空间,在 Rn 中
![四个子空间](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
在高斯-若尔当消元法中,列空间改变了,但行空间没有改变
rref[Am×nIm×n]→[Rm×nEm×n],即 E 将行变换记录了下来
新的向量空间:所有 3×3 的矩阵,即把矩阵看成向量(因为其能够数乘和相加),实质是把 Rn 变成 Rn×n
其子空间:
矩阵空间、秩 1 矩阵、小世界图
3×3 的矩阵空间 M,其维度为 9,其一个子空间 S 由对称矩阵组成,S 的维度为 6
S∩U=D,维度为 3;S+U 的维度为 9
可以得到:对于两个子空间,其维度之和 = 相交得到的空间的维度 + 相加得到的空间的维度
对于微分方程
dx2d2y+y=0
y=c1cosx+c2sinx
其中 cosx 和 sinx 都是一组基,尽管是函数,但因为也可以做加法和数乘,故可以看做向量
对于秩为 1 的矩阵,可以写成一行乘一列的形式(A=uvT)
[1248510]=[12][145]
更一般地说,一个秩为 4 的矩阵可以被分解为 4 个秩为 1 的矩阵(泛化的基向量),这些矩阵不构成一个子空间
向量 v=(v1,v2,v3,v4)T,v1+v2+v3+v4=0
将其构造为矩阵 [1111] 的零空间
图和网络
关联矩阵:如果图中两结点有有向边相连,则该行中结点的值为 -1 和 1
⎣⎢⎢⎢⎢⎢⎡−10−1−101−10000110−100011⎦⎥⎥⎥⎥⎥⎤
注意到前三行线性相关,说明图中存在无向回路
而该矩阵的零空间则表明结点电势都是由一个常数决定的
其左零空间表示为:
−y1−y3−y4y1−y2y2+y3−y5y4+y5=0=0=0=0
![电流网络图](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
该空间的两组基:
⎣⎢⎢⎢⎢⎢⎡11−100⎦⎥⎥⎥⎥⎥⎤,⎣⎢⎢⎢⎢⎢⎡001−11⎦⎥⎥⎥⎥⎥⎤
表示电路中的两个回路,两者相加则是大回路
对于行空间,主列表示的边形成一个生成树
维度公式的意义:N(AT) 的维度 = m−r,即 回路数 = 边数 - (节点数- 1)
改写以下得到二维的欧拉公式:结点数 - 边数 + 回路数 = 1
若 x=x1,x2,x3,x4 表示结点处电势 → 其与关联矩阵相乘可得到电势差 → 通过欧姆定律,得到每条边的电流 → ATy=0 KCL
更进一步得到平衡公式:ATCAX=f,其中 C 为与欧姆定律有关的常数,f 为外加电流
正交向量和子空间
若向量 xTy=0,则这两个向量正交 orthogonal
证明勾股定理:
∥x∥2+∥y∥2=∥x+y∥2
即证:
xTx+yTy=(x+y)T(x+y)
展开得到:
0=2xTy
如果 S 中的每个向量都和 T 中的每个向量正交,则子空间 S 和 T 正交
行空间和零空间正交,列空间和左零空间正交,即实际上将某个空间分成了两个正交的子空间
将零空间和行空间称作空间 Rn 的正交补 orthogonal complements
对于 Ax=b 无解的情况,m>n,即数据过多了,需要将 A 转化为一个可逆的矩阵,方法是两边同乘 AT,得到
ATAx^=ATb
N(ATA)=N(A),ATA 的秩 = A 的秩
子空间投影
![b向a作投影](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
x 满足 aT(b−xa)=0,解得
x=aTaaTb
p=ax=aaTaaTb
所以投影 p=Pb,其中 P 是个矩阵,P=aTaaaT
- C(P)是一条经过 a 的线
- P 的秩为 1
- 对称 PT=P
- 重复投影不变 P2=P
为什么要做投影?
- Ax=b 可能无解
- 转而求解 Ax^=p,p 为 b 向列空间的投影
b 向平面作投影,e=b−Ax^(e 在 N(AT) 中,即 e 与 C(A) 正交)垂直于平面,即
{a1T(b−Ax^)=0a2T(b−Ax^)=0
写成矩阵的形式:
AT(b−Ax^)=0
进一步得出向矩阵投影的投影矩阵:
P=Ax^=A(ATA)−1AT
投影矩阵、最小二乘
最小二乘法 least squares 拟合直线
![图像](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
最小化 ∣Ax−b∣=∣e∣2
定理:如果 A 各列线性无关,则 ATA 可逆
证明:假设 ATAx=0
两边同乘 xT,得到(Ax)T(Ax)=0,即 Ax=0
故 x=0
如果各列标准正交 orthonormal vectors,则其线性无关
正交矩阵、Schmidt 正交化
标准正交向量组:qiTqj={0,i=j1,i=j
正交矩阵(各列标准正交):QTQ=I
如果 Q 是方阵,则有性质:QT=Q−1
Q 的投影矩阵的性质:
P=QQT,如果 Q 为方阵,则进一步简化为 I
对于公式 ATAx^=ATb,若 A=Q
简化为 x^=QTb,即 xi^=qiTb,所求的 x^ 就是一个数量积
Gram-Schmidt 正交化
- 线性无关的向量 a,b
- 正交化 A,B:B=b−ATAATbA(若有第三个向量 c,则 C=c−ATAATcA−BTBBTcB
- 单位化 q1=∣A∣A,q2=∣B∣B
从消元的角度审视 Gram-Schmidt 正交化:
A=QR
R 是个上三角矩阵,因为
[ab]=[q1q2][a1Tq1a1Tq2∗∗]
其中 a1Tq2=0,因为构造出的 q2 垂直于原先的向量
行列式及其性质
行列式 determinants:把尽可能多的关于矩阵的信息包含在一个数里
性质:
- detI=1
- 交换行:反转行列式的符号
-
-
∣∣∣∣∣tactbd∣∣∣∣∣=t∣∣∣∣∣acbd∣∣∣∣∣
-
∣∣∣∣∣a+a′cb+b′d∣∣∣∣∣=∣∣∣∣∣acbd∣∣∣∣∣+∣∣∣∣∣a′cb′d∣∣∣∣∣
- 两行相等 → 行列式为 0
- 从某一行减去另一行的 k 倍不改变行列式
- 有一行全是 0 → 行列式为 0
- 上三角矩阵的行列式的值等于对角线上元素的乘积
- 可逆矩阵的行列式为 0
- detAB=detA×detB
detA−1=detA1
- detAT=detA
行列式公式、代数余子式
行列式公式:
detA=n!∑±a1αa2βa3γ⋯anω,(α,β,γ,⋯ω)=(1,2,⋯,n)的排列
aij 的代数余子式 cofactor Cij 为 (−1)i+jdet除去第 i 行和第 j 列的矩阵
代数余子式公式:
detA=a11C11+a12C12+⋯+a1nC1n
克拉默法则、逆矩阵、体积
2×2矩阵的逆矩阵公式:
[acbd]−1=ad−bc1[d−c−ba]
广泛的版本:C为代数余子式矩阵
A−1=detA1CT
克拉默法则 Cramer's rule:
xi=detAdetBi
Bi 为将 Ai 的第 i 列换成 b 得到的矩阵
克拉默法则并不适合解方程,只是告诉我们可以使用代数式子而不是一个算法来解方程
几何解释:A 的行列式的体积 = 箱子的体积
例:求解顶点坐标分别为 (x1,y1)、(x2,y2)、(x3,y3) 的三角形面积 =
21∣∣∣∣∣∣∣x1x2x3y1y2y3111∣∣∣∣∣∣∣
特征值、特征向量
特征向量 eigenvector x 满足:Ax 平行于 x,即
Ax=λx
λ 为特征值 eigenvalue
如果 A 不可逆,则其中一个特征值为 λ=0
对于投影矩阵,如果向量 x:
- 在投影平面上,则特征值为 1
- 垂直于投影平面,特征值为 0
特征值的和 = 对角线元素和(迹 trace)
求解方法:Ax=λx=λIx,移项后得到 (A−λI)x=0
即可以先通过求解 det(A−λI)=0 求出 λ
[0−110]
特征值为 ±i
如果矩阵是对称的或者接近对称的,特征值就是实数;如果越不对称(反对称),特征值是纯虚数
[3013]
只有一个特征向量,是退化矩阵
对角化、A 的幂
如果 A 中有 n 个线性无关的特征向量,将它们放在 S 的列上,则
AS=[λ1x1…λnxn]=[x1…xn]⎣⎢⎡λ10000λn⎦⎥⎤=SΛ
A 对角化公式:S−1AS=Λ
另一种表示形式:
A=SΛS−1
矩阵幂:Ak=SΛkS−1
定理:如果所有的∣λi∣<1,当 k→∞ 时,Ak→0
- 如果所有的 λ 不同,则 A 必然有 n 个线性无关的向量,即可对角化
- 如果 λ 有相同的,则可能有 n 个线性无关的向量
差分方程:uk+1=Auk,解得 uk=Aku0=SΛ100c
例:斐波那契数列,令
uk=[Fk+1Fk],uk+1=[1110]uk
特征值
λ1=21+5,λ2=21−5
F100≈c1(21+5)100
特征向量
x1=[λ11],x2=[λ21]
根据初始值确定常数:
c1x1+c2x2=u0=[10]
微分方程、exp(At)
详见微分方程
对其中解耦合部分的作一些更详细的解释:
dtdu=Au
所谓的解耦合,就是矩阵 A 的对角化,故令 u=Sv
代入得到 Sdtdv=ASv
最终得到:
dtdv=Λv
最终答案:
v(t)=eΛtv(0)
u(t)=SeΛtS−1u(0)
马尔科夫矩阵、傅里叶级数
马尔科夫矩阵 Markov matrix:和概率思想有关联
性质:
- 一个特征值为 1
- 其它所有特征值 ∣λi∣<1
- 稳态为 c1x1>0,λ1=1
A−I 是奇异的,因为 (1,1,1) 在 N((A−I)T) 中,故行线性相关
A 和 AT 的特征值相同
uk+1=Auk
A 是马尔科夫矩阵
人口迁移问题
向正交基 q1,…,qn 的投影:
任何向量 v=x1q1+x2q2+…+xnqn
得到 x1 的方法——同乘 q1T:q1Tv=x1
表示成矩阵:Qx=v
变化得到:
x=Q−1v=QTv
两个向量正交:
vw=i=1∑nviwi=0
两个函数正交:
ftg=∫02πf(x)g(x)dx
从此引出傅里叶级数
对称矩阵及正定性
实对称矩阵:
- 特征值为实数
- 特征向量垂直 perpendicular
证明:特征值为实数:
Ax=λx⟹Axˉ=λˉxˉ⟹xˉTA=xˉTλˉ
∵xˉTAx=λxˉTx
∴λxˉTx=λˉxˉTx⟹λˉ=λ
其中 xˉTx>0,因为其表示复数向量长度
一般情况:A=SΛS−1
对称矩阵:
A=QΛQ−1=QΛQT
每一个对称矩阵都是一些相互垂直的投影矩阵的组合
主元的符号和特征值的符号相同,主元的乘积 = 特征值的乘积 = 行列式
应用:因为难以计算高阶矩阵的特征值,但计算主元比较容易,通过将矩阵平移 k 个单位矩阵来得知有多少特征值大于 k,有多少小于 k
正定矩阵 positive definite matrix:对称矩阵
复数矩阵、快速傅里叶变换
复数向量求模长:∣z∣2=zˉTz=zHz,H 是埃尔米特 Hermitian
内积也改变了:yHx
复数矩阵的对称:A=AˉT
正交矩阵(酉矩阵 unitary):QHQ=I
最著名的复矩阵,也是酉矩阵——傅里叶矩阵:
Fn=⎣⎢⎢⎢⎢⎢⎢⎡111⋮11ww2⋮wn−11w2w4⋮w2(n−1)⋯⋯⋯⋱⋯1wn−1w2(n−1)⋮w(n−1)2⎦⎥⎥⎥⎥⎥⎥⎤
(Fn)ij=wij,i,j=0,⋯,n−1
其中 wn=1,即
w=ei2π/n
n 点的离散傅里叶变换:
- 傅里叶变换:n 维向量左乘矩阵 Fn
- 傅里叶逆变换:n 维向量左乘矩阵 Fn−1,因为是正交矩阵,所以逆矩阵很好求
FFT:
矩阵可以分解为一系列稀疏矩阵
注意到:w64=w32之类的
两个矩阵之间的关联:
F64=[IID−D][F3200F32]P
P 矩阵的作用是将奇数列和偶数列重新排列,D 是对角矩阵,对角线上元素为 1,w1,w2,⋯,w31
最后得到该变换的时间复杂度:21nlog2n
正定矩阵、最小值
正定性最重要的定义(通常一推三):xTAx>0
二次型:xTAx=ax12+2bx1x2+cx22>0
对于微积分来说,f(x) 一阶导数为 0,极小值和二阶导数为正相关联
在线性代数中,f(x1,x2,…,xn) 极小值存在的条件是二阶导数矩阵是正定的
二次型配方后和高斯消元的关系:
[26620]=[1301][2062]
二次型的配方结果:
2(x+3y)2+2y2
平方项里边是消元的倍数因子,外边的系数是主元,这就是为什么正主元得到的是平方和
主轴定理:A=QΛQT,二次型画成的图形取某一高度处,得到一个椭圆体,特征值说明主轴的长度,特征向量说明主轴的方向
相似矩阵、若尔当形
正定矩阵来自最小二乘法,关键在于 ATA
- 正定矩阵的逆矩阵也是正定矩阵
- 如果 A 和 B 都是正定矩阵,则 A+B 也是正定矩阵
证明:ATA 是正定的
xT(ATA)x=(Ax)T(Ax)=∣Ax∣2>0
如果有某个矩阵 M,使得 B=M−1AM,则称矩阵 A 和 B 相似 similar
例:S−1AS=Λ,则 A 和 Λ 相似
证明:相似矩阵有相同的特征值
Ax=λx
(M−1AM)x=λM−1x
BM−1x=λM−1x
坏情况:有相同的特征值
家族中只有一个成员:
[4004]
较大的家族:
[4014]
该矩阵是若尔当标准型 Jordan form:最简洁,最接近对角阵的一个矩阵
若尔当块 Jordan block:只有一个特征向量
⎣⎢⎢⎢⎡λ10001λ20001λ3………1λn⎦⎥⎥⎥⎤
故以下两个矩阵不相似:
⎣⎢⎢⎢⎡0000100001000000⎦⎥⎥⎥⎤⎣⎢⎢⎢⎡0000100000000010⎦⎥⎥⎥⎤
每个方阵 A 都相似于一个若尔当矩阵:
J=⎣⎢⎢⎡J1J2J3⎦⎥⎥⎤
若尔当分块的个数 = 特征向量数
奇异值分解
奇异值分解 SVD
![正交基变换](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![奇异值分解](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
A[v1v2…vr]=[u1u2…ur]⎣⎢⎡σ1σ2⋱⎦⎥⎤
写成矩阵:
AV=UΣ
目标:寻找行空间的一组标准正交基 V,列空间的一组标准正交基 U,有点像对角化 A
对称矩阵是一种特例:U 和 V 都是 Q
A=UΣV−1
ATA=VΣ2VT 是正定矩阵,由此求出 V
类似的,AAT=UΣ2UT,由此求出 U
或 ui=σiAvi
如果行空间的特征向量不够,就使用零空间的向量
[4836]=51[122−1][125000][0.80.60.6−0.8]
真正的工作:在四个子空间中选出合适的基:
- v1,…,vr 行空间的正交基
- u1,…,ur 列空间的正交基
- vr+1,…,vn 零空间的正交基
- ur+1,…,un 左零空间的正交基
线性变换及对应矩阵
线性变换 T 的两大条件:
- T(v+w)=T(v)+T(w)
- T(cv)=cT(v)
线性变换的本质:背后的矩阵
如果知道对于所有的基 v1,…,vn 的线性变换 T(v1),…,T(vn),就可以知道对于所有输入 v 的线性变换 T(v)
坐标 coordinate来自于一组基
如果以特征向量为基,则得到对角矩阵
特殊的线性变换:求导数
基变换、图像压缩
傅里叶基:8×8
⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡11111111⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡1ww2w3w4w5w6w7⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤⋯
信号 → 基变换无损压缩得到系数 → 丢掉较小的系数有损压缩得到有很多 0 的系数 → 使用这些系数重构信号
小波 wavelet:
⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡11111111⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡1111−1−1−1−1⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡11−1−10000⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡000011−1−1⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡1−1000000⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤⋯
- p=Wc
- c=W−1p
好的基:
两组基构成的矩阵 A 和 B 的关系:B=M−1AM,M 是基变换矩阵
最完美的基:由特征向量构成的一组基
左右逆、伪逆
- 两边的逆:AA−1=I=A−1A,r=m=n 满秩
- 左逆:r=n<m
Aleft−1(ATA)−1ATA=I
AAright−1AT(AAT)−1=I
想要接近单位矩阵的投影矩阵:
- A(ATA)−1AT
- AT(ATA)−1A
找出伪逆的方法:A+=VΣ+UT
2020 视野下的线性代数
聚焦于矩阵的几种分解:
A=CR
A=LR
A=QR
S=QΛQT
A=XΛX−1
A=UΣVT
- 前三种分解是关于如何解方程的
- 后三种分解关系到特征值、特征向量、奇异值,从另一种方式研究问题
这些公式分别对应:
- 矩阵乘法
- 求解 Ax=b
- 最小二乘法
- 谱定理
- An,关注数据中重要的部分
- 非方阵数据中挑出重要部分和随机采样
Gil Strang's Final 18.06 Linear Algebra Lecture
2022.5.15 Gil Strang 退休了
![斯特朗教授把一生都献给了数学和教育事业](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![Thank you](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)