目录 1.1 矩阵和向量基础.. 2 1.2 正定阵，非负定阵和投影阵。.·」 9 1.3 矩阵的因子分解·. 13 1.4分块矩阵 16 1.5矩阵的广义逆 18 1.6矩阵的拉直运算.. 21 1.7矩阵的微商和变换的雅可比 Previous Next First Last Back Forward 1
目录 1.1 矩阵和向量基础 . . . . . . . . . . . . . . . . . 2 1.2 正定阵, 非负定阵和投影阵 . . . . . . . . . . . 9 1.3 矩阵的因子分解 . . . . . . . . . . . . . . . . . 13 1.4 分块矩阵 . . . . . . . . . . . . . . . . . . . . 16 1.5 矩阵的广义逆 . . . . . . . . . . . . . . . . . . 18 1.6 矩阵的拉直运算 . . . . . . . . . . . . . . . . . 21 1.7 矩阵的微商和变换的雅可比 . . . . . . . . . . 25 Previous Next First Last Back Forward 1
1.1 矩阵和向量基础 多元数据常用矩阵和向量来表示，本讲我们回顾一下基础的矩阵 代数.本节小写黑体字母表示向量，如x:大写黑体字母表示矩阵，如 X 一.向量 。n维列向量：X'=x1,,x ·长度：xl=Vc子+…+x明 ·x和y的夹角：cos(O)=xi=xi x'y <X,y> ·向量x在y上的投影=务y=光六=xos(O)六= y(yy)-yx=Px,其中0为x和y的夹角.P,=y(yy)-y 称为投影阵 Previous Next First Last Back Forward 2
1.1 矩阵和向量基础 多元数据常用矩阵和向量来表示, 本讲我们回顾一下基础的矩阵 代数. 本节小写黑体字母表示向量, 如 x; 大写黑体字母表示矩阵, 如 X. 一. 向量 • n 维列向量: x ′ = [x1, . . . , xn] • 长度: ∥x∥ = √ x 2 1 + · · · + x2 n • x 和 y 的夹角: cos(θ) = x′y ∥x∥∥y∥ = <x,y> ∥x∥∥y∥ • 向量 x 在 y 上的投影 = x′y y′y y = <x,y> ∥y∥ y ∥y∥ = ∥x∥cos(θ) y ∥y∥ = y(y ′y) −1y ′x = Pyx, 其中 θ 为 x 和 y 的夹角. Py = y(y ′y) −1y ′ 称为投影阵. Previous Next First Last Back Forward 2
向量集x1,·,x,线性相关(linearly dependent):存在不全为 零的常数c1,·,Cp使得 C91x1十·+CpXp=0 如果不存在满足上式的常数c1,,Cp,则称向量集x1,·,x线 性无关(linearly independent). 一任何含有零向量的向量集总是线性相关的 -向量集x1,,x知线性无关的充要条件是：如果一组常数 C1,,Cp使得C1x1+…十Cpxp=0,则必有c1=…=Cp=0. 一设x1,,x知是非零向量，它们线性相关的充要条件是：存在i, 使得 xi =b1x1+...+bi-1xi-1+bi+1xi+1+..+bpxp 其中b1,·,bp为常数 Previous Next First Last Back Forward 3
• 向量集 x1, . . . , xp线性相关(linearly dependent): 存在不全为 零的常数 c1, . . . , cp 使得 c1x1 + · · · + cpxp = 0 如果不存在满足上式的常数 c1, . . . , cp, 则称向量集 x1, . . . , xp线 性无关(linearly independent). – 任何含有零向量的向量集总是线性相关的 – 向量集 x1, . . . , xp 线性无关的充要条件是: 如果一组常数 c1, . . . , cp 使得 c1x1+· · ·+cpxp = 0, 则必有 c1 = · · · = cp = 0. – 设 x1, . . . , xp 是非零向量, 它们线性相关的充要条件是: 存在 i, 使得 xi = b1x1 + · · · + bi−1xi−1 + bi+1xi+1 + · · · + bpxp 其中 b1, · · · , bp 为常数. Previous Next First Last Back Forward 3
称R”的子集H为幾性空间，如果 (1)对任意的x∈H,y∈H必有x+y∈H,以及 Definition (2)cx∈H对一-切实数c成立. ·{x=[x1,,xnJ'∈R"z1+…+xn=0}为Rm的线性子空 间 。对给定的x∈R”,所有正交于x的向量构成线性空间 ·给定”中的一些向量x1,,x,令 C(x,xx)=(∑cxlC,,c)'ER™y 则C(x1,·,xk)为线性空间，称为是x1,·,xk所张成的线 性空间。 Previous Next First Last Back Forward 4
称 R n 的子集 H 为线性空间, 如果 (1) 对任意的 x ∈ H, y ∈ H 必有 x + y ∈ H, 以及 (2) cx ∈ H 对一切实数 c 成立. Definition • {x = [x1, . . . , xn] ′ ∈ R n |x1 + · · · + xn = 0} 为 R n 的线性子空 间 • 对给定的 x ∈ R n , 所有正交于 x 的向量构成线性空间 • 给定 R n 中的一些向量 x1, . . . , xk, 令 L(x1, . . . , xk) = { ∑k i=1 cixi|(c1, . . . , ck) ′ ∈ R n } 则 L(x1, . . . , xk) 为线性空间, 称为是 x1, . . . , xk 所张成的线 性空间. Previous Next First Last Back Forward 4
·n×p维矩阵A=[x1,,x]的列向量生成的线性空间记为 C(A).可以证明Rank(A)=dim(C(A) ·设H和G是两个线性子空间，若对任意的a∈H,b∈G, 有a'b=0,则称H和G正交，记作H⊥G.进一步，若 H+G=R",则称G为H的正交补空间，记作G=H+. -若A为投影阵，则C(A)与C(I-A)互为正交补空间. -A为任意矩阵，则C(A)=C(AA),C(A)=C(A'A) ·(零空间)称线性子空间N(A)={xAx=0}为矩阵A的零 空间.N(A)是A零特征根对应的特征向量所张成的线性空间. 从而 dim(N(A)+ramk(A)=q(A的列数) 易知N(A'A)=N(A),N(AA)=N(A). Previous Next First Last Back Forward 5
• n × p 维矩阵 A = [x1, . . . , xp] 的列向量生成的线性空间记为 L(A). 可以证明 Rank(A) = dim(L(A)). • 设 H 和 G 是两个线性子空间, 若对任意的 a ∈ H, b ∈ G, 有 a ′b = 0, 则称 H 和 G正交, 记作 H ⊥ G. 进一步, 若 H + G = R n , 则称 G 为 H 的正交补空间, 记作 G = H ⊥. – 若 A 为投影阵, 则 L(A) 与 L(I − A) 互为正交补空间. – A 为任意矩阵, 则 L(A) = L(AA′ ), L(A ′ ) = L(A ′A). • (零空间）称线性子空间 N (A) = {x|Ax = 0} 为矩阵 A 的零 空间. N (A) 是 A 零特征根对应的特征向量所张成的线性空间. 从而 dim(N (A)) + rank(A) = q(A的列数) 易知 N (A ′A) = N (A), N (AA′ ) = N (A ′ ). Previous Next First Last Back Forward 5