大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。
Jetbrains全系列IDE稳定放心使用
矩阵分析系统学习笔记
本系列所有文章来自东北大学韩志涛老师的矩阵分析课程学习笔记,系列如下:
矩阵分析 (一) 线性空间和线性变换
矩阵分析 (二) 内积空间
矩阵分析 (三) 矩阵的标准形
矩阵分析 (四)向量和矩阵的范数
矩阵分析 (五) 矩阵的分解
矩阵分析 (六) 矩阵的函数
矩阵分析 (七) 矩阵特征值的估计
矩阵分析 (八) 矩阵的直积
内积空间的基本概念
- 定义2.1:设 V V V是实数域 P P P上的线性空间,如果对于 V V V中任意两个元素 α \alpha α, β \beta β都有一个实数 ( α , β ) (\alpha, \beta) (α,β)与它们对应,并且满足下面的四个条件,则 ( α , β ) (\alpha,\beta) (α,β)称为元素 α \alpha α, β \beta β的内积:
1):对于任意的 α , β \alpha,\beta α,β:
( α , β ) = ( β , α ) (\alpha,\beta) = (\beta,\alpha) (α,β)=(β,α)
2):对于任意的 α , β , γ \alpha,\beta,\gamma α,β,γ:
( α + β , γ ) = ( α , γ ) + ( β , γ ) (\alpha+\beta,\gamma) = (\alpha, \gamma)+(\beta, \gamma) (α+β,γ)=(α,γ)+(β,γ)
3): ( k α , β ) = k ( α , β ) (k\alpha, \beta)=k(\alpha, \beta) (kα,β)=k(α,β)
4): ( α , α ) ≥ 0 (\alpha,\alpha) \geq 0 (α,α)≥0当且仅当 α = 0 \alpha=0 α=0时成立。
正交基与子空间的正交
在线性空间中可以找到一组基底,这组基底本身线性无关,且其他元素可以被它线性表达,在内积空间中,可以有进一步的结果,即可以找到标准正交基。
- 定义2.2:由正交的单位向量 α 1 , α 2 , ⋯ , α n \alpha_{1},\alpha_{2},\cdots,\alpha_{n} α1,α2,⋯,αn组成的基底叫作标准正交基,这时:
( α i , α j ) = { 1 , i = j , ( i , j = 1 , 2 , ⋯ , n ) 0 , i ≠ j \left(\boldsymbol{\alpha}_{i}, \boldsymbol{\alpha}_{j}\right)=\left\{\begin{array}{ll}{1,} & {i=j, \quad(i, j=1,2, \cdots, n)} \\ {0,} & {i \neq j}\end{array}\right. (αi,αj)={
1,0,i=j,(i,j=1,2,⋯,n)i=j
可以说任意一个 n n n维欧氏空间中都存在标准正交基。
- 施密特(Schmidt)正交化的方法求标准正交基:
设 α 1 , α 2 , ⋯ , α n \alpha_{1},\alpha_{2},\cdots , \alpha_{n} α1,α2,⋯,αn是 V V V的一个基地。则 α 1 , α 2 , ⋯ , α n \alpha_{1},\alpha_{2},\cdots , \alpha_{n} α1,α2,⋯,αn线性无关。
首先取 β 1 = α 1 \beta_{1}=\alpha_{1} β1=α1,然后从第二项开始,把前面的向量的分量减去:
β 2 = α 2 − k 21 β 1 \beta_{2}=\alpha_{2}-k_{21}\beta_{1} β2=α2−k21β1
使 β 2 \beta_{2} β2与 β 1 \beta_{1} β1垂直,如下图(2.1)所示:
由:
( α 2 − k 21 β 1 , β 1 ) = 0 (\alpha_{2}-k_{21}\beta_{1},\beta_{1})=0 (α2−k21β1,β1)=0
得:
k 21 = ( α 2 , β 1 ) ( β 1 , β 1 ) k_{21}=\frac{(\alpha_{2},\beta_{1})}{(\beta_{1},\beta_{1})} k21=(β1,β1)(α2,β1)
同样的设:
β 3 = α 3 − k 31 β 1 − k 32 β 2 \beta_{3 }=\alpha_{3}-k_{31}\beta_{1}-k_{32}\beta_{2} β3=α3−k31β1−k32β2
使 β 3 \beta_{3} β3与 β 1 \beta_{1} β1, β 2 \beta_{2} β2都垂直,即:
( β 3 , β 1 ) = ( β 3 , β 2 ) = 0 (\beta_{3},\beta_{1})=(\beta_{3},\beta_{2})=0 (β3,β1)=(β3,β2)=0
得:
k 31 = ( α 3 , β 1 ) ( β 1 , β 1 ) , k 32 = ( α 3 , β 2 ) ( β 2 , β 2 ) k_{31}=\frac{(\alpha_{3},\beta_{1})}{(\beta_{1},\beta_{1})},k_{32}=\frac{(\alpha_{3},\beta_{2})}{(\beta_{2},\beta_{2})} k31=(β1,β1)(α3,β1),k32=(β2,β2)(α3,β2)
由此做下去:
β n = α n − k n 1 β 1 − ⋯ − k n , n − 1 β n − 1 \beta_{n}=\alpha_{n}-k_{n1}\beta_{1}- \cdots – k_{n,n-1}\beta_{n-1} βn=αn−kn1β1−⋯−kn,n−1βn−1
k n i = ( α n , β i ) ( β i , β i ) , ( i = 1 , 2 , ⋯ , n − 1 ) k_{ni}=\frac{(\alpha_{n},\beta_{i})}{(\beta_{i},\beta_{i})},(i=1,2,\cdots,n-1) kni=(βi,βi)(αn,βi),(i=1,2,⋯,n−1)
最后把得到的向量 β 1 \beta_{1} β1, β 2 \beta_{2} β2, ⋯ \cdots ⋯, β n \beta_{n} βn单位化,即得到标准正交基。
正交
-
前面讨论的过渡矩阵:
( β 1 , β 2 , ⋯ , β n ) (\beta_{1},\beta_{2},\cdots,\beta_{n}) (β1,β2,⋯,βn)
= ( α 1 , α 2 , ⋯ , α n ) A =(\alpha_{1},\alpha_{2},\cdots,\alpha_{n})A =(α1,α2,⋯,αn)A
这里 A A A一定是可逆的,如果 α 1 , α 2 , ⋯ , α n \alpha_{1},\alpha_{2},\cdots,\alpha_{n} α1,α2,⋯,αn和 β 1 , β 2 , ⋯ , β n \beta_{1},\beta_{2},\cdots,\beta_{n} β1,β2,⋯,βn都是标准正交基,可以有进一步的结果,即 A A A是正交的矩阵。 -
定义2.3:如果任取 α ∈ V 1 \alpha \in V_{1} α∈V1, β ∈ V 2 \beta \in V_{2} β∈V2, ( α , β ) = 0 (\alpha,\beta)=0 (α,β)=0,则称 V 1 与 V 2 V_{1}与V_{2} V1与V2正交。
例如:
V 1 = { ( x 1 , x 2 , 0 ) ∣ x 1 , x 2 ∈ R } V_{1}=\{(x_{1},x_{2},0)| x_{1},x_{2} \in R\} V1={
(x1,x2,0)∣x1,x2∈R}
V 2 = { ( 0 , 0 , x 3 ) ∣ x 3 ∈ R } V_{2}=\{(0,0,x_{3})|x_{3} \in R\} V2={
(0,0,x3)∣x3∈R}
V 1 V_{1} V1与 V 2 V_{2} V2正交。
-
定义2.4:如果任取 β ∈ V 1 \beta \in V_{1} β∈V1, ( α , β ) = 0 (\alpha, \beta)=0 (α,β)=0,则称 α \alpha α与 V 1 V_{1} V1正交。(这里也就是说 α \alpha α与空间 V V V中所有向量正交。)
-
定理2.1:如果子空间 V 1 V_{1} V1与 V 2 V_{2} V2是正交的,则它们的和 V 1 + V 2 V_{1}+V_{2} V1+V2是直和。
正交补
- 定义2.5:如果 V V V中子空间 V 1 V_{1} V1与 V 2 V_{2} V2正交,并且:
V 1 + V 2 = V V_{1}+V_{2}=V V1+V2=V
则称 V 1 ( V 2 ) V_{1}(V_{2}) V1(V2)是 V 2 ( V 1 ) V_{2}(V_{1}) V2(V1)的正交补,记作:
V 1 = V 2 ⊥ , V 2 = V 1 ⊥ V_{1}=V_{2}^{\perp},V_{2}=V_{1}^{\perp} V1=V2⊥,V2=V1⊥
- 定理2.2: n n n维欧氏空间的任一子空间 V 1 V_{1} V1都有唯一的正交补。
点到子空间的距离与最小二乘法
-
证明欧氏空间中的一个向量 α \alpha α到一个子空间 W W W中的各个向量的距离也以垂线为最短:
设 β ∈ W \beta \in W β∈W而 α − β \alpha-\beta α−β不垂直于 W W W, α − γ ⊥ W \alpha-\gamma \perp W α−γ⊥W, γ ∈ W \gamma \in W γ∈W,则:
∣ α − β ∣ 2 = ∣ α − γ + γ − β ∣ 2 |\alpha-\beta|^{2} = |\alpha-\gamma + \gamma -\beta|^{2} \\ ∣α−β∣2=∣α−γ+γ−β∣2
= ∣ α − γ ∣ 2 + ∣ γ − β ∣ 2 ≥ ∣ α − γ ∣ 2 =|\alpha-\gamma|^{2}+|\gamma – \beta|^{2}\\ \geq |\alpha-\gamma|^{2} =∣α−γ∣2+∣γ−β∣2≥∣α−γ∣2 -
设 W = L ( α 1 , ⋯ , α s ) W=L(\alpha_{1},\cdots , \alpha_{s}) W=L(α1,⋯,αs),而 α ∈ V \alpha \in V α∈V, α ⊥ W \alpha \perp W α⊥W,容易看出:
α ⊥ W ⇔ α ⊥ α i ( i = 1 , 2 , ⋯ , s ) \alpha \perp W \Leftrightarrow \alpha \perp \alpha_{i} \quad(i=1,2, \cdots, s) α⊥W⇔α⊥αi(i=1,2,⋯,s) -
现在来看最小二乘法的问题:
解不相容的线性方程组 A X = b AX=b AX=b,这里 R ( A ) ≠ R ( A , b ) R(A) \neq R(A,b) R(A)=R(A,b),即方程组无解。现在找一个最小二乘解,也就是找一个近似程度最好的解。
设 A = ( α 1 , ⋯ , α n ) A=(\alpha_{1},\cdots,\alpha_{n}) A=(α1,⋯,αn),这里 α 1 , ⋯ , α n \alpha_{1},\cdots ,\alpha_{n} α1,⋯,αn是列向量,则:
A X = ( α 1 , ⋯ , α n ) ( x 1 ⋮ x n ) = ∑ i = 1 n x i α i A X=\left(\alpha_{1}, \cdots, \alpha_{n}\right)\left(\begin{array}{c}{x_{1}} \\ {\vdots} \\ {x_{n}}\end{array}\right)=\sum_{i=1}^{n} x_{i} \alpha_{i} AX=(α1,⋯,αn)⎝⎜⎛x1⋮xn⎠⎟⎞=i=1∑nxiαi
当 X X X的分量取遍所有值的时候,上面的表达式是:
α 1 , ⋯ , α n \alpha_{1},\cdots ,\alpha_{n} α1,⋯,αn
的任意组合,所以:
A X = L ( α 1 , ⋯ , α n ) = W AX=L(\alpha_{1},\cdots,\alpha_{n})=W AX=L(α1,⋯,αn)=W
而方程组无解意味着不存在一组 x 1 , ⋯ , x n x_{1},\cdots , x_{n} x1,⋯,xn使 A X = b AX=b AX=b,即 b b b不能被 α 1 , ⋯ , α n \alpha_{1},\cdots,\alpha_{n} α1,⋯,αn组合出来, b ∉ W b \notin W b∈/W。现在在 L ( α 1 , ⋯ , α n ) L(\alpha_{1},\cdots,\alpha_{n}) L(α1,⋯,αn)中找一个离 b b b最近的向量,即找一个 ∑ x i α i = β \sum x_{i}\alpha_{i}=\beta ∑xiαi=β,使:
b − β ⊥ W b-\beta \perp W b−β⊥W
而 b − β ⊥ W b-\beta \perp W b−β⊥W时这个距离最小,当 b − β ⊥ W b-\beta \perp W b−β⊥W时,
b − β ⊥ α i ( i = 1 , 2 , ⋯ , n ) b-\beta \perp \alpha_{i} (i=1,2,\cdots ,n) b−β⊥αi(i=1,2,⋯,n)
这里 b = β b=\beta b=β与 α i \alpha_{i} αi都是列向量。所以:
( b − β , α i ) = 0 (b-\beta ,\alpha_{i})=0\\ (b−β,αi)=0
即 α i T ( b − β ) = 0 \alpha_{i}^{T}(b-\beta)=0 αiT(b−β)=0,写在一起得:
( α 1 T α 2 T ⋮ α n T ) ( b − β ) = 0 , ( α 1 T α 2 T ⋮ α n T ) = A T , β = A X \left(\begin{array}{c}{\boldsymbol{\alpha}_{1}^{\mathrm{T}}} \\ {\boldsymbol{\alpha}_{2}^{\mathrm{T}}} \\ {\vdots} \\ {\boldsymbol{\alpha}_{n}^{\mathrm{T}}}\end{array}\right)(\boldsymbol{b}-\boldsymbol{\beta})=0, \left(\begin{array}{c}{\boldsymbol{\alpha}_{1}^{\mathrm{T}}} \\ {\boldsymbol{\alpha}_{2}^{\mathrm{T}}} \\ {\vdots} \\ {\boldsymbol{\alpha}_{n}^{\mathrm{T}}}\end{array}\right)=A^{\mathrm{T}}, \beta=AX ⎝⎜⎜⎜⎛α1Tα2T⋮αnT⎠⎟⎟⎟⎞(b−β)=0,⎝⎜⎜⎜⎛α1Tα2T⋮αnT⎠⎟⎟⎟⎞=AT,β=AX
所以最小二乘解是:
A T A X = A T b A^{T}AX=A^{T}b ATAX=ATb
正规矩阵
如果把数域扩大到复数,则可以仿照实数空间内积的定义,把内积推广到复数,但是要考虑到复数的特性。
- 定义2.6:设 V V V是复数域 C C C上的线性空间,如果对 V V V中的任意向量 α , β \alpha,\beta α,β,都有一个复数 α , β \alpha,\beta α,β与之对应,且满足如下条件,则 ( α , β ) (\alpha,\beta) (α,β)称为 V V V的内积。
-
( α , β ) = ( β , α ) (\alpha,\beta)=(\beta,\alpha) (α,β)=(β,α)
-
( α + β , γ ) = ( α , γ ) + ( β , γ ) (\alpha+\beta,\gamma)=(\alpha,\gamma)+(\beta,\gamma) (α+β,γ)=(α,γ)+(β,γ)
-
( k α , β ) = k ( α , β ) (k\alpha,\beta)=k(\alpha,\beta) (kα,β)=k(α,β)
-
( α , α ) ≥ 0 (\alpha,\alpha) \geq 0 (α,α)≥0,当且仅当 α = 0 \alpha=0 α=0时 ( α , α ) = 0 (\alpha,\alpha)=0 (α,α)=0
这时 V V V称为复内积空间或者酉空间,这里 ( β , α ) (\beta,\alpha) (β,α)是 β , α \beta,\alpha β,α的共轭,条件4)是保证 α , α \alpha,\alpha α,α是实数,否则可能会有 α ≠ 0 \alpha \neq 0 α=0,但是 ( α ⋅ α ) = 0 (\alpha \cdot \alpha)=0 (α⋅α)=0,如 α = ( 3 , 4 , 5 i ) \alpha=(3,4,5i) α=(3,4,5i)
-
定义2.7:设 A ∈ C n × n A \in C^{n \times n} A∈Cn×n且 A H A = A A H = E A^{H}A=AA^{H}=E AHA=AAH=E,则称 A A A为酉矩阵。这是实数空间正交矩阵的推广。
-
酉矩阵具有以下性质:
1) ∣ A ∣ = 1 |A|=1 ∣A∣=1;
2) A − 1 = A H A^{-1}=A^{H} A−1=AH, ( A − 1 ) H = ( A H ) − 1 (A^{-1})^{H}=(A^{H})^{-1} (A−1)H=(AH)−1;
3) A − 1 A^{-1} A−1也是酉矩阵,两个酉矩阵的乘积也是酉矩阵;
4) A A A的行(列)向量构成标准正交基。 -
定义2.8:设 A ∈ C n × n A \in C^{n \times n} A∈Cn×n,且 A H A = A A H A^{H}A=AA^{H} AHA=AAH,则 A A A称为正规矩阵。
我的微信公众号名称:深度学习与先进智能决策
微信公众号ID:MultiAgent1024
公众号介绍:主要研究分享深度学习、机器博弈、强化学习等相关内容!期待您的关注,欢迎一起学习交流进步!
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/180110.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...