矩阵分析 (二) 内积空间「建议收藏」

矩阵分析 (二) 内积空间「建议收藏」内积空间的基本概念定义2.1:设VVV是实数域PPP上的线性空间,如果对于VVV中任意两个元素α\alphaα,β\betaβ都有一个实数(α,β)(\alpha,\beta)(α,β)与它们对应,并且满足下面的四个条件,则(α,β)(\alpha,\beta)(α,β)称为元素α\alphaα,β\betaβ的内积:1):对于任意的α,β\alpha,\betaα,β:(α,β)=(β…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

矩阵分析系统学习笔记

本系列所有文章来自东北大学韩志涛老师的矩阵分析课程学习笔记,系列如下:
矩阵分析 (一) 线性空间和线性变换
矩阵分析 (二) 内积空间
矩阵分析 (三) 矩阵的标准形
矩阵分析 (四)向量和矩阵的范数
矩阵分析 (五) 矩阵的分解
矩阵分析 (六) 矩阵的函数
矩阵分析 (七) 矩阵特征值的估计
矩阵分析 (八) 矩阵的直积

内积空间的基本概念

  • 定义2.1:设 V V V是实数域 P P P上的线性空间,如果对于 V V V中任意两个元素 α \alpha α β \beta β都有一个实数 ( α , β ) (\alpha, \beta) (α,β)与它们对应,并且满足下面的四个条件,则 ( α , β ) (\alpha,\beta) (α,β)称为元素 α \alpha α, β \beta β的内积:

  1):对于任意的 α , β \alpha,\beta α,β:
( α , β ) = ( β , α ) (\alpha,\beta) = (\beta,\alpha) (α,β)=(β,α)
  2):对于任意的 α , β , γ \alpha,\beta,\gamma α,β,γ:
( α + β , γ ) = ( α , γ ) + ( β , γ ) (\alpha+\beta,\gamma) = (\alpha, \gamma)+(\beta, \gamma) (α+β,γ)=(α,γ)+(β,γ)
  3): ( k α , β ) = k ( α , β ) (k\alpha, \beta)=k(\alpha, \beta) (kα,β)=k(α,β)

  4): ( α , α ) ≥ 0 (\alpha,\alpha) \geq 0 (α,α)0当且仅当 α = 0 \alpha=0 α=0时成立。

正交基与子空间的正交

  在线性空间中可以找到一组基底,这组基底本身线性无关,且其他元素可以被它线性表达,在内积空间中,可以有进一步的结果,即可以找到标准正交基。

  • 定义2.2:由正交单位向量 α 1 , α 2 , ⋯ , α n \alpha_{1},\alpha_{2},\cdots,\alpha_{n} α1α2αn组成的基底叫作标准正交基,这时:
    ( α i , α j ) = { 1 , i = j , ( i , j = 1 , 2 , ⋯   , n ) 0 , i ≠ j \left(\boldsymbol{\alpha}_{i}, \boldsymbol{\alpha}_{j}\right)=\left\{\begin{array}{ll}{1,} & {i=j, \quad(i, j=1,2, \cdots, n)} \\ {0,} & {i \neq j}\end{array}\right. (αi,αj)={
    1,0,i=j,(i,j=1,2,,n)i=j

  可以说任意一个 n n n维欧氏空间中都存在标准正交基。

  • 施密特(Schmidt)正交化的方法求标准正交基:

  设 α 1 , α 2 , ⋯   , α n \alpha_{1},\alpha_{2},\cdots , \alpha_{n} α1α2,αn V V V的一个基地。则 α 1 , α 2 , ⋯   , α n \alpha_{1},\alpha_{2},\cdots , \alpha_{n} α1α2,αn线性无关。

  首先取 β 1 = α 1 \beta_{1}=\alpha_{1} β1=α1,然后从第二项开始,把前面的向量的分量减去:
β 2 = α 2 − k 21 β 1 \beta_{2}=\alpha_{2}-k_{21}\beta_{1} β2=α2k21β1

  使 β 2 \beta_{2} β2 β 1 \beta_{1} β1垂直,如下图(2.1)所示:

图2.1

  由:

( α 2 − k 21 β 1 , β 1 ) = 0 (\alpha_{2}-k_{21}\beta_{1},\beta_{1})=0 (α2k21β1β1)=0

  得:

k 21 = ( α 2 , β 1 ) ( β 1 , β 1 ) k_{21}=\frac{(\alpha_{2},\beta_{1})}{(\beta_{1},\beta_{1})} k21=(β1,β1)(α2,β1)

  同样的设:

β 3 = α 3 − k 31 β 1 − k 32 β 2 \beta_{3 }=\alpha_{3}-k_{31}\beta_{1}-k_{32}\beta_{2} β3=α3k31β1k32β2

  使 β 3 \beta_{3} β3 β 1 \beta_{1} β1 β 2 \beta_{2} β2都垂直,即:

( β 3 , β 1 ) = ( β 3 , β 2 ) = 0 (\beta_{3},\beta_{1})=(\beta_{3},\beta_{2})=0 (β3,β1)=(β3,β2)=0

  得:

k 31 = ( α 3 , β 1 ) ( β 1 , β 1 ) , k 32 = ( α 3 , β 2 ) ( β 2 , β 2 ) k_{31}=\frac{(\alpha_{3},\beta_{1})}{(\beta_{1},\beta_{1})},k_{32}=\frac{(\alpha_{3},\beta_{2})}{(\beta_{2},\beta_{2})} k31=(β1,β1)(α3,β1)k32=(β2,β2)(α3,β2)

  由此做下去:

β n = α n − k n 1 β 1 − ⋯ − k n , n − 1 β n − 1 \beta_{n}=\alpha_{n}-k_{n1}\beta_{1}- \cdots – k_{n,n-1}\beta_{n-1} βn=αnkn1β1kn,n1βn1

k n i = ( α n , β i ) ( β i , β i ) , ( i = 1 , 2 , ⋯   , n − 1 ) k_{ni}=\frac{(\alpha_{n},\beta_{i})}{(\beta_{i},\beta_{i})},(i=1,2,\cdots,n-1) kni=(βi,βi)(αn,βi),(i=1,2,,n1)

  最后把得到的向量 β 1 \beta_{1} β1 β 2 \beta_{2} β2 ⋯ \cdots β n \beta_{n} βn单位化,即得到标准正交基

正交

  • 前面讨论的过渡矩阵
    ( β 1 , β 2 , ⋯ , β n ) (\beta_{1},\beta_{2},\cdots,\beta_{n}) (β1β2βn)
    = ( α 1 , α 2 , ⋯ , α n ) A =(\alpha_{1},\alpha_{2},\cdots,\alpha_{n})A =(α1α2αn)A
    这里 A A A一定是可逆的,如果 α 1 , α 2 , ⋯ , α n \alpha_{1},\alpha_{2},\cdots,\alpha_{n} α1α2αn β 1 , β 2 , ⋯ , β n \beta_{1},\beta_{2},\cdots,\beta_{n} β1β2βn都是标准正交基,可以有进一步的结果,即 A A A正交的矩阵

  • 定义2.3:如果任取 α ∈ V 1 \alpha \in V_{1} αV1 β ∈ V 2 \beta \in V_{2} βV2 ( α , β ) = 0 (\alpha,\beta)=0 (α,β)=0,则称 V 1 与 V 2 V_{1}与V_{2} V1V2正交。
    例如:
    V 1 = { ( x 1 , x 2 , 0 ) ∣ x 1 , x 2 ∈ R } V_{1}=\{(x_{1},x_{2},0)| x_{1},x_{2} \in R\} V1={
    (x1,x2,0)x1,x2
    R}

V 2 = { ( 0 , 0 , x 3 ) ∣ x 3 ∈ R } V_{2}=\{(0,0,x_{3})|x_{3} \in R\} V2={
(0,0,x3)x3
R}

   V 1 V_{1} V1 V 2 V_{2} V2正交。

  • 定义2.4:如果任取 β ∈ V 1 \beta \in V_{1} βV1 ( α , β ) = 0 (\alpha, \beta)=0 (α,β)=0,则称 α \alpha α V 1 V_{1} V1正交。(这里也就是说 α \alpha α与空间 V V V中所有向量正交。)

  • 定理2.1:如果子空间 V 1 V_{1} V1 V 2 V_{2} V2是正交的,则它们的和 V 1 + V 2 V_{1}+V_{2} V1+V2是直和。

正交补

  • 定义2.5:如果 V V V中子空间 V 1 V_{1} V1 V 2 V_{2} V2正交,并且:

V 1 + V 2 = V V_{1}+V_{2}=V V1+V2=V

  则称 V 1 ( V 2 ) V_{1}(V_{2}) V1(V2) V 2 ( V 1 ) V_{2}(V_{1}) V2(V1)的正交补,记作:

V 1 = V 2 ⊥ , V 2 = V 1 ⊥ V_{1}=V_{2}^{\perp},V_{2}=V_{1}^{\perp} V1=V2,V2=V1

  • 定理2.2: n n n维欧氏空间的任一子空间 V 1 V_{1} V1都有唯一的正交补

点到子空间的距离与最小二乘法

  • 证明欧氏空间中的一个向量 α \alpha α到一个子空间 W W W中的各个向量的距离也以垂线为最短:
    β ∈ W \beta \in W βW α − β \alpha-\beta αβ不垂直于 W W W α − γ ⊥ W \alpha-\gamma \perp W αγW γ ∈ W \gamma \in W γW,则:
    ∣ α − β ∣ 2 = ∣ α − γ + γ − β ∣ 2 |\alpha-\beta|^{2} = |\alpha-\gamma + \gamma -\beta|^{2} \\ αβ2=αγ+γβ2
    = ∣ α − γ ∣ 2 + ∣ γ − β ∣ 2 ≥ ∣ α − γ ∣ 2 =|\alpha-\gamma|^{2}+|\gamma – \beta|^{2}\\ \geq |\alpha-\gamma|^{2} =αγ2+γβ2αγ2

  • W = L ( α 1 , ⋯   , α s ) W=L(\alpha_{1},\cdots , \alpha_{s}) W=L(α1,αs),而 α ∈ V \alpha \in V αV α ⊥ W \alpha \perp W αW,容易看出:
    α ⊥ W ⇔ α ⊥ α i ( i = 1 , 2 , ⋯   , s ) \alpha \perp W \Leftrightarrow \alpha \perp \alpha_{i} \quad(i=1,2, \cdots, s) αWααi(i=1,2,,s)

  • 现在来看最小二乘法的问题:

  解不相容的线性方程组 A X = b AX=b AX=b,这里 R ( A ) ≠ R ( A , b ) R(A) \neq R(A,b) R(A)=R(A,b),即方程组无解。现在找一个最小二乘解,也就是找一个近似程度最好的解。

  设 A = ( α 1 , ⋯   , α n ) A=(\alpha_{1},\cdots,\alpha_{n}) A=(α1,,αn),这里 α 1 , ⋯   , α n \alpha_{1},\cdots ,\alpha_{n} α1,,αn是列向量,则:
A X = ( α 1 , ⋯   , α n ) ( x 1 ⋮ x n ) = ∑ i = 1 n x i α i A X=\left(\alpha_{1}, \cdots, \alpha_{n}\right)\left(\begin{array}{c}{x_{1}} \\ {\vdots} \\ {x_{n}}\end{array}\right)=\sum_{i=1}^{n} x_{i} \alpha_{i} AX=(α1,,αn)x1xn=i=1nxiαi
  当 X X X的分量取遍所有值的时候,上面的表达式是:
α 1 , ⋯   , α n \alpha_{1},\cdots ,\alpha_{n} α1,αn
  的任意组合,所以:
A X = L ( α 1 , ⋯   , α n ) = W AX=L(\alpha_{1},\cdots,\alpha_{n})=W AX=L(α1,,αn)=W
  而方程组无解意味着不存在一组 x 1 , ⋯   , x n x_{1},\cdots , x_{n} x1,xn使 A X = b AX=b AX=b,即 b b b不能被 α 1 , ⋯   , α n \alpha_{1},\cdots,\alpha_{n} α1,,αn组合出来, b ∉ W b \notin W b/W。现在在 L ( α 1 , ⋯ , α n ) L(\alpha_{1},\cdots,\alpha_{n}) L(α1αn)中找一个离 b b b最近的向量,即找一个 ∑ x i α i = β \sum x_{i}\alpha_{i}=\beta xiαi=β,使:

b − β ⊥ W b-\beta \perp W bβW

  而 b − β ⊥ W b-\beta \perp W bβW时这个距离最小,当 b − β ⊥ W b-\beta \perp W bβW时,

b − β ⊥ α i ( i = 1 , 2 , ⋯   , n ) b-\beta \perp \alpha_{i} (i=1,2,\cdots ,n) bβαi(i=1,2,,n)

  这里 b = β b=\beta b=β α i \alpha_{i} αi都是列向量。所以:

( b − β , α i ) = 0 (b-\beta ,\alpha_{i})=0\\ bβαi=0

  即 α i T ( b − β ) = 0 \alpha_{i}^{T}(b-\beta)=0 αiT(bβ)=0,写在一起得:

( α 1 T α 2 T ⋮ α n T ) ( b − β ) = 0 , ( α 1 T α 2 T ⋮ α n T ) = A T , β = A X \left(\begin{array}{c}{\boldsymbol{\alpha}_{1}^{\mathrm{T}}} \\ {\boldsymbol{\alpha}_{2}^{\mathrm{T}}} \\ {\vdots} \\ {\boldsymbol{\alpha}_{n}^{\mathrm{T}}}\end{array}\right)(\boldsymbol{b}-\boldsymbol{\beta})=0, \left(\begin{array}{c}{\boldsymbol{\alpha}_{1}^{\mathrm{T}}} \\ {\boldsymbol{\alpha}_{2}^{\mathrm{T}}} \\ {\vdots} \\ {\boldsymbol{\alpha}_{n}^{\mathrm{T}}}\end{array}\right)=A^{\mathrm{T}}, \beta=AX α1Tα2TαnT(bβ)=0,α1Tα2TαnT=AT,β=AX

  所以最小二乘解是:

A T A X = A T b A^{T}AX=A^{T}b ATAX=ATb

正规矩阵

  如果把数域扩大到复数,则可以仿照实数空间内积的定义,把内积推广到复数,但是要考虑到复数的特性。

  • 定义2.6:设 V V V复数域 C C C上的线性空间,如果对 V V V中的任意向量 α , β \alpha,\beta α,β,都有一个复数 α , β \alpha,\beta α,β与之对应,且满足如下条件,则 ( α , β ) (\alpha,\beta) (α,β)称为 V V V的内积。
  1. ( α , β ) = ( β , α ) (\alpha,\beta)=(\beta,\alpha) (α,β)=(β,α)

  2. ( α + β , γ ) = ( α , γ ) + ( β , γ ) (\alpha+\beta,\gamma)=(\alpha,\gamma)+(\beta,\gamma) (α+βγ)=(α,γ)+(β,γ)

  3. ( k α , β ) = k ( α , β ) (k\alpha,\beta)=k(\alpha,\beta) (kα,β)=k(α,β)

  4. ( α , α ) ≥ 0 (\alpha,\alpha) \geq 0 (α,α)0,当且仅当 α = 0 \alpha=0 α=0 ( α , α ) = 0 (\alpha,\alpha)=0 (α,α)=0

  这时 V V V称为复内积空间或者酉空间,这里 ( β , α ) (\beta,\alpha) (β,α) β , α \beta,\alpha β,α的共轭,条件4)是保证 α , α \alpha,\alpha α,α是实数,否则可能会有 α ≠ 0 \alpha \neq 0 α=0,但是 ( α ⋅ α ) = 0 (\alpha \cdot \alpha)=0 (αα)=0,如 α = ( 3 , 4 , 5 i ) \alpha=(3,4,5i) α=(3,4,5i)

  • 定义2.7:设 A ∈ C n × n A \in C^{n \times n} ACn×n A H A = A A H = E A^{H}A=AA^{H}=E AHA=AAH=E,则称 A A A酉矩阵。这是实数空间正交矩阵的推广。

  • 酉矩阵具有以下性质:
    1) ∣ A ∣ = 1 |A|=1 A=1
    2) A − 1 = A H A^{-1}=A^{H} A1=AH, ( A − 1 ) H = ( A H ) − 1 (A^{-1})^{H}=(A^{H})^{-1} (A1)H=(AH)1
    3) A − 1 A^{-1} A1也是酉矩阵,两个酉矩阵的乘积也是酉矩阵;
    4) A A A的行(列)向量构成标准正交基。

  • 定义2.8:设 A ∈ C n × n A \in C^{n \times n} ACn×n,且 A H A = A A H A^{H}A=AA^{H} AHA=AAH,则 A A A称为正规矩阵

我的微信公众号名称:深度学习与先进智能决策
微信公众号ID:MultiAgent1024
公众号介绍:主要研究分享深度学习、机器博弈、强化学习等相关内容!期待您的关注,欢迎一起学习交流进步!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/180110.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • High Performance Browser Networking – TCP UDP TLS

    High Performance Browser Networking – TCP UDP TLS

  • jQuery+CSS3文字跑马灯特效

    jQuery+CSS3文字跑马灯特效是一款将跑马灯背景制作为3D立方体效果,文字在上面移动时,就像是文字投影到墙壁上,在转角出会改变运动方向。效果展示 http://hovertree.co

    2021年12月27日
  • Html图片懒加载动画,js实现图片懒加载效果

    本文实例为大家分享了js图片懒加载的具体代码,供大家参考,具体内容如下图片懒加载,思路:当鼠标滑动到对应图片的高度时,进行图片的加载;#div{width:575px;height:auto;overflow:hidden;border:red1pxsolid;margin:0auto;/*给该div设置定位*/position:relative;}#divimg{width:…

  • Django(41)详解异步任务框架Celery「建议收藏」

    Django(41)详解异步任务框架Celery「建议收藏」celery介绍Celery是由Python开发、简单、灵活、可靠的分布式任务队列,是一个处理异步任务的框架,其本质是生产者消费者模型,生产者发送任务到消息队列,消费者负责处理任务。Celery侧重

  • linux中ssh免密登录,Linux之SSH免密登录

    Linux双向SSH免密登录原理双向,顾名思义,双方互通,此处的意思是多台linux两两免密登录.双向比单向多了些操作,单向只需把某一个linux的公钥发送给其他linux即可,而双向要实现集群中的每一台机器都保存其他所有…【Linux】ssh免密登录一.ssh免密配置ssh无密码登录要使用公钥与私钥.linux下可以用用ssh-keygen生成公钥/私钥对,下面我以Cent…

  • 计算机发展历史[通俗易懂]

    计算机发展历史[通俗易懂]计算机发展历史电脑的发展历史   电脑的学名叫计算机,电脑是用来做计算的。在古时候,人们最早使用的计算工具可能是手指,英文单词“digit”既有“数字”的意思,又有“手指“的意思。古人用石头打猎,所以还有可能是石头来辅助计算。 缺点:手指和石头太低效了   后来出现了”结绳“记事。 缺点:结绳慢,绳子还有长度限制。   又不知过了多久,许多国家的人开始使用…

    2022年10月19日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号