大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46，售后保障稳定

  本节主要讲解正交（orthogonal）概念对于向量、基和子空间的意义。复习本节时，如果能够快速回忆出正交补与$Ax=b$之间的关系，那么说明就已经掌握清楚了。

  需要注意的是行空间与零空间是正交的，而列空间与左零空间是正交的。这张图是 GS 最得意的作品之一， 它反映了四个子空间的关系， 在后面的课程中可以看到其两两形成正交，在
$R^n$ 空间中的向量会向两个子空间投影，并向
$R^m$空间形成映射，反之亦然。

1. 正交向量 Orthogonal vectors

  正交就是垂直（perpendicular）的另一种说法。两向量正交的判据之一是其点积$x^{T}y=y^{T}x=0$。当两个向量的夹角为 90 度时，按照勾股定理（毕达哥拉斯定理Pythagorean theorem）x，y 满足：
$$\Vert x{\Vert }^2+\Vert y{\Vert }^2=\Vert x+y{\Vert }^2，其中\Vert x{\Vert }^2=x^{T}x$$

  例如$x=\left[\begin{array}{l}1\\ 2\\ 3\end{array}\right]$，$y=\left[\begin{array}{c}2\\ -1\\ 0\end{array}\right]$，则$x+y=\left[\begin{array}{l}3\\ 1\\ 3\end{array}\right]$，$\Vert x{\Vert }^2=14$，$\Vert y{\Vert }^2=5$，$\Vert x+y{\Vert }^2=19$。

  将勾股定理展开进行计算，则有$x^{T}x+y^{T}y=(x+y{)}^T(x+y)=x^{T}x+y^{T}y+x^{T}y+y^{T}x$。得到$2x^{T}y=0$。

  零向量与所有向量都正交。

2. 正交子空间 Orthogonal subspaces

  子空间$S$与子空间$T$正交，则$S$中的任意一个向量都和$T$中的任意向量正交。黑板所在的平面和地板所在平面不是正交关系，沿两者的交线方向的向量同时属于两个平面，但并不与自己正交。所以如果两个平面的交点（交线）如果不是零向量，则它们就不是正交的。

  如果在平面内（二维空间）讨论正交子空间，平面的子空间包括只包含零向量的0 空间、过原点的直线以及整个平面。经过原点的直线不会和整个空间正交；0空间和过原点的直线正交（0空间与任意空间正交）；经过原点的两条直线若夹角为直角则互相正交。

3. 零空间与行空间正交 Nullspace is perpendicular to row space

  矩阵$A$的行空间和它的零空间正交。若$x$在零空间内，则有 $Ax=0$，将$A$表示为行向量的格式：

$$\left[\begin{array}{c}ro{w}_1\\ ro{w}_2\\ ⋮\\ ro{w}_m\end{array}\right][x]=\left[\begin{array}{c}{row}_1\cdot x\\ ro{w}_2\cdot x\\ ⋮\\ {row}_m\cdot x\end{array}\right]=\left[\begin{array}{l}0\\ 0\\ ⋮\\ 0\end{array}\right]$$

  $x$与矩阵$A$的行向量点积都等于 0，则它和矩阵$A$ 行向量的线性组合进行点积也为 0，所以$x$与$A$的行空间正交。$x$为零空间内的任意向量，所以零空间与行空间正交。（一vs多->多vs多）

  同理可以证明列空间与左零空间正交。

  行空间和零空间实际上把$R^n$空间分割成了两个正交的子空间。例如对于矩阵：

$$A=\left[\begin{array}{lll}1& 2& 5\\ 2& 4& 10\end{array}\right]$$

  则其行空间是1维的，向量$\left[\begin{array}{l}1\\ 2\\ 5\end{array}\right]$是它的基向量，而其零空间是垂直于$\left[\begin{array}{l}1\\ 2\\ 5\end{array}\right]$并穿过原点的 2 维平面。其中零空间的法向量为$\left[\begin{array}{l}1\\ 2\\ 5\end{array}\right]$。

4. 正交补Orthogonal Complements

  行空间和零空间不仅仅是正交，并且其维数之和等于 n，我们称行空间和零空间为$R^n$空间内的正交补（orthogonal complements）。
$$dimN(A)+dimC(A^T)=n$$

  正交补的概念很重要，它表明$R^n$中的任何一个向量$x$都可以拆分为互为正交补的子空间的向量之和。以$Ax=b$的解$x$为例，$x$是属于$R^n$中的向量，$x$可以拆分为在行空间的分量$x_r$和零空间中的分量$x_n$之和，即$x=x_r+x_n$，$Ax=b$可以进行如下拆解：
$$零空间分量：A{x}_n=0$$

$$行空间分量：A{x}_r=b$$

  这表示零空间包含所有和行空间正交的向量，反之亦然。 想想我们之前提到的黑板和地板平面不是正交子空间的例子，二者都在 3 维空间中，分别为 2 维空间，因此不可能正交。一个空间中正交子空间的维数之和不可能超过原空间的维数。

  我们可以称目前讨论的这部分内容是线性代数基本定理的第二部分。第一部分是给出四个子空间和它们的维数，第二部分说明它们是两两互为正交补，第三部分讨论子空间的正交基。 这些内容都反映在了本讲座开始的那幅图上。

5. 矩阵$A^{T}A$

  下面讨论如何求解一个无解方程组$Ax=b$的解（b不在A的列空间中）。如果 $A$是长方形矩阵，m 大于 n（方程数大于未知数）。当左侧方程数特别多的时候，容易混入“坏”数据，方程变得无解。但是对于数据的可信度我们无从判断，线性代数要做的就是在这种条件下求一个方程的“最优解”（把好数据筛选出来）。其中一种求解方法是删掉一些方程，使得矩阵变成可逆的方阵，然后进行求解。但是由于无法判断哪些数据是好数据，哪些是坏数据。希望利用所有测量值求出最优解，从而得到最完整的信息。

  矩阵$A^{T}A$会发挥重要作用，它是一个$n\ast n$方阵，并且是对称阵， $(A^{T}A{)}^T=A^{T}A$。

  本章的核心内容就是当$Ax=b$无解的时候，求解$A^{T}A\hat{x}=A^{T}b$得到最优解。

  $A=\left[\begin{array}{ll}1& 1\\ 1& 2\\ 1& 5\end{array}\right]$，则$A^{T}A=\left[\begin{array}{lll}1& 1& 1\\ 1& 2& 5\end{array}\right]\left[\begin{array}{ll}1& 1\\ 1& 2\\ 1& 5\end{array}\right]=\left[\begin{array}{cc}3& 8\\ 8& 30\end{array}\right]是可逆矩阵$。

  $A=\left[\begin{array}{ll}1& 3\\ 1& 3\\ 1& 3\end{array}\right]$，则$A^{T}A=\left[\begin{array}{lll}1& 1& 1\\ 3& 3& 3\end{array}\right]\left[\begin{array}{ll}1& 3\\ 1& 3\\ 1& 3\end{array}\right]=\left[\begin{array}{cc}3& 9\\ 9& 27\end{array}\right]是不可逆矩阵$。

  实际上$N(A^{T}A)=N(A)$，并且矩阵$A^{T}A$的秩等于$A$的秩。因此矩阵$A^{T}A$可逆要求$A$的零空间只有零向量，即 $A$ 的列向量线性无关。