【原】麻省理工线性代数学习-第11讲

四个基本子空间构成下面两个图，如下两幅图分别表示子空间的正交关系，即两个子空间交角90度，子空间的正交关系，是非常重要的内容，我们通过每个子空间的基进一步描述正交关系；本讲首先介绍正交向量，然后介绍子空间正交，引出重要矩阵,下一讲将重点介绍基的正交：

1、什么是正交向量

正交是垂直的另一种说法，意味着在n维空间这些向量的夹角是90度，那么如何辨别两个向量垂直呢？

通过点乘（在n维空间均可），若满足X^TY=0，则两向量正交；（注：零向量与任意向量正交）

如何证明？

则根据勾股定理，||x||²+||y||²=||x+y||²

边长的平方可表达为||x||²=x^Tx

x^Tx+ y^Ty= (x+y)^T(x+y) → 2x^Ty=0 → x^Ty=0

---

2、什么是子空间的正交

子空间S与子空间T正交，它俩正交意味什么？

意味：S中的每个向量都和T中每个向量都正交；

行空间正交于零空间，

零空间是，Ax=0

     row vector构成行向量空间，而x构成行向量构成矩阵的零空间，两者的关系正好满足点乘等于0；

因此，行空间和零空间把n维空间[列数]分成两部分，列空间和A转置的零空间把m维空间[行数]分成两部分；也可称为正交补。

---

那么当Ax=b没有解的时候，如何解方程最优解？

例如进行了1000次测量，则有1000个等式，但实际未知量很少，即m>>n;

法1：不断删除方程，直到可逆，但对有所有测量不知道那些数据是坏数据；

法2：A^TAx=A^Tb,A^TA方阵且对称；N(A^TA)=N(A),  A^TA的秩=A的秩

A^TA可逆意味着A的列向量线性无关；下一讲会进一步证明。