清华大学公开课线性代数2

imelee 2018-03-01

展开全文

此博客停止更新，迁移至SnailDove’s blog，查看本文请点击此处

笔记源自：清华大学公开课：线性代数2——第6讲：伪逆

提示：如果文中图片看不清文字，请右键单击鼠标，选择在新窗口打开图片，然后放大图片（这边上传之前都是可以看清的，由于网页正文部分大小固定，因此图片被自动缩小以便适配网页），截图部分是课堂ppt老师随手的板书。

引言

introductory_content_of_pseudo-inverse
矩阵的奇异值分解可以理解成从 $R^{n}$ 到 $R^{m}$ 的线性变换在不同基底下矩阵表示，接下来利用矩阵的奇异值分解
来定义矩阵的伪逆，然后再利用矩阵的伪逆来讨论线性方程组Ax＝b无解时的最小二乘解，线性代数的中心问题是
求解线性方程组 $A x = b$ ，最简单的情况是如果系数矩阵A是n阶的可逆矩阵，那么这时对于任意的n维向量 $b$ ，线性方程组 $A x = b$ 有唯一的解，这个解是 $A^{- 1} b$ ，那这就启发去对于不可逆的矩阵或者是对于 $A_{m \times n}$ 的矩阵，我们来定义它的一个逆矩阵，那么这时候逆矩阵我们叫做伪逆或者是叫广义逆 。

定义

伪逆的定义来自于奇异值分解：
definition_of_pseudo_inverse
(1)若 $A$ 可逆，即 $r = m = n$ ，则： $A^{- 1} = (U Σ V^{T})^{- 1} = V Σ^{- 1} U^{T} = A^{+}$ ，注意：由奇异值分解公式 $A V = U Σ, (v_{1} . . . v_{r}) \in C (A^{T}), (v_{r + 1} . . . v_{n}) \in N (A), (u_{1} . . . u_{r}) \in C (A), (u_{r + 1} . . . u_{m}) \in N (A^{T})$ 得： $A V = U Σ : C (A^{T}) \to C (A)$ ，同理可得： $A^{+} U^{T} = V Σ^{+} : C (A) \to C (A^{T})$

(2) $A A^{+} = (U Σ_{m \times n} V^{T}) (V Σ_{n \times m}^{+} U^{T}) = U Σ_{m \times n} Σ_{n \times m}^{+} U^{T} = U {(\begin{matrix} I_{r} & 0 \\ 0 & 0 \end{matrix})}_{m \times m} U^{T}$ 得出以下3个性质：

对称性： $(A A^{+})^{T} = A A^{+}$
$A A^{+} = u_{1} u_{1}^{T} + . . . + u_{r} u_{r}^{T}, U = (u_{1}, . . . u_{r}, u_{r + 1} . . ., u_{n})$
$A A^{+} = R^{m}$ 到 $C (A)$ 的正交投影矩阵， $A A^{+} |_{C (A)} = i d, A A^{+} |_{N (A^{T})} = 0$
- 证明1： $A A^{+} x = (u_{1} u_{1}^{T} + . . . + u_{r} u_{r}^{T}) x = (u_{1}^{T} x) u_{1} + . . . + (u_{r}^{T} x) u_{r}$ ，由奇异值svd分解得到 $V = (v_{1}, . . ., v_{r})$ 是 $A^{T}$ 列空间（即 $C (A^{T})$ ）的单位正交特征向量基，而 $U = (u_{1}, . . ., u_{r})$ 是 $C (A)$ 的单位正交特征向量基，所以 $A A^{+}$ 是投影到 $C (A)$ 的正交投影矩阵（即保留了 $C (A)$ 的部分），因此 $A A^{+}$ 限制在 $C (A)$ 的变换即变成了恒等变换。而 $U$ 中 $(u_{r + 1} . . . u_{m})$ 和 $U^{T}$ 中 $(u_{r + 1} . . . u_{m})^{T}$ 即属于 $N (A^{T})$ 的基乘以矩阵 ${(\begin{matrix} I_{r} & 0 \\ 0 & 0 \end{matrix})}_{m \times m}$ 中右下角的 $0$ 相当于对属于 $N (A^{T})$ 的部分做了零变换。
- 证明2： $A^{+} u_{j} = \frac{1}{σ_{j}} v_{j} \Rightarrow A A^{+} u_{j} = A (\frac{1}{σ_{j}} v_{j}) = \frac{1}{σ_{j}} A v_{j}$ 再根据奇异值分解中 $A v_{j} = σ u_{j}, (1 \leq j \leq r)$ 得 $A A^{+} u_{j} = u_{j} (1 \leq j \leq r), A A^{+} u_{j} = 0 (r + 1 \leq j \leq m)$
- 验证： $(A A^{+}) (A A^{+}) = U {(\begin{matrix} I_{r} & 0 \\ 0 & 0 \end{matrix})}_{m \times m} U^{T} U {(\begin{matrix} I_{r} & 0 \\ 0 & 0 \end{matrix})}_{m \times m} U^{T}$ ，由于从svd分解知道 $U$ 是单位正交特征向量基，因此： $U^{T} = U^{- 1} \Rightarrow (A A^{+}) (A A^{+}) = U {(\begin{matrix} I_{r} & 0 \\ 0 & 0 \end{matrix})}_{m \times m} U^{T} = A A^{+}$ ，这正是投影的性质：多次投影结果还是第一次投影结果。
- 结果： $\forall p \in R^{m}, b = p + e, p \in C (A), e \in N (A^{T}), A A^{+} b = p$

(3) $A^{+} A = (V Σ_{n \times m}^{+} U^{T}) (U Σ_{m \times n} V^{T}) = V {(\begin{matrix} I_{r} & 0 \\ 0 & 0 \end{matrix})}_{n \times n} V^{T}$ 得到以下三个性质（证明同上）：

$(A^{+} A)^{T} = A^{+} A$
$A^{+} A = v_{1} v_{1}^{T} + . . . + v_{r} v_{r}^{T}$
$A^{+} A = R^{n}$ 到 $C (A^{T})$ 的正交投影矩阵（ $A^{+} A |_{C (A^{T})} = i d, A^{+} A |_{N (A)} = 0$ ）:
- $\forall x \in R^{n} = C (A^{T}) ⨁ N (A)), x = x_{1, r} + x_{r + 1, n}, x_{1, r} \in C (A^{T}), x_{r + 1, n} \in N (A^{T}), A^{+} A x = A^{+} A (x_{1}, . . . x_{r}, x_{r + 1}, . . . x_{n}) = x_{1, r}$

为什么称为伪逆、左逆、右逆

why_call_it_as_pseudo-inverse

例子

example_of_pseudo-inverse
注： $u_{1}, u_{2}, u_{3}$ 是 $R^{m}$ 的一组基底那么它是 $\frac{A v_{1}}{σ_{1}}$ ，那么很容易计算出来，是 $\frac{1}{\sqrt{2}} (\begin{matrix} 1 \\ 1 \\ 0 \end{matrix})$ 那 $u_{2}$ 和 $u_{3}$ 分别是0所对应的特征向量， $u_{2}$ 和 $u_{3}$ 可以看成是三维空间里头， $u_{1}$ 的正交补所给出来的单位正交的向量。

特例

a_special_case_of_pseudo_inverse

Jordan标准形的伪逆

pseudo-inverse_of_normal_Jordan_form
推导结论： $J_{n}^{+} = J_{n}^{T}$ ，Jordan标准形的伪逆是它自己的转置。

Moore-Penrose伪逆

E.H.Moore伪逆

pseudo-inverse_of_E.H.Moore

Penrose伪逆

pseudo-inverse_of_Penrose
注：
1. A可以是mxn的复数矩阵，这样的话(3)(4)里面就变成共轭转置。
2. Penrose伪逆与E.H.Moore伪逆定义是等价的。

$(1) A X A = A \Rightarrow A X A X = A X \Rightarrow (A X)^{N} = A X \Rightarrow A X$ 是幂等矩阵，投影矩阵
$(2) X A X = X \Rightarrow X A X A = X A \Rightarrow (X A)^{N} = X A \Rightarrow X A$ 是幂等矩阵，投影矩阵
$(3) (A X)^{T} = A X \Rightarrow A X$ 是对称矩阵
$(4) (X A)^{T} = X A \Rightarrow X A$ 是对称矩阵

通过奇异值分解得到的伪逆矩阵 $A^{+}$ ， $A A^{+} : R^{m} \to C (A)$ ， $A^{+} A : R^{n} \to C (A^{T}) = C (A^{+})$ ，前文已经证明两者都是对称的，所以符合Penrose对伪逆矩阵的定义。对于伪逆唯一性的证明上文图片太小可以放大来看。

伪逆的应用之最小二乘法

引言

introductory_content_of_least_squares_approximations_by_pseudo-inverse
但是我们需要求 $e$ 即误差最小的解！但是这时候 $A_{m \times n}$ 不是列满秩不存在逆矩阵，于是自然地想到利用伪逆求解。

伪逆求解正规方程——最佳最小二乘解

the_best_solution_of_least_squares_approximations_by_pseudo-inverse
注：由于 $A^{+}$ 来自于： $A^{+} U^{T} = V Σ^{+}, (v_{1} . . . v_{r}) \in C (A^{T}), (v_{r + 1} . . . v_{n}) \in N (A), (u_{1} . . . u_{r}) \in C (A), (u_{r + 1} . . . u_{m}) \in N (A^{T}), Σ^{+} = {(\begin{matrix} \frac{1}{σ_{1}} \\ \frac{1}{σ_{2}} \\ . \\ . \\ \frac{1}{σ_{r}} \\ 0 \end{matrix})}_{n \times m} \Rightarrow A^{+} : C (A) \to C (A^{T})$ ，另外由于 $A^{T} A x = 0, A x = 0$ 同解所以零空间相同。