【原】谱分解-奇异值分解-极分解

本节的记号同上一节：

矩阵分解-谱分解

谱分解

本节主要内容都来自复旦大学《高等代数学》少量来自复旦大学的白皮书以及矩阵分析和矩阵论.

代数版本：设是为酉空间；是上的正规算子，其所有特征值为,根据复正规算子的酉相似定理，我们知道他在某组标准正交基下的矩阵为对角阵.我们将这个矩阵表示处理啊：

我们将相同的特征值的对应的幂零矩阵拿出来，则：

其中.

下边给出几何版本：

[谱分解-几何版本] 设 是有限维内积空间, 是 上的线性算子, 当 是酉空间 时 为正规算子; 当 是欧氏空间时 为自伴随算子. 是 全体 不同的特征值, 为 属于 的特征子空间, 则 是 的正 交直和. 这时若设 是 到 上的正交投影, 则 有下列分解式:(欧式空间强调自伴随伴算子是因为保证其可实正交相似于对角阵.)

---

首先我们由对角化的条件可知：

又因为 是 的正交投影, 故

注意 , 于是

引理: 是维酉空间   为正规算子，如果

那么

现在给出证明：

因为：

又因为：

所以：

由此可得：

特别的，如果：

引理 若 , 则 .且.

推论：设 是酉空间 上的线性算子, 则 是正规算子的充分必要条件是存在复系数多项式 , 使

因为：

所以：

所以：

由于可能在应试中我们更习惯用代数版本，所以这里也给出代数版本的严格说法和严格证明

[谱分解-代数版本] 设 的谱为 , 则 是正规矩阵的充分必要条件是 有如下谱分解

其中 ,满足如下条件

(1) ;

(2) ;

(3)

必要性在引言部分我已经用代数语言给复述一遍了；

充分性：只需要验证.(正规矩阵代数版本的定义.)

[几何版本-正定伴随算子] 设 是内积空间 上的自伴随算子, 若对任意的非零向量 , 总有 , 则称 为正定 半正定 自伴随算子.(要求自伴随是因为在矩阵中我们定义的正定矩阵是实对称或者Hermite(复数)矩阵的.)

从名字就可以给出等价定义：

[代数版本-正定伴随算子] 是正定自伴随算子当且仅当 在 的一组标准正交基下的表示 矩阵是正定 Hermite 矩阵 (酉空间时) 或正定实对称阵 (欧氏空间时); 是半正定 自伴随算子当且仅当 在 的一组标准正交基下的表示矩阵是半正定 Hermite 矩阵 (西空间时) 或半正定实对称阵 (欧氏空间时).

下边一个定理是我们在矩阵中常用的：

[几何版本] 设 是酉空间 上的正规算子. 若 的特征值全是实数, 则 是自伴随算子;若 的特征值全是非负实数,则 是半正定自伴随算子; 若 的 特征值全是正实数, 则 是正定自伴随算子;若 的特征值的模长等于 1 , 则 是酉算子.

请自行对应代数版本.

下边给出一些应用：

[几何版本] 设 是有限维内积空间, 是 上的半正定自伴随算子, 则存 在 上唯一的半正定自伴随算子 , 使 .

证明 设 的谱分解式为

令 , 则

适合 且 也是半正定自伴随算子. 现设 是 上的半正定自伴随算子且 , 我们要证明 , 令

是 的谱分解, 其中 是正交投影算子且 为非负实数. 由 得

故 是 的特征值而 互不相同, 因此 (这里允许差一个次序). 注意到 及 都是 的关于特征值 的特征子空间, 因此 , 这 就证明了 .

个人觉得这个定理如果考试要出一定出的是代数版本，所以给出纯代数的一种证明.

[代数版本] 设 是半正定实对称 (Hermite) 矩阵, 则必存在唯一的半正定 实对称 (Hermite) 矩阵 , 使 .

存在是比较容易证明的，因为存在酉矩阵使得：

其中,取

唯一性的证明比较困难，需要一个引理：

引理：设 是 阶半正定实对称矩阵, 是 的 个特征值, 证明: 对任意给定的正整数 , 存在一个只和 有关的实系数多项 式 , 满足:

证明 设 为正交矩阵, 使 , 并不妨设 中不同的数为 作 Lagrange 插值多项式

显然 , 故

现在证明唯一性：

如果存在矩阵使得：

由引理可知存在多项式使得：

所以

因而：

所以可以同时酉对角化，所以：

又因为

且对角线非负，所以. 用谱分解也可以证明正规算子的极分解，但是过于麻烦，因此我们改用奇异值分解证明.

奇异值分解

感觉从代数方面引入奇异值分解可能比较容易接受：我们知道任何一个阶矩阵都可以通过初等变换变为一个阶梯阵其中上三角是一个单位阵其他位置为0，即：

现在我们要求高一点，要求不仅是可逆矩阵还要是酉矩阵.那么左上三角的位置就不一定是单位阵，我们接下来建立对应的矩阵分解.

正式建立奇异值分解的理论前，我们先做一些准备工作：

命题：

设 ,则矩阵 和矩阵 具有如下性质

(1) .

(2) 和 的非零特征值相等.

(3) 与 都是半正定矩阵, 当 时, 为正定矩阵, 当 时, 为正定矩阵.

那么我们首先要对奇异值做一些定义：

[奇异值] 对于 ,矩阵 的特征值为 , 称正数 为矩阵 的奇异值,简称 的奇值.

奇异值的性质：

定理：矩阵 的奇异值具有如下性质：

(1) 为正规矩阵时, 的奇异值为 的特征值的模, .

(2) 为正定的 Hermite 矩阵时, 的奇异值等于 的特征值.

(3) 若存在酉矩阵 , 矩阵 , 使 ,则称 和 酉等价.酉矩阵的矩阵 和 有相同的奇异值.

---

证明：

因为是正规矩阵，所以可以酉相似于对角阵即：

所以：

所以可以得到：

所以可以得到：.

当为Hermite阵时特征值为实数；

当酉等价时，有：设 , 则

所以有相同的特征值，从而有相同的奇异值.

[代数版本-奇异值分解] 设矩阵 是矩阵 的奇异值, 则存在酉矩阵 , 分块矩阵 , 使

证明：

首先有：

所以有个不同的特征值不为0，记为：

因此存在酉矩阵,使得：

其中

我们对矩阵进行列分块：，根据上述不难可以看到：

所以：

是一组正交基，但不是标准正交基，现在我们将其单位化：

所以

是一组标准基，将其扩充为为空间的一组基，所以就找好了，不难验证：

所以：

为了证明几何版本，我们还是使用几何的语言引入一些定义：

定义 ：设 是 实矩阵, 如果存在非负实数 以及 维非零实 列向量 维非零实列向量 , 使

则称 是 的奇异值, 分别称为 关于 的右奇异向量与左奇异向量.

[伴随] 设 分别是 维, 维欧氏空间, 是 的线性映射. 若存在 的线性映射 , 使得对任意的 , 都有

定理：设 分别是 维, 维欧氏空间, 是 的线性映射,则 的伴随 存在且唯一.

取和维空间中的标准正交基：,那么记在这组两组基下的矩阵为：

对应从下的矩阵就是.

[几何版本-奇异值分解] 设 分别是 维, 维欧氏空间, 是 的线性映射, 则存在 和 的标准正交基, 使 在这两组基下的表示矩阵为

是一个 阶对角阵, 是 的非零奇异值.

因为是上的自伴随算子，所以存在上的标准正交基使得其在这组基下的矩阵为对角阵：

可以得到：

令,,所以这是一组标准正交向量，我们可以将其扩充为维空间得一组基：.

所以:

极分解和例子

下边我们可以对奇异值分解进行一些应用：

[方阵的极分解] 设 ,则 可以被分解为, 其中 是秩为 的 阶半正定矩阵, 是 阶的酉矩阵. 特别地,若 ,则 为正定矩阵.且可以被唯一确定.当矩阵可逆时，正交阵也可以被唯一确定.

利用奇异值分解可以得到：存在酉矩阵可以使：

所以令：

记：所以是半正定阵，是正交矩阵.

现在考虑的唯一性：因为：是半正定矩阵，所以：

由前面的定理可得唯一性.

现在我们给一个求奇异值分解的例子，会了奇异值分解就会极分解：

练习：求矩阵

的奇异值分解.

第一步：先求的特征值为：,所以对角阵上的元素为.

第二步：求酉矩阵使得为酉矩阵(这一步相当于实对称矩阵的对角化：)又 的特征值 对应的特征向量分别是

将其正交化，就得到了:

第三步：求矩阵:

利用,得：

利用史密斯正交化将其扩充为一组基：

所以都找好了.