形象解释线性代数之正交特征分解

上一期 形象解释线性代数之QR分解 提到了 Gram-Schmidt 过程，这一期就来形象地聊聊这个线性代数中的基本概念。

正交性在数据科学中至关重要的首要原因是：确定不相关的特征。

然而，我们面对的数据特征很少是这样的。有很多方法可以解决这个问题，Gram-Schmidt（格拉姆-施密特）过程就是其中之一。下面是它的工作原理。

问题很简单。给定一组基向量 a₁, a₂, …, aₙ ，我们希望将它们转换为正交基  q₁, q₂, …, qₙ ，使得前 i 个 qᵢ 向量与前 i 个 aᵢ 向量有着相同的信息。

形式化角度描述这个条件的一种自然方法就是，他们张成的子空间相同。

我们怎样才能达到这样的结果呢？让我们一步一步来。

先看一个例子。我们的输入由三个高度相关但仍然独立的三维向量组成。

如果我们希望 q₁表示 a₁相同的信息，则选择 q₁ = a₁ 即可。第一步很简单。

现在，我们需要选择 q₂ 使得

• q₂ 正交于 q₁,

• q₂ 和 q₁ 一起，与a₁和 a₂ 代表相同的信息，也就是说，它们生成相同的子空间。

自然的选择是取 a₂ 减去及其在 q₁ 上的正交投影。

如果您不确定 q₂ 正交于 q₁，可以计算下式。

下图是几何的视觉解释。

这个投影步骤是 Gram-Schmidt 的本质，整个算法只是它的迭代而已。

接着我们再次迭代，从 a₃ 本身减去 a₃ 在 q₂ 和 q₁ 组成空间的正交投影

3维 Gram-Schmidt 过程的输入输出为

推广到一般情况，下面是 n 维下的输出。

从几何角度来看，Gram-Schmidt 过程比令人生畏的公式要简单得多：Gram-Schmidt 正交化过程通过迭代找到下一个正交向量，具体过程就是减去当前向量到之前向量张成空间的投影来构造。

来源

https:///p/epsilons-no-4-the-gram-schmidt-process