|
【万方平的回答(11票)】: 要么是你的问题不确切，要么是书上写的不确切。不管是PCA还是ICA，都不需要你对源信号的分布做具体的假设。 假设你观察到的信号是n维随机变量x，PCA和ICA都需要你找到一个n维向量w使得w^T x的某种特征 f (w^T x)最大化。 PCA：找w1使得w1^T x的方差E[(w1^T x)^2]最大；然后在与w1正交的空间里找w2，使得E[(w2^T x)^2]最大，以此类推直到找到所有的w1,w2,...,wn. 用这种方法我们可以得到一列正交的随机变量：w1^T x, ... , wn^T x。值得注意的是，当x为高斯随即向量的时候，w1^T x, ... , wn^T x同时是相互独立的。 PCA认为一个信号最有用的信息体现在方差里，换言之，体现在w1^T x, ... , wn^T x里。至于我们找到的w1^T x, ... , wn^T x是不是真的有意义，那必须根据具体情况具体分析。 ICA：先利用PCA的结果把观察到的信号x标准化，得到z，后者满足E[ z zT ] = I。然后找w1使得w1^T z的，比如四阶矩E[(w1^T z)^4]最大；然后在与w1正交的空间里找w2，使得E[(w2^T z)^4]最大，以此类推直到找到所有的w1,w2,...,wn. 可以证明，只要源信号非高斯，那么用这种方法我们可以得到一列独立的随机变量：w1^T z, ... , wn^T z。 ICA认为一个信号可以被分解成若干个统计独立的分量的线性组合，而后者携带更多的信息。我们可以证明，只要源信号非高斯，那么这种分解是唯一的。若源信号为高斯的话，那么显然可能有无穷多这样的分解。 题主第二个问题的答案：如果观察到得信号为高斯，那么源信号也为高斯，此时PCA和ICA等价，因此我们也可以说ICA无意义。 原文地址:知乎 |
|
|
