详解独立成分分析

最近在学习数据降维的一些方法(有关数据降维的其他内容请看这篇文章)，虽然独立成分分析不算是严格意义上的降维方法，但是它和PCA有着千丝万缕的联系，所以打算专门写一篇文章来学习ICA的相关知识，看了挺多的关于ICA的博文，有些文章讲的比较详细。有句话是这么说的：“论文是详细版的知识讲解”，也就是说如果想深入详细的了解某个知识，那么去读相关论文，所以阅读了一篇经典的ICA论文，作者是A. Hyva¨rinen，整篇论文对ICA做出了详细的解释。这篇文章按照原论文的结构，对原论文进行了翻译概括。

目录

1. 动机(Motivation)

2. 独立成分分析(independent component analysis)

2.1 ICA的定义(Definition of ICA)

2.2 ICA的不明确性(Ambiguities of ICA)

2.3 图解ICA(Illustration of ICA)

3. 什么是独立性(What's independence?)

3.1 定义和基本属性(Definition and fundamental properties)

3.2 不相关变量是部分独立的(Uncorrelated variables are only partly independent)

3.3 为什么独立成分不能是高斯变量(Why Gaussian variables are forbidden)

4 ICA估计原理(Principles of ICA estimation)

4.1 非高斯独立(“Non-Gaussian is independent”)

4.2 非高斯性的度量(Measures of non-Gaussianity)

4.2.1 峰度(Kurtosis)

4.2.2 负熵(Negentropy)

4.2.3 负熵的近似(Approximations of negentropy)

4.3 互信息最小化(Minimization of mutual information)

4.3.1 互信息(Mutual information)

4.3.2 通过互信息定义ICA(Defining ICA by mutual information)

4.4 最大似然估计(Maximum likelihood estimation)

4.4.1 似然(The likelihood)

4.4.2 信息最大原则(The infomax principle)

4.4.3 互信息连接(Connection to mutual information)

4.5 ICA与投影跟踪(ICA and projection pursuit)

5 ICA的预处理(Preprocessing of ICA)

5.1 中心化(Centering)

5.2 白化(whitening)

5.3 进一步的预处理(Further preprocessing)

6 FastICA算法(The FastICA algorithm)

6.1 单元FastICA(FastICA for one unit)

6.2 多元FastICA(FastICA for several unit)

6.3 FastICA 和最大似然(FastICA and maximum likelihood)

6.4 FastICA的属性(Properties of the FastICA algorithm)

参考文献

1. 动机(Motivation)

想象两个人在意见房间内同时说话，有两个位于房间不同位置的麦克风记录时间信号，记录的时间信号分别用和。被麦克风记录的信号是两个说话者语音信号的加权和，分别用和表示。那么我们可以得到下面的等式：

                                           (1)                                 (2)

其中是一些取决于麦克风和说话者距离的参数。如果能用记录的信号、估算出两个原始的语音信号和，这将会是一件非常有用的事。上面说的这个例子被称为“鸡尾酒宴会”问题。

                           

                             

以图1和图2的波形为例，图1表示的波形是原始语音信号，图2表示的波形是混合后即麦克风记录的信号。我们要做的就是通过图2中的信号来恢复图1中的信号。实际上，如果我们知道参数，那么我们就能通过传统的方法求解出式(1)和式(2)，但是如果我们不知道参数，那么求解就会变的非常困难。

其中一种方法是我们可以应用信号的一些统计特性来估计。我们可以假设在每个时刻t，信号和是统计独立的。ICA可以独立分量的信息来估计参数，这使得我们可以从混合信号和中分离原始信号和。图3的信号是从图2中信号通过ICA方法估计出的信号，可以看到，通过ICA得到的信号的波形和原始信号的波形(图1)非常相似。只是幅度是相反的，将估计得到的信号取个负即可。

                           

2. 独立成分分析(independent component analysis)

2.1 ICA的定义(Definition of ICA)

为了严格定义ICA，我们可以使用统计隐变量模型。假设我们从n个独立成分观察到n个线性混合信号：

                                                                              (3)

假设每一个和每一个独立成分是随机变量，观测值是随机变量的样本值。在不失一般性的情况下，我们可以假设混合变量和独立分量都具有零均值：如果不是这样的话，我们可以对观察变量中心化，使得模型为零均值模型。

用向量-矩阵法表示前面的和式是非常方便的，我们用x表示随机向量，其元素为，同样的s表示随机向量，其元素为。用A表示矩阵，其元素为，通常情况下，小写黑体表示向量，大写黑体表示矩阵。所有的向量都被视为列向量。根据向量-矩阵表示法，上面的混合模型可被写为：

                                                                                                                 (4)

有时，我们需要矩阵的列向量，用表示，那么模型可被写为：

                                                                                                           (5)

我们称(4)式表示的统计模型为独立成分分析或ICA模型。ICA模型是生成模型，它描述了观测数据是如何通过混合元素生成的。独立成分是隐变量，也就是说它们不能被直接观测；而且混合矩阵也被假设是未知的。所有我们能观测到的只有随机向量，我们需要用它去估计和。

ICA的出发点是非常简单的一个假设：成分是统计独立的。而且还假设独立成分是非高斯分布的。在基础模型中，我们不假设分布是已知的(如果分布已知，那么问题就会很简单了)，还假设混合矩阵是方阵。当我们估算了矩阵，那么我们可以求得它的逆，可以通过下面的时候得到独立成分：

                                                                                                                         (6)

ICA是和“盲源分离”(BSS)非常相近的一种方法。“源”是指原始信号，也就是独立成分，比如鸡尾酒宴会中的说话者的语音信号；“盲”是因为我们可知的信息非常少，不知道混合矩阵，而且只能对源信号做极有限的假设。在实际的应用中，我们观测到的信号中还会包含一些噪声，为了简化，此处忽略噪声项，即便如此，它对许多应用仍然有效。

2.2 ICA的不明确性(Ambiguities of ICA)

在ICA模型，也就是式(4)中，我们很容易看到ICA的一些不太明确的地方：

1. 我们不能确定独立成分的方差(能量)

原因是，和都是未知的，通过将的相应列除以相同的标量，可以总是取消其中一个源中的任何标量乘数。因此，我们可以很好的确定独立成分的大小，因为它们是随机变量，确定其大小最自然的方式是假设它们的方差为1，即：。然后，矩阵将在ICA解决方案方法中进行调整，以考虑这种限制。 请注意，这仍然会留下符号的模糊性：我们可以将独立分量乘以21而不会影响模型。 幸运的是，这种模糊性在大多数应用中都是微不足道的。

2. 我们不能确定独立成分的顺序

原因同样是和都是未知的，我们可以随意的改变式(5)中求和项的顺序，然后把任何一个独立成分称为第一个。形式上，置换矩阵及其逆可以在模型中代入以给出：的元素是原始的独立变量，但是以另一种顺序。 矩阵只是一个新的未知混合矩阵，由ICA算法求解。

2.3 图解ICA(Illustration of ICA)

为了用统计学术语来阐明ICA模型，我们假设两个独立分量服从下面的均匀分布：

                                                 

选择均匀分布的取值范围，使得均值为0，方差为1。和的联合密度在正方形内是均匀的，这源于联合密度的基础定义：两个独立变量的联合密度是他们边密度的乘积。联合密度如图4所示，数据点是从分布中随机抽取。

                                                        

现在混合这两个独立成分，我们取下面的混合矩阵：

                                       

这得出了两个混合变量，和，很容易得出混合数据在一个平行四边形上的均匀分布，如图5所示：

                                                          

我们可以看到，随机变量和不再独立，换一种说法是，是否有可能从一个值去预测另一个值。假设的值为最大或最小值，那么的值就可以确定了。如上图中红框圈起来的数据点所示。由此可知，和已经不再独立了。但是对于图4中的随机变量和情况就不同了，如果我们知道的值，那么无论通过什么方式都无法确定的值。

现在估计ICA模型中数据的问题变成了用包含在和中仅有的信息估计混合矩阵的问题。实际上我们可以从图5中对有个更直观的估计：平行四边形的边是矩阵列向量的方向。这意味着我们原则上可以通过首先估计和的联合密度，然后定位边缘来估计ICA模型。 所以，问题似乎有一个解决方案。

然而，实际上，这将是一种非常差的方法，因为它仅适用于具有完全均匀分布的变量。 而且，它在计算上会非常复杂。 我们需要的是一种适用于独立成分的任何分布的方法，并且可以快速可靠地工作。 接下来，在开始开发用于估计ICA模型的方法之前，我们将考虑独立性的确切定义。

3. 什么是独立性(What's independence?)

在这一小节我们将会解决两个关键的问题：为什么要假设独立成分是统计独立的？为什么独立成分必须是非高斯变量

3.1 定义和基本属性(Definition and fundamental properties)

为了定义独立性，首先考虑两个常量随机变量和。基本上，如果关于值的信息没有给出关于值的任何信息，则变量和被认为是独立的，反之亦然。从上一小节我们知道变量和满足独立性，而混合变量和并不满足独立性。独立性可以通过概率密度定义，用表示和的联合概率密度。用表示的边缘概率密度函数，单独考虑概率密度函数时有：

                                                                                                      (9)

对于也是一样的。当且仅当联合概率密度函数可以通过以下方式分解时，我们定义和是独立的：

                                                                                                       (10)

式(10)对n个随机变量同样适用，此时联合概率密度函数等于n个部分的边缘概率密度函数的乘积。该定义可用于推导独立随机变量的一个最重要的性质。给定h1和h2两个函数，我们总是有：

                                                                     (11)

其证明过程如下：

                                            

3.2 不相关变量是部分独立的(Uncorrelated variables are only partly independent)

弱化的独立是不相关。如果两个随机变量和的协方差为0，那么说这两个随机变量不相关:

                                                                                                   （13）

独立一定不相关，但是不相关不一定独立。例如，假设是离散值并遵循这样的分布，即其为中任意值的概率为。可以看到，的取值为(0,0,1,-1)，所以，同样的的取值为(1,-1,0,0)，所以，的取值总是为0，那么。根据式(13)得出，随机变量不相关。我们令，可以得到的值总是0，那么；取0和1的概率各为，那么，同样的，取0和1的概率各为，得，由此可得：

                                                                                            (14)

由式(11)可以得出随机变量不独立。所以，不相关不一定独立。

 

3.3 为什么独立成分不能是高斯变量(Why Gaussian variables are forbidden)

在ICA中对独立成分最基础的限制是：独立成分必须为非高斯变量。接下来我们看看为什么高斯变量对ICA不适用，我们假设混合矩阵是正交的，且是高斯变量。那么和是高斯变量，且不相关、方差为1。它们的联合密度如下：

                                             

其分布如图6所示：

                                                  

此图显示了密度的完全对称性，因此它不包含混合矩阵的列向量方向的任何信息。这就是为什么不能被估算的原因。更严格地说，可以证明高斯变量的任何正交变换的分布具有与完全相同的分布，并且和是独立的。因此，在高斯变量的情况下，我们只能估算正交变换的ICA模型。换句话说，矩阵对于高斯独立分量是不可识别的。 （实际上，如果只有一个独立分量是高斯分布，那么仍然可以估计ICA模型。）

4 ICA估计原理(Principles of ICA estimation)

4.1 非高斯独立(“Non-Gaussian is independent”)

直观的说，非高斯分布是ICA估计的关键，实际上，没有非高斯性，估计是不可能完成的，正如3.3 中所说的那样。这也可能是ICA后期复苏的主要原因：在传统统计学理论中，大多假设随机变量服从高斯分布，因此这将任何与ICA有关的方法都排除在外了。中心极限定理是概率论中的经典，它表明在一定条件下，独立随机变量之和的分布倾向于高斯分布。 因此，两个独立随机变量的总和通常具有比两个原始随机变量中的任何一个更接近高斯的分布。

现在假设数据向量按照式(4)中ICA数据模型分布，即它是独立成分的混合。我们假设所有的独立成分有相同的分布，为了估算其中的一个独立成分，我们考虑的线性组合(见式(6))；我们用来表示，其中是待求向量。如果是的逆的一行，那么这个线性组合实际上就表示一个独立成分。现在问题变成了：如何使用中心极限定理去确定使得它等于矩阵的逆的一行。实际上，我们并不能确定这样一个向量，因为我们对矩阵一无所知，但是我们可以寻找一个估计器来找到较好的近似。

为了了解这如何引出ICA估计的基本原理，让我们换一下变量，定义。然后我们可以得出。因此y是的线性组合，权重为，因为两个独立随机变量的和比原始的变量更接近高斯分布，所以比任意一个更接近高斯分布且当它等于其中一个时变成最小高斯。很明显，在这种情况下只有一个元素非零。因此我们可以取为使非高斯性最大的向量。(既然随机变量的和更接近高斯分布，但是在ICA中我们又不想让随机变量服从高斯分布，那么我们可以只让中一个元素非零，这样就会得到最小高斯，从而使得的非高斯性最大)。这样的向量对应于只具有一个非零分量的。这意味着等于一个独立成分。

最大化的非高斯性会求出一个独立成分，事实上，向量的n维空间中非高斯性的优化格局具有2n个局部最大值，每个独立分量有两个，对应于和(回想一下，独立分量只能估计到乘法符号)。为了找到一些独立分量，我们需要找到所有的局部最大值，这并不困难，因为不同的独立分量不相关：我们总是可以将搜索限制在那些给出与以前的估计不相关的估计的空间。这对应于适当变换（即白化）空间中的正交化。我们这里的方法颇具启发性，但在第4.2节和第4.3节中可以看出它具有完全严格的证明。

4.2 非高斯性的度量(Measures of non-Gaussianity)

为了在ICA估计中使用费高斯性，我们必须对随机变量的非高斯性进行定量的度量。为了简化，我们假设的均值为0，方差为1。实际上，通过ICA算法的预处理过程可以使这个假设成真。

4.2.1 峰度(Kurtosis)

非高斯性的传统度量方式是峰度和四阶累积量。的峰度的定义如下：

                                                                                          (16)

实际上，我们假设过的方差为1，那么等式右边可简化为：。这表明峰度只是四阶矩的标准化版本。对于高斯随机变量，四阶矩等于。因此对于高斯随机变量其峰度为0 。而对于大多数(并非所有)非高斯变量，其峰度非零。峰度可正可负；具有负峰度的随机变量称为亚高斯，具有正峰度的随机变量称为超高斯。超高斯随机变量通常具有带有重尾的“尖峰”概率密度函数，即概率密度函数在零和变量的较大值处相对较大，而对于中间值较小。典型的例子是拉普拉斯分布，其概率密度函数的定义如下：                               

                                          

其概率密度函数如图7所示：

                                                     

亚高斯随机变量通常具有“平坦”概率密度函数，其在零附近相当恒定，并且对于较大的变量值而言非常小。 典型的例子是的均匀分布。非高斯性通常通常通过峰度的绝对值或平方来度量，高斯随机变量的峰度为了，而非高斯变量的峰度不为0，但是也有极少数的非高斯变量的峰度为0。 

峰度或其绝对值在ICA或其它领域度量非高斯性时广泛应用。主要原因是它的计算和理论分析都比较简单：计算简单是因为峰度只需要计算样本数据的四阶矩；而理论分析简单是因为以下的线性特性：

                                                                           (18)

                                                                                                 (19)

其中和是独立的随机变量，是常数。以上性质由定义很容易证明。为了在一个简单的例子中说明峰度的优化格局是什么样的，以及如何通过峰度最小化或最大化找到独立的组件，让我们看一下二维模型。假设独立成分的峰值分别为且都不等于0，我们之前假设过随机变量的方差都为1，我们要求一个独立成分。我们再一次应用转换，接着有，现在根据峰度的线性特性我们可以得到：，因为随机变量是，而可看做是常数。另一方面，我们使的方差为1。这意味着对有个约束：。在对上式进行推导之前首先要明确几个问题，是均值为0方差为1的独立变量，是常数，其推导如下：

                                                          

这在几何上意味着被约束在二维平面的单位圆上，现在优化问题变成了：函数在单位圆上的最大值是什么。为简单起见，可以认为峰度具有相同的符号，在这种情况下，可以省略绝对值运算符。 该函数的图形是问题的“优化”。

当向量的一个元素恰好为零而另一个非零时，不难显示最大值位于这些点; 由于单位圆约束，非零元素必须等于1或-1。实际上，我们可以从权值向量开始，基于混合向量的样本计算方向，即峰度增长最快的方向（如果峰度为正）或减少最快（如果峰度为负）的方向，并使用梯度方法或其中一个扩展来寻找新的矢量w。这个例子可以一般化到任意维度来表明峰度可以作为ICA问题的优化准则。

但是，峰度在实际应用中也存在一些缺陷，主要原因是峰度对异常值非常敏感。其值可能仅取决于分布尾部的少数观测值，这可能是错误的或不相关的观测。 换句话说，峰度是一种不稳定的非高斯性度量。接下来，介绍另一种比峰度优越的非高斯性度量方法：负熵。

4.2.2 负熵(Negentropy)

负熵是另一种非常重要的非高斯性量度。 负熵是信息论中熵量的一种概念。熵是信息论中的基本概念，随机变量的熵可以被解释为观察变量包含的信息量。变量越随机，越不可预测，那么它的熵越大，更严格的说，熵和随机变量的编码长度相关，实际上在某些简单的假设下，熵就是随机变量的编码长度。随机变量的熵的定义如下：

                                                                              (20)

其中是可能取到的值。此定义可以推广到连续值的随机变量和随机向量，这种情况下其被称为“差分熵”。密度函数为的随机向量的差分熵H定义如下：

                                                                                             (21)

在信息论中有个基本的结论：在所有方差相等的随机变量中，高斯变量的熵最大。这意味着熵可以作为非高斯性的一种度量，实际上，这表明高斯分布是所有分布中最“随机”的。随机变量的分布越集中，其熵越小。为了获得对于高斯变量为零并且总是非负的非高斯性度量，通常使用负熵。负熵的定义如下：

                                                                                                       (22)

是与有相同协方差矩阵的高斯随机变量。根据上面提到的特性，负熵总是非负的，且只有是高斯分布的时候为0，而且负熵对于可逆线性变换是不变的。使用负熵作为非高斯性度量的优势是：统计理论能够很好的证明它。实际上，对统计性质而言，负熵在某种意义上是对非高斯性的最优估计。但是负熵的计算非常复杂，用定义估计负熵需要估计概率密度函数。因此我们可以寻找负熵的近似。

4.2.3 负熵的近似(Approximations of negentropy)

像上面提到的，负熵的计算非常困难，因此对比函数仍然是理论函数。所以在实际应用中经常会使用一些负熵的近似，接下来介绍具有不错性质的负熵的近似。

传统的负熵近似是使用高阶矩，像下面这种形式：

                                                                                             (23)

假设是零均值方差为1的随机变量。然而这种近似的有效性可能是有限的，这些近似受到了峰度的非鲁棒性的影响。为了避免这种问题，一种新的负熵的近似被提出，这种近似是基于最大熵原理的，其近似如下：

                                                                                   (24)

其中是正常数，是均值为0，方差为1的高斯变量，也是均值为0，方差为1的变量，是非二次函数。即使在近似不是非常准确的情况下，式(24)仍然可以构建非高斯性的度量。当我们只用一个非二次函数时，近似如下：

                                                                                                (25)

如果是对称的，这显然是基于矩的近似推广(如式(23))。取就会得到式(23)，也就是基于峰度的近似。在这里，我们通过的选择，会获得一个比式(23)的更好负熵的近似。选择增长不是太快的，会得到一个比较稳定的估计量。下面的选择被证明比较有效：

                                                                                   (26)

其中是1到2之间的常数。因此，我们得到了负熵的近似值，它在由峰度和负熵给出的两个经典非高斯性度量的性质之间给出了非常好的折衷。它们的概念简单，计算速度快，而且还有些比较不错的统计特性，尤其是鲁棒性。

4.3 互信息最小化(Minimization of mutual information)

另外一种基于信息论的估计ICA的方法是互信息最小化。接下来将解释这种方法，并说明它跟上面描述寻找大多数非高斯方向的方法相似。

4.3.1 互信息(Mutual information)

根据差分熵的概念，我们定义m个随机变量之间的互信息，如下：

                                                                                         (27)

互信息是衡量随机变量之间独立性的方法，事实上，它等于联合密度和其边缘密度乘积之间的散度，它总是非负的，只有当变量之间统计独立时为0。因此互信息考虑变量的整体依赖结构，而不是像PCA等方法一样仅仅考虑协方差。互信息可以用熵作为码长来解释，给出了当分别编码时的码长，给出了当被编码为随机向量时的码长。因此，互信息显示了通过编码整个向量而不是单独的分量来减少代码长度的效果。一般来说，对整个向量进行编码可以得到更好的编码。但是，如果是独立的，那么它们彼此之间就没有任何信息，即互信息为0。

互信息一个重要的特性是：我们有一个可逆的线性变换:

                                                                         (28)

我们试想一下如果是不相关的，而且它们的方差为1会发生什么，这意味着，这意味着：

                                                                                            (29)

这意味着的行列式必须是常量，而且，对于单位方差的，熵和负熵只差一个常数和符号，因此我们可以得到：

                                                                                                        (30)

其中是不依赖的常数。上面的式子表示了负熵和互信息之间的关系。

4.3.2 通过互信息定义ICA(Defining ICA by mutual information)

因为互信息是信息论中随机变量独立性的度量方式，我们可以用它作为寻找ICA变换的准则。此方法是模型估计的替代方法，我们将随机向量的ICA定义为可逆变换，就想式(6)中那样，确定了矩阵，使变换后的元素的互信息最小化。很明显，在式(30)中找到最小化互信息的逆变换，就相当于负熵最大的方向。更精确的说，它相当于找到了一维子空间，使得在这些子空间上的投影具有最大熵。式(30)表明，当估计被约束为不相关时，通过最大互信息估计相当于最大化非高斯估计的和。非相关性的约束其实是不必要的，是为了简化计算考虑。因此，我们看到ICA作为互信息最小化的公式给出了另一个严格的理由，即我们更具启发性地引入了寻找最大非高斯方向的想法。

4.4 最大似然估计(Maximum likelihood estimation)

4.4.1 似然(The likelihood)

一种非常流行的估计ICA模型的方法是最大似然估计，它和信息最大化原则相似。接下来将讨论这种方法，并表明它的本质是和最小化互信息是一样的。在无噪声的ICA模型中可以直接表示似然，然后通过最大似然估计来估计模型。表示矩阵的逆，log似然函数如下：

                                                 

其中为的密度函数，是的实现。对于任何密度为的随机变量和任意的矩阵，的密度由给出。      

4.4.2 infomax原则(The infomax principle)

另一个相关的对比函数是从神经网络的观点中推导出来的。这是基于最大化具有非线性输出的神经网络的输出熵（或信息流）。假设是神经网络的输入，它的输出是，其中是非线性的标量函数，是神经元的权重矩阵。想最大化输出的熵为：

                                                                                            (32)

如果选择的合适，这个框架也可以估计ICA模型，实际上，一些研究者已经证明了infomax原则相当于最大似然估计。这种等价要求神经网络中的非线性是密度函数的积分，也就是说。

4.4.3 互信息连接(Connection to mutual information)

为了研究似然和互信息之间的关系，考虑log似然函数的期望，如下：

                                                                        (33)

如果为的分布，那么上式右边的第一部分可以写为。因此似然将会和式(28)中的互信息的负相等(只是相差一个常数)。在实际应用这种联系会更强，因为在实际中我们不知道独立成分的分布。比较合理的一种方法是把估计作为最大似然估计方法的一部分，并且把它作为密度函数的一部分。在这种情况下，似然和互信息是等价的。

在实际情况下，我们有很多关于独立成分的先验知识，我们不需要根据数据来估计它们的性质。在任何情况下，如果独立成分的性质是错误了，那么最大似然估计也会给完全错误的结果。

4.5 ICA与投影跟踪(ICA and projection pursuit)

如何明确ICA与投影跟踪之间的联系。投影跟踪是在统计学中发展起来的一种技术，用于发现多维数据的“有趣的”投影。这样的投影可用于数据的最佳可视化，以及密度估计和回归等目的。在基本的(1-D)投影跟踪中，我们试图找到方向，使数据在这些方向上的投影具有有趣的分布，即显示某种结构。研究者认为，高斯分布是最没有意思的分布，最有趣的方向是那些显示最低高斯分布的方向，而这正是我们估计ICA模型的方法。

在图8中可以看到找到这种投影的有用性，其中投影追踪方向上的投影是水平的，清楚地显示了数据的聚类结构。

                                                    

在第一个主成分(垂直方向)上的投影没有显示出这种结构。 在一般公式中，投影跟踪可以看做是ICA的变体。特别是，投影追踪使我们能够解决独立分量比原始变量少的情况。假设空间的那些未被独立分量跨越的维度被高斯噪声填充，我们看到计算非高斯投影追踪方向，我们有效地估计了独立分量。 当找到所有非高斯方向时，估计了所有独立分量。 这样的过程可以被解释为投影跟踪和ICA的混合。然而，应该注意的是，在投影跟踪的公式中，没有关于独立分量的数据模型或假设。 如果ICA模型成立，优化ICA非高斯度量度量会产生独立的分量; 如果模型不成立，那么我们得到的是投影跟踪方向。

5 ICA的预处理(Preprocessing of ICA)

在上一节中，我们讨论了ICA方法的基本统计原理。 基于这些原理的实用算法将在下一节中讨论。 但是，在对数据应用ICA算法之前，进行一些预处理通常非常有用。 在本节中，我们将讨论一些预处理技术，这些技术可以使ICA估计问题更简单，条件更好。

5.1 中心化(Centering)

最基础也是最有必要的预处理是对中心化，也就是说用原始数据减去它们的均值使得的均值为0。因为的均值也是零，所以可以对式(4)两边同时取期望。这只是为了简化ICA算法，并不是说不能估计平均值。用中心化后的数据估计完混合矩阵之后，我们把的均值向量加回到中心估计值以完成完全估计。均值向量由给出，其中是预处理过程中减去的均值。

5.2 白化(whitening)

ICA另一个有用的预处理策略是对观测数据白化。这意味着在应用ICA算法之前(中心化之后)，我们对观测数据进行线性变换，因此我们可以获得白化的新的向量，也就是说，它的元素是不相关的且方差是一致的。换句话说，的协方差矩阵是单位矩阵：

                                                                                                          (34)

一种比较流行的白化的方法是协方差矩阵的特征分解，其中是的特征向量组成的正交矩阵，是由特征值组成的对角矩阵，。可以根据已知的值算出来，白化可以通过下式完成：

                                                                                                        (35)

其中，现在很容易发现。

通过白化将混合矩阵转换为，由式(4)和式(35)可得到：

                                                                                            (36)

白化的作用在于可以使新的混合矩阵变成正交的，这可以从下式中看到：

                                                                  (37)

我们可以看到，通过白化减少了要估计的参数的数量，现在我们不需要估计原始矩阵中的个参数(即矩阵中的元素)，而只需要估计新的正交混合矩阵。一个正交矩阵包含的自由度，例如，在二维空间中正交变换可由单个的角参数确定，在更高的维度中，正交矩阵只包含任意矩阵参数数目的一半左右。因此我们可以这样说，白化解决了ICA一半的问题。因为白化是非常简单且标准的流程(比任何的ICA算法都简单)，用这种方法减少问题的复杂性是个不错的主意。在我们白化的同时，减少数据的维度也是件非常有用的，我们可以舍弃的较小的特征值，正如PCA所做的那样，这有去噪的效果，而且维度的减少会防止过拟合(个人建议，不要通过降维的方式防止过拟合，尽量通过正则化来防止过拟合)。

图9对图5中的数据进行了白化，如下所示：

                                                                

定义分布的正方形现在显然是图4中原始正方形的旋转，剩下的就是估计给出旋转的单个角度。 在接下来的分析中，我们都假设数据经过了预处理：中心化和白化。为了简单起见，预处理的数据就用表示，变换的混合矩阵用表示。

5.3 进一步的预处理(Further preprocessing)

给定数据集的ICA成功与否可能会跟特定应用的预处理步骤有关。比如数据中包含时间信号，那么带通滤波也将会是很有用的。如果我们对观测信号进行线性滤波得到新的信号，具有相同混合矩阵的ICA模型仍然适用于。观测是矩阵的列，对于也是如此，那么ICA模型可被表示为：

                                                                                                                        (38)

现在，的时间滤波相当于从右边乘以一个矩阵，如下：

                                                                                         (39)

这表明ICA模型依然有效。

6 FastICA算法(The FastICA algorithm)

在前面的小节中，介绍了非高斯性的不同度量方式，也就是ICA估计的目标函数。在实际中，还需要一种最大化对比函数的算法，如式(25)那样。这一小节介绍一种非常有效的最大化方法，这里假设数据都是经过预处理的。

6.1 单元FastICA(FastICA for one unit)

首先来看单元FastICA，通过“单元”，我们指的是计算单元，最终是人工神经元，具有神经元能够通过学习规则更新的权值向量。FastICA学习规则寻找方向，也就是使投影最大化非高斯性的单位向量，非高斯性通过负熵的近似度量。回想一下的方差必须是统一的，对于白化的数据，这相当于将的范数统一。FastICA是基于定点迭代的方案的寻找非高斯性的最大值，像式(25)那样。这也可以用近似牛顿迭代法推导出来，用g表示式(25)中非二次函数G的导数，例如，式(26)中函数的导数为：

                                                                                       (40)

其中是介于1到2之间的常数，通常取。FastICA算法的基本形式如下：

               1. 选择初始的权值向量(随机选择)

               2. 令

               3. 令

               4. 如果不收敛，就返回步骤2

收敛是指的新旧值指向同一个方向，也就是，它们的点积等于1，向量不一定收敛到同一个点，因为和定义的方向是相同的，这也是因为独立分量只能定义为乘法符号。     

FastICA推导如下，首先的负熵的近似的最大值是从获得的，在约束下的的最优值是从下式中获得的：

                                                                                       

用牛顿法来解上面的等式，令等式左边为，然后可以获得雅可比矩阵： 

                                                                      

为了简化矩阵，我们对上式中的第一部分取近似，由于数据是球形的，一个合理的近似是 因此雅可比矩阵变成了对角矩阵，并且很容易求其逆，从而得到下面的近似牛顿迭代：

                                        

通过对上式两边同时乘以可以进一步简化。实际上，FastICA的期望必须由他们的估计来代替。 自然估计当然是相应的样本均值。 理想情况下，应该使用所有可用数据，但这通常不是一个好主意，因为计算可能变得过于苛刻。 然后可以使用较小的样本估计平均值，其大小可能对最终估计的准确性具有相当大的影响。 应在每次迭代时单独选择样本点。 如果收敛不令人满意，则可以增加样本量。

6.2 多元FastICA(FastICA for several unit)

前面讲的单单元算法只是估计一个独立成分或者一个投影追踪的方向，为了估计几个独立成分，我们需要使用具有权重向量的若干单元（例如，神经元）来运行单单元FastICA算法。为了防止不同的向量收敛到相同的最大值，需要在每次迭代后对输出去相关，有3种方法可以做到这一点，对于白化的这种去相关相当于正交化。

实现去相关的简单方法是基于类似Gram-Schmidt的去相关的放缩方案。这意味着需要一个个的估计独立成分，当我们已经估计了个独立成分或者个向量，对运行单单元定点算法，在每一次迭代之后，从中减去投影，其中，最后重新标准化：

                                            

然而，在某些应用程序中，可能需要使用对称的去相关，其中没有向量比其他向量具有“特权”，这可以通过矩阵平方根法做到，令：

                                                                                                                 (45)

其中是向量组成的矩阵，平方根的倒数可以从特征值分解得到，，一个更简单的迭代方法如下：

                               1. 令

                                重复步骤2直到收敛       

                               2. 令 

步骤一中的范数可以使用矩阵的任意范数，比如2-范数。

6.3 FastICA 和最大似然(FastICA and maximum likelihood)

最后，给出FastICA和最大似然估计的联系。如果我们使用式(43)中的中间公式表达FastICA，并以矩阵形式写，我们看到FastICA采用以下形式：

                                            

其中，，，矩阵在每一步后都需要正交化。上述版本的FastICA可以与随机梯度法的最大似然比较：

                                            

其中是学习速率。是独立成分的额概率密度函数的函数：，其中是独立成分的概率密度函数。比较式(47)和(48)可以看出，FastICA可以作为ICA数据模型最大似然估计的定点算法。在FastICA中，通过选择矩阵和来优化收敛速度。 FastICA的另一个优点是它可以估计子和超高斯独立分量，这与普通ML算法形成对比，普通ML算法仅适用于给定的分布类别。

6.4 FastICA的属性(Properties of the FastICA algorithm)

与现有的ICA方法相比，FastICA算法和底层对比度函数具有许多所需的特性。

1. 在ICA数据模型的假设下，收敛是立方的（或至少是二次的）。 这与基于（随机）梯度下降方法的普通ICA算法形成对比，其中收敛仅是线性的。 这意味着非常快速的收敛，正如通过对真实数据的模拟和实验所证实的那样

2. 与基于梯度的算法相反，没有选择步长参数。这意味着该算法易于使用。

3. 该算法使用任何非线性g直接找到（实际上）任何非高斯分布的独立分量。 这与许多算法形成对比，其中必须首先获得概率分布函数的一些估计，并且必须相应地选择非线性。

4. 可以通过选择合适的非线性g来优化该方法的性能。 特别地，可以获得稳健和/或最小方差的算法。 实际上，式(40)中的两个非线性具有一些最佳性质

5. 可以逐个估计独立分量，这大致相当于进行投影追踪。 这在探索性数据分析中很有用，并且在仅需要估计某些独立组件的情况下减少了该方法的计算负荷

6. FastICA具有神经算法的大部分优点：它是并行的，分布式的，计算简单的，并且需要很少的存储空间。 只有在不断变化的环境中需要快速适应性时，随机梯度法似乎才是优选的。

原论文中还涉及到了ICA算法的应用：在脑磁图去除数据伪迹中的应用；在金融数据中发现隐藏因子；为自然图像去噪。有兴趣的可以去阅读原文。

参考文献

1. Independent component analysis: algorithms and applications

2. 一个简单的FastICA示例    http://www./wordpress/2009/11/22/a-simple-fastica-example/